NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation
NeuronSoupは、バックプロパゲーションを用いずに、遺伝的アルゴリズムを利用して非同期かつ共有ニューロンによる時間的グラフを進化させることで、動的な信号干渉と適応的な計算深度を可能にし、MNISTにおいて85.9%の精度を達成した新しいニューラルアーキテクチャである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
パズルを解く際に、全員が全く同じ瞬間に答えを叫ぶ必要がない世界を想像してみてください。人工知能の領域、特に「ニューロエボリューション（神経進化）」と呼ばれる分野において、科学者たちは、より生物に近い形で学習するコンピュータの脳を作ろうとしています。従来のAI、つまりお気に入りのアプリを動かしているようなAIは、硬直した工場の組立ラインのように機能します：データが一方の端から入り、完璧に同期してステップごとに処理され、もう一方の端から出ていきます。それは高速ですが、柔軟性に欠けます。パズルが簡単であれば、工場はフルスピードで稼働し続けますが、難しくなれば、工場は停止してしまうかもしれません。しかし、自然界は混沌としており、非同期です。実際の脳では、信号は異なる速度で伝わり、ニューロンは重なり合う会話の混沌としたスープの中で互いに通信し、脳は問題の難易度に基づいて、それについてどれくらい考えるべきかを決定します。この論文は、大胆な問いを投げかけます。「マスタークロックや硬直した組立ラインを必要とせず、代わりに、混沌とした時間ベースの接続ネットワークを進化させることで学習するデジタル脳を構築できるだろうか？」
ここに、組立ラインを捨てて、賑やかな非同期のキッチンへと変貌させた新しい種類のコンピュータ・アーキテクチャ、「NeuronSoup」が登場します。NeurenSoupは、完璧に同期して働くニューロンの層を使う代わりに、信号が煮え立つ鍋の中の食材のように漂う、巨大なニューロンのプールを使用します。ここにある魔法があります。信号はただ通過するだけでなく、異なるタイミングで到着するのです。もし2つの信号が同じニューロンに同時に到着すれば、それらは混ざり合います。もし信号が次々と到着する場合、2番目の信号は最初の信号が残した「風味」に対処しなければなりません。この混合は一種の計算的干渉を生み出し、信号のタイミングが次の信号の意味を変えることになるのです。
研究者たちは、この混合プロセスを手作業で設計したわけではありません。代わりに、自然選択を模倣したコンピュータプログラムである「遺伝的アルゴリズム」を使用して、システム全体を進化させました。彼らは、信号が移動する384通りの経路（遅延、重み、およびどのニューロンを訪問するかを含む）を定義する「ゲノム」（数字の長いリスト）からスタートしました。1万世代にわたるデジタル進化を経て、システムはどの経路を維持し、どれを削除し、そして「スープ」が正しい答えを出すために信号をどのようにタイミング調整すべきかを解明しました。
その結果、驚くほど効率的で、驚くほど賢いネットワークが得られました。手書き数字の認識（MNISTデータセット）という古典的なタスクでテストされた際、進化したNeuronSoupは85.9%の精度を達成しました。これは、高解像度の写真1枚よりも小さい、わずか115 KBのメモリに収まる極小のモデルで行われました。ネットワークは、与えられた384の経路のうち、204の能動的な経路のみが必要であることを発見し、さらに156個の隠れニューロンが非常に有用であり、複数の経路によって同時に共有されていることを見出しました。実際、単一のニューロンが同時に11の異なる経路に仕え、異なる証拠が衝突し結合する、忙しい交差点のような役割を果たしていました。
このシステムを真にユニークにしているのは、システムが「いつ考えるべきか」を自ら導き出した点です。簡単な数字の場合、信号は短く速い経路を通り、素早く到着して即座に答えを出します。より難しい数字の場合、信号はより長く曲がりくねった経路を通り、後から到着して答えを洗練させます。システムは、誰にも教えられることなく、問題の難易度に基づいて独自の「思考時間」を適応させたのです。
著者らは、これがすべての問題を解決する魔法の杖ではないことを慎重に指摘しています。彼らのシステムは、現在主流となっている大規模な勾配ベースのネットワーク（ResNetなど、同じタスクで99%以上の精度に達するもの）と比較すると、精度は劣っています。彼らは、標準的な「誤差逆伝播法（バックプロパゲーション）」（AIが学習する通常の方法）がここでは機能しないことを明確に否定しています。なぜなら、このシステムがタイミングや離散的なイベントに依存しているため、その手法に必要な滑らかな数学的勾配を計算することが不可能だからです。代わりに、彼らは、遺伝的アルゴリズムこそが、この時間ベースの進化の乱雑で非平滑な性質を扱うのに適したツールであると主張しています。
精度は低いものの、この論文は強力な代替案を提示しています。それは、巨大なグラフィックスカードや硬直した構造を必要としないAIを構築する方法です。このシステムはイベント駆動型のロジックで動作するため、将来的にはより単純でエネルギー効率の高いハードウェア上で動作できる可能性があります。著者らは、真の勝利は単なる85.9%というスコアではなく、何もないランダムな接続のスープから始まったコンピュータが、問題を解決するための複雑で時間感受性のある戦略を自力で進化させたという事実にあると示唆しています。それは、層（レイヤー）としてではなく、時間の中で考える脳を構築できるという証明なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。