Emergent Hierarchical Monosemantic Neurons from the Group-Contrastive Forward-Forward Algorithm

AIの脳が持つ秘密の言語

想像してみてください。あなたは超スマートなロボットを作りましたが、そのロボットは純粋な数学の言語で話します。あなたが猫を識別するように頼めば、ロボットは完璧にこなしますが、「どうやってそれが猫だと判断したのか」と尋ねると、ただ数字の壁を突きつけて黙り込んでしまいます。これが現代の人工知能における中心的な謎です。私たちは強力なモデルを手に入れましたが、その内部で行われている「思考」については本当の意味では理解していません。長い間、科学者たちはAIの脳を巨大で乱雑な辞書のように扱うことで、このコードを解読しようとしてきました。彼らは、AIが知っているあらゆる概念は辞書の中の単一の行であり、もし適切な行を見つけ出すことができれば、AIの心を読むことができると考えていました。

しかし、その辞書の考え方には問題があります。本物の脳（あなたの頭や、犬の脳のようなもの）は、乱雑で、層状になっており、整然とした直線には収まらない接続に満ちています。生物学的な脳における単一のニューロンは、「私の母」に対して発火することもありますが、「温かいハグ」や「クッキーの香り」に対しても発火するかもしれません。これらのアイデアは、複雑で非線形な方法で混ざり合っています。もし私たちがAIに対して、直線的な言葉だけで話すよう強制してしまうと、その思考の最も興味深い部分を見逃してしまうかもしれません。そこで、新しい問いが生まれました。AIのニューロンが、人間が単純化を強制することなく、単純な形状から複雑な概念へと、自然にアイデアの階層へと自らを整理していくような、本物の脳に近いAI学習手法を構築できるのではないか？という問いです。

この論文の大きなアイデア：AIを教える新しい方法

この論文は、Group-Contrastive Forward-Forward (GCFF) と呼ばれる新しい手法を紹介しています。これは、古い「辞書」的なアプローチをスキップし、代わりに生物学的な脳がどのように学習するかを模倣しようとする、AI訓練の新しい方法だと考えてください。著者らは、AIに対して「スパース（疎）」であること（つまり、ほとんどのニューロンを静かにさせ、ごく一部だけが話すようにすること）を強制するのではなく、AIの構造自体に重労働をさせるべきだと提案しています。彼らが提案するのは、ニューロンが特定の「グループ」に組織され、各グループが「動物」や「乗り物」といった広いカテゴリーに割り当てられるシステムです。

これが実際にどのように機能するかを説明しましょう。教室に生徒（ニューロン）がいると想像してください。古い方法では、すべての生徒にすべてを聞き取り、その後で重要な部分を選び出すよう指示します。この新しいGCFF法では、各生徒を特定の「クラブ」に割り当てます。あるクラブは犬についてだけ話し、別のクラブは車についてだけ話します。教師がゴールデンレトリバーの写真を提示すると、「犬のクラブ」だけが発言権を得ます。しかし、ここでのひねりは、犬のクラブの生徒たちは単に「それは犬だ」と言われるだけではないということです。彼らは2種類の異なる犬を見せられ、「これら2つの共通点は何かを見つけなさい！」と言われます。次に、犬と車を見せられ、「これらを混同しないようにしなさい」と言われます。ニューロンを特定のグループ内にあるものだけに集中させ、グループ内のものを比較させることで、彼らは自然に微妙な違いを学び始めるのです。

最もエキサイティングな発見は、この手法が自然な階層を作り出すことです。この新しいAIモジュールの層を深く進んでいくにつれて、ニューロンはより抽象的な事柄について語り始めます。最初の層は、「カップ」や「靴」のような具体的な物体を識別することを学ぶかもしれません。次の上の層は、それらを「持つための道具」や「固定具」といった機能的なアイデアへとグループ化するかもしれません。最上層は、前景に何があるかにかかわらず、「水面」や「屋外の風景」といった背景環境についてさえ学習する可能性があります。著者らは、これがAIに対して「レイヤー3は背景について扱うべきだ」と指示することなく、すべて自動的に起こったことを発見しました。階層は、ニューロンがどのように組織され、訓練されたかによって自然に創発したのです。

論文では、この「生物学的」なスタイルの学習が、実際にタスクを実行する上で優れているかどうかについてもテストを行いました。彼らは標準的な画像テスト（手書き数字のMNISTや、様々な種類の車や動物のCIFAR-10、STL-10）を用いて、ゼロからGCFFアルゴリズムを訓練しました。結果として、GCFFはAIの脳をより良く理解しただけでなく、他の同様の「forward-forward」手法よりも優れたパフォーマンスを発揮し、これらのベンチマークでトップスコアを達成しました。

これが未来に意味すること

著者らは、これがすべてを解決する魔法の杖ではないことを慎重に指摘していますが、有望な新しい方向性を示唆していると述べています。彼らは、従来の「スパース・ディクショナリー・ラーニング（辞書学習）」の手法には、組み込まれた欠陥があると考えています。それは、あらゆる概念が高次元空間における単なる直線であると仮定していますが、複雑で曲線的なアイデアにおいては、それが真実ではない可能性があるからです。GCFFを使用することで、スパースであることを強制することなく、「モノセマンティック（単一意味的）」なニューロン（一つの明確な意味を持つニューロン）を得られることを彼らは示しています。代わりに、意味はそのアーキテクチャ自体から生まれるのです。

実験において、彼らは事前学習済みのビジョン・ランゲージ・モデル（画像を見、かつ読むことができるスマートなAI）を取り、そこにこのGCFFモジュールを結合させました。その結果、単一のモジュールが、クリーンで秩序ある概念のリストを引き出すことができることがわかりました。彼らはAIに対して、どれくらいの抽象化の層を作るべきかを教える必要はありませんでした。ネットワークの深さがそれを代行してくれたのです。下層のニューロンは具体的であり、上層のニューロンは抽象的でした。それはまさに、生物学的な視覚システムの層と同じでした。

論文は、このアプローチが「生物学的に妥当な（biologically plausible）」進むべき道を提供すると結論づけています。もし私たちが、AIを硬直した線形な箱に押し込もうとするのをやめ、代わりにグループベースの局所的な比較を通じて学習させるならば、タスクにおいてより高い性能を発揮するだけでなく、生き物が考える方法によく似た形で知識を整理するAIが得られるかもしれない、と示唆しています。これは、単に計算するだけでなく、非常に小さな形で、世界を「層」として理解し始めるマシンを構築するための第一歩なのです。