Training-Driven Representational Geometry Modularization Predicts Brain Alignment in Language Models
本研究は、大規模言語モデルの学習過程において、エントロピーと曲率が減少した低複雑性モジュールへと表現幾何学が自己組織化することが、ヒトの脳活動との整合性を強固に予測すること、および、側頭部と前頭部における明確な時空間的軌跡を明らかにしていることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
ロボットに人間の言語を理解させる方法を考えてみましょう。単に、より多くの単語を暗記させたり、より多くの文法規則を学ばせたりすればよいと考えるかもしれません。しかし、科学者たちはある疑問を抱き始めています。それは、ロボットの「脳」が学習を進めるにつれて、実際に人間の脳と同じような姿になり、機能し始めるのではないか、ということです。この問いは、通常は異なる言語を話しているコンピュータサイエンスと神経科学という二つの分野の交差点に位置しています。これを理解するには、情報の保存方法に注目する必要があります。コンピュータのメモリを、単なる事実のリストとしてではなく、広大で多次元的な「風景」として考えてみてください。この風景の中で、「平坦な」領域は単純で明快な概念を表し、「凸凹とした」あるいは「ねじれた」領域は、複雑で混沌とした、あるいは混乱した概念を表しているかもしれません。科学者たちは、これらの形状を「表現幾何学（representational geometry）」と呼んでいます。大きな謎は、コンピュータモデルが数百万もの文章で学習していく中で、その内部の風景が滑らかになり、人間の脳の風景に近づいていくのかどうか、ということです。もしそうであれば、人間が言語を処理する方法は、単なる生物学的な偶然ではなく、知性の根本的なルールである可能性を示唆しています。
本論文は、Pythiaと呼ばれるAIモデルの一族が成長する様子を観察することで、この問いを深く掘り下げています。研究者たちは、単に完成した、十分に訓練されたモデルを見たのではありません。代わりに、彼らはまるでタイムトラベルする生物学者のように、モデルの最初の一歩から最終形態に至るまでの19の異なる訓練段階を観察しました。彼らはモデルの内部レイヤーにおける2つの特定の「幾何学的」特徴、すなわちエントロピー（情報がいかに分散しているか、あるいは混沌としているか）と、曲率（情報の経路がいかに凸凹しているか、あるいは鋭いか）を追跡しました。そして、それらの変化する形状を、人間が同じ文章を読んでいる時の実際の脳スキャン（fMRI）と比較しました。
研究の結果、モデルが訓練を進めるにつれ、そのレイヤーは単に次の単語を予測するのが上手くなるだけでなく、自発的に2つの異なるチーム、すなわち「モジュール」へと組織化されることがわかりました。一方のチームである低複雑性モジュールは、非常に滑らかで整理されており、エントロピーも曲率も低い状態でした。もう一方のチームである高複雑性モジュールは、凸凹とした混沌とした状態のままでした。ここがエキサイティングな部分ですが、滑らかな低複雑性チームこそが、人間の脳の活動と最もよく一致していたのです。それはまるで、ロボットが「落ち着いて」思考を整理することを学んだ部分こそが、実際に人間のように思考する部分であったことを発見したかのようでした。
しかし、この一致はあらゆるところで同時に起こるわけではありませんでした。研究者たちは、脳の異なる部位の間にある興味深い分裂を発見しました。側頭領域（耳の近くにあり、聴覚や基本的な言葉の意味に関わる領域）では、モデルの滑らかな低複雑性レイヤーは、訓練の非常に早い段階で人間の脳と一致し始め、その状態を維持しました。これは、素早く安定した定着でした。しかし、前頭領域（脳の前方で、複雑な計画や文章構造に関わる領域）では、一致は遅れ、不安定でした。これらの領域は、滑らかな基礎が構築されるのを待ってから落ち着く必要があるようで、時には「凸凹とした」レイヤーの方がよく一致するという短い期間を経てから、最終的に滑らかなものへと切り替わることもありました。
本論文は、曲率（情報の経路がいかに凸凹しているか）が、この一致を予測する鍵となる指標であることを示唆しています。モデルが訓練されるにつれ、その内部経路はより滑らか（より低い曲率）になり、この滑らかさが人間の脳活動とのより良い一致を強く予測しました。この効果は非常に強力で、研究者がモデルが単に訓練全般において向上しているという事実を考慮に入れたとしても、「滑らかさ」という幾何学的な形状は依然として重要でした。興味深いことに、この関係はより大規模なモデル（最大10億パラメータ）においてより明確で信頼できるものになりました。小規模なモデルでは信号にノイズが混じっていましたが、モデルが大きくなるにつれて、「滑らかな幾何学」と「人間のような脳活動」の間のつながりは、強固で検出可能な事実となりました。
要約すると、本論文は、モデルが人間のように考えるための秘訣は、単に多くのデータを持つことではなく、そのデータがいかに滑らかで低複雑な形状へと組織化されるかにあると主張しています。これは、人間の脳がこれらの「滑らかな」表現を好むことを示唆しており、AIモデルが学習するにつれて、特に言葉の核となる意味を理解する脳の部位において、自然とこの状態へと進化していくことを示しています。この研究は、これがモデルが脳と一致する唯一の理由であることを証明しているわけではありませんが、デジタルな精神がどのようにして私たちの姿を映し出し始めているのかを理解するための、新しい幾何学的な視点を提供しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。