Gathered, Not Admitted: How Attention Brings a Latent Variable into Verbalizable Form
本論文は、言語モデルにおける潜在変数のアクセスに関する「アドミッション・ゲート（入場門）」仮説に異を唱え、代わりに、需要駆動型の注意メカニズムが特定の層の中間深度ウィンドウ内で情報を収集することで変数を言語的に報告可能な状態にするプロセスを実証しており、このプロセスは最終的な回答に対する当該変数の実際の有用性とは別個のものであることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代的な言語モデルの広大で静かなアーキテクチャの内部には、マシンが言葉を発するずっと前から、情報の隠された世界が存在している。これらのモデルは、膨大なテキストの海を用いて訓練され、言語、論理、そして事実のパターンを織り合わせることで、次に何が来るかを予測することを学習する。モデルに質問が投げかけられたとき、それは単にデータベースを検索するのではない。モデルは答えの内部表現、すなわち、そのタスクに必要な特定の意味を保持する潜在変数（ラテント・バリアブル）を構築するのである。長年、研究者たちはこの隠された情報がいかにして可視化されるのかという疑問を抱いてきた。支配的な直感は、単純なメカニズムを示唆していた。すなわち、情報は常にそこに存在し、モデルの内部メモリに鎮座しており、ゲートが開いて外に出るのを待っているというものである。この見方では、モデルはすでに本を棚に持っている司書のようなものであり、求められたときに単にそれを手渡すことに過ぎない。
カリフォルニア大学サンタクルーズ校の研究者が、Qwen3.6と呼ばれる大規模言語モデルを用いて、この「ゲート」という概念を検証する試みを行った。彼らは、モデルに全く同じ物語を与えた上で、それに関する異なる質問をするという一連の実験を設計した。あるケースでは、モデルはパズルを解くために物語の特定の情報を利用する必要があった。また別のケースでは、その情報を直接報告する必要があった。そしてコントロールケースとして、物語の知識を全く必要としない質問を投げかけた。処理のあらゆるステップにおいてモデルの内部状態を注意深く測定することで、彼らは、いつ、どのようにして隠された情報が最終的な答えとして利用可能になったのかを正確に把握することができた。
彼らが発見したことは、この単純なゲート理論を覆すものだった。隠された情報は、ロックを解除されるのを待ってメモリの中に座っていたのではない。むしろ、モデルは内部ストリームの遠く離れた場所から情報を能行的に集め、答えが形成される特定の場所へとそれを輸送していたのである。この収集プロセスは、あらゆるところで、あるいは常に発生するわけではなかった。それは、64層のうち第36層から第42層付近という、モデルの処理レイヤーの中間にある非常に特定のウィンドウ内で発生していた。このウィンドウより下では、情報は存在するものの、最後まで到達することができなかった。このウィンドウより上では、情報はすでに消失していたか、あるいは破壊されていた。モデルは、タスクが実際に要求したときにのみ、この収集プロセスを実行したのである。物語の知識を必要としない質問をされたとき、収集プロセスはほとんど発生せず、情報が必要なときよりも7分の1以下の労力しか集中させなかった。
彼らは、この輸送が、入力のどの部分に焦点を当てるかを決定するシステムの一部である「アテンション・メカニズム」によってほぼ全面的に実行されていることを発見した。ローカルなプロセッサとして機能するもう一つの主要コンポーネントであるフィードフォワード・ネットワークは、情報の移動を助けることはなく、むしろ、収集が行われる中間レイヤーにおいては、輸送に対して積極的に作用していた。情報は静的な場所からアンマスクされるのではなく、倉庫から配送トラックへ荷物を運ぶ運び屋のように、物理的に移動させられていたのである。この動きは極めて精密であり、モデルは中間レイヤーにおいて、システム内の他のどの場所よりも17倍高い強度で情報を集中させることができた。
決定的なことに、彼らは、モデルの内部状態に見える情報の量が、必ずしも最終的な答えに対する有用性と一致しないことを示した。彼らは、モデルの3つの異なる部分が内部信号をほぼ同じ量だけ変化させることができる一方で、それらが最終的な答えに与える実際の影響は7倍の開きがあることを発見した。これは、モデルの内部状態に強い信号が見えるからといって、モデルがその情報を正しく使用しているかどうかを知るには不十分であることを意味している。信号の大きさは、モデルがどのように思考しているかという物語のすべてを語るわけではない。
この研究はまた、この収集ウィンドウがモデルのデザインにおける根本的な特徴であり、62層を持つデンス・アーキテクチャを含む異なるタイプのモデルにおいて、同じ相対的な深さに現れることも明らかにした。彼らは、情報が単に存在しているだけでなく、因果的に必要であることを確認した。もし中間レイヤーでの輸送をブロックすれば、モデルは正しく答えることができなくなった。しかし同時に、この収集は必要条件ではあるものの、それ単体では十分ではないことも指摘した。モデルが最終的な答えを出すためには、依然として他の計算を行う必要がある。この研究は、モデルには情報が入り込むのを待って座っているような静的なワークスペースが存在するのではないことを示唆している。むしろ、モデルは必要な断片を動的に組み立て、タスクが要求したときにのみ、それらを適切な場所へと移動させるのである。そのプロセスは、以前に想像されていたよりもはるかに能動的で、選択的なものである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。