技術的要約：言語モデルにおける記号接地（Symbol Grounding）のメカニズム的創発

問題提起

記号接地（Symbol grounding）は、ハーナッド（Harnad, 1990）によって定義された概念であり、抽象的な記号（例：単語）が、いかにして現実世界の感覚運動体験と結びつくことで意味を獲得するかという問題に取り組むものである。近年の大規模な視覚言語モデル（VLM）や自己回帰型言語モデル（LM）は、明示的な教師あり学習なしに接地が創発し得るという予備的な証拠を示しているが、その創発を駆動する具体的な箇所やメカニズムについては未解明のままである。先行研究の多くは、相関的な証拠（例：アテンションの重なりや幾何学的な整列）に依存しており、また、静的な最終段階のモデルに焦点を当てていたため、訓練の軌跡や、環境コンテキストとリンギスティックな形式を結びつける因果的な内部メカニズムを見落としてきた。

手法

これらのギャップに対処するため、著者らは、メカニズム的および因果的分析を通じて記号接地の創発を追跡する、制御された評価フレームワークを導入する。

1. 制御されたテストベッドとトークナイゼーション

本研究では、すべての語彙項目が2つの異なる、重複しないトークンによって表現される最小限のテストベッドを構築する：

• 環境トークン ($\langle ENV \rangle$): 非言語的なシーン記述（例：シーン記述内の「box」）や視覚入力（画像パッチ）に現れる。
• 言語トークン ($\langle LAN \rangle$): 発話や記述（例：対話内の「box」）に現れる。
  カスタム・トークナイザーにより、これらの形式が個別の語彙インデックスを持つことを保証し、共有されたトークン・アイデンティティを通じて接地が自明に解決されてしまうことを防いでいる。このフレームワークは以下を利用する：
• CHILDES (Child-Directed Speech): 環境アノテーション（局所的なイベント、行動、状況層）を $\langle ENV \rangle$ として、発話を $\langle LAN \rangle$ として使用。
• Visual Dialog (Image-Grounded Dialogue): 固定されたViT埋め込み（DINOv2）を $\langle ENV \rangle$ として、対話ターンを $\langle LAN \rangle$ として使用。
• Caption-Grounded Dialogue: 画像キャプションを $\langle ENV \rangle$ として使用する中間的なセットアップ。

2. 評価プロトコル

接地は、サプライザル（驚き度）と接地情報利得 ($G_\theta$) を用いて定量化される。著者らは以下の2つの条件を比較する：

• マッチ (Match): コンテキストに、ターゲットとなる $\langle LAN \rangle$ に対応する $\langle ENV \rangle$ トークンが含まれている。
• ミスマッチ (Mismatch): コンテキストに、無関係な別の $\langle ENV \rangle$ トークンが含まれている。
  正の $G_\theta$ は、マッチした環境トークンが、単純な共起統計から予測される以上に、対応する言語的形態の予測可能性を著しく高めることを示す。

3. モデルアーキテクチャと訓練

ランダムな初期化から標準的な因果的言語モデリング目的関数を用いてモデルを訓練する。本研究では以下を評価する：

• Transformer: 4、12、18層のバリアント。
• 状態空間モデル (SSM): Mamba-2 (4層および12層)。
• LSTM: 4層の一方向LSTM（コンテンツ・アドレス可能型の検索機能を持たない、逐次的な圧縮のベースラインとして使用）。
  堅牢性を確保するため、実験は5つのランダムシードで繰り返される。

4. メカニズム分析

接地がどのように創発するかを説明するために、著者らは以下を用いる：

• サリエンシー分析 (Saliency Analysis): アテンションの重みが損失（loss）に与える寄与を定量化し、特に $\langle ENV \rangle$ から $\langle LAN \rangle$ の直前のトークンへの流れを追跡する。
• チューンド・レンズ (Tuned Lens): 中間層の隠れ状態をプローブし、層間での表現の変化を評価する。
• 因果的介入 (Causal Interventions): 「集約（gather）」または「集約（aggregate）」ヘッドとして特定された特定のアテンション・ヘッドをゼロにする（zeroing out）ことで、サプライザルへの影響を測定する。

主要な結果

1. 接地の行動的創発

• アーキテクチャへの依存性: TransformerおよびMamba-2モデルは、コンテキスト内に $\langle ENV \rangle$ トークンが存在する場合、$\langle LAN \rangle$ トークンのサプライザルが一貫して減少することを示す。対照的に、一方向LSTMはマッチ条件とミスマッチ条件の間で有意な分離を示さず、接地を示すことができなかった。
• 共起を超えて: 訓練の初期段階では、接地利得とトークンの共起（$R^2$）の間に相関が見られるが、この相関は訓練が進むにつれて減少する。接地情報利得は $R^2$ が低下しても増加し続ける。これは、モデルが単なる統計的な記憶ではなく、より豊かな非統計的なマッピングを学習していることを示唆している。
• 汎用性: これらの傾向は、モダリティ（テキストのみのCHILDES、画像接地対話、キャプション接地対話）およびアーキテクチャ（TransformerおよびSSM）を横断して保持されている。

2. メカニズムの所在：集約メカニズム

• 層の集中: サリエンシー分析により、接地関係は中間層（特に12層Transformerにおける第7〜9層）に集中していることが明らかになった。初期層は、訓練の後半段階においても予測能力が低い。
• GatherおよびAggregateヘッド: 研究では以下の特定のメカニズムを特定した：
  • Gatherヘッド: 浅い層（3〜4層目）に位置し、$\langle ENV \rangle$ トークンからのコンテキスト情報を検索可能な状態へと圧縮する。
  • Aggregateヘッド: 中間層（7〜8層目）に位置し、この情報を $\langle LAN \rangle$ の形式の直前のトークンへと再分配し、予測を直接サポートする。
• 因果的検証: Aggregateヘッドをゼロにすると、サプライザルが有意に上昇する（$p < 0.001$）。一方で、Gatherヘッドやランダムな制御ヘッドをゼロにしても、影響は無視できる程度であった。これにより、Aggregateヘッドが記号接地の主要なメカニズム的駆動力であることが確認された。

3. スケールと実世界のモデル

• フルスケールのVLM（例：LLaVA-1.5-7B）においても、同様の集約挙動を示すアテンション・ヘッドが特定されており、複雑な事前学習済みシステムにおいても、接地は特化したヘッドから生じるという仮説を補強している。

意義と主張

本論文は、次トークン予測目的のみで訓練された自己回帰型マルチモーダル言語モデルにおいて、記号接地が創発し得るという因果的かつメカニズム的な証拠を初めて提供したと主張している。

• 接地をメカニズム的に定義する: 本研究は、接地を単なる視覚信号とテキスト信号の統計的な相関としてではなく、訓練のダイナミクスを通じて追跡可能であり、特定の注意メカニズム（Aggregateヘッド）に局在化したメカニズム的特性として再定義している。
• アーキテクチャの境界: 記号接地が創発するために必要なアーキテクチャの条件を明確にし、標準的なLSTMのようなコンテンツ・アドレス可能型の検索機能を欠くアーキテクチャは、この能力を発達させられないことを指摘している。
• 実用的な示唆: Aggregateヘッドの特定は、モデルの信頼性を診断・制御するための潜在的な経路を提供する。ハルシネーション（幻覚）はしばしば中間層における注意の誤配分に起因するため、これらの特定のヘッドを監視することは、「偽の接地」や過剰な信頼の早期指標となり、ハルシネーションを軽減するためのデコーディング時の戦略に役立つ可能性がある。

著者らは、最小限のテストベッドは制御されたプロキシ（代理物）ではあるものの、その知見は現実的なマルチモーダル設定にも一般化できると結論付けており、記号の結合と接地の能力は、十分に表現力のある自己回帰型アーキテクチャに備わった固有の創発的特性であることを示唆している。