論文「Slot Machines: How LLMs Keep Track of Multiple Entities」の技術的サマリー

Anthropic の研究チーム（Paul C. Bogdan, Jack Lindsey）による本論文は、大規模言語モデル（LLM）がコンテキスト内で複数のエンティティ（実体）をどのように表現し、それらの属性をバインド（結合）して保持しているかをメカニズム的に解明したものです。特に、単一のトークン位置に複数のエンティティ情報が重畳して存在する「スロット（Slot）」構造と、その機能的役割に焦点を当てています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題設定 (Problem)

言語モデルは、会話や物語の文脈において、複数のエンティティとその属性（例：「アリスは背が高い」「ボブは冷静だ」）を区別し、保持する必要があります。

• 既存の仮説: 従来の研究では、モデルは一度に一つのエンティティの情報をトークン位置にエンコードし、別のエンティティの情報は別のトークン位置に保持されると考えられていました。
• 未解決の課題: 人間は「赤い四角」と「青い円」を同時に知覚できますが、LLM が単一のトークン位置（例：文脈の途中のトークン）で複数のエンティティの情報を同時に保持（マルチプレクシング）しているのか、また、その情報がどのように利用されているのかは不明でした。
• 具体的な疑問:
  • 単一のトークンが複数のエンティティの属性を同時に表現できるか？
  • 表現された情報が、どのような推論タスク（関係性の推論、事実の検索など）に利用され、どのようなタスクには利用されないのか？
  • 複雑な構文（例：「アリスは食べ物を準備し、ボブはそれを消費する」のように、1 つの目的語トークンに 2 つの主語 - 動詞のバインドが重なる構文）をモデルは処理できるか？

2. 手法 (Methodology)

2.1 マルチスロット・プロービング (Multi-slot Probing)

モデルが単一のトークン位置で複数のエンティティ情報をどのように表現しているかを特定するために、新しい「マルチスロット」プローブ手法を開発しました。

• 仕組み: 混合专家（Mixture-of-Experts）アーキテクチャを採用し、各トークン位置において、文脈内のすべてのエンティティの属性を予測する複数の分類器（スロット）を訓練します。
• ルーティング: 各エンティティごとにルーティング層があり、そのトークン位置でどの「スロット」（現在のエンティティ用、直前のエンティティ用など）が最も予測に寄与するかを動的に決定します。
• データ: 8 つのエンティティを記述する 1 万のプロンプトを使用し、各文の終点（ピリオド）における残差ストリーム（residual stream）の活性化を抽出して分析しました。

2.2 介入実験 (Intervention Experiments)

スロットが実際にモデルの推論に利用されているかを検証するため、以下の介入実験を行いました。

• パッチング (Patching): ソースプロンプト（異なるエンティティ配置）の活性化をターゲットプロンプトに転送し、モデルの出力がどう変化するかを測定。
• ステアリング (Steering): 特定のベクトル方向（例：「前のエンティティが A である」方向）に活性化を操作し、モデルが矛盾を検知したり、属性を想起したりする能力への影響を調査。
• タスク:
  1. シーケンス検索: 「誰がアリスの次に登場したか？」
  2. 矛盾検知: 「隣接するエンティティの属性は矛盾しているか？」
  3. 明示的検索: 「リストに背が高い人物はいるか？」「背が高い人物の名前は？」
  4. 多重バインドタスク: 「アリスは食べ物を準備し、ボブはそれを消費する。ボブは何を準備しているか？」（1 つの「food」トークンに 2 つのバインドが重なる構文）。

3. 主要な貢献と発見 (Key Contributions & Results)

3.1 単一トークンにおける多重エンティティ表現の発見

• スロットの存在: モデルは単一のトークン位置で、**「現在のエンティティ（Current-entity）」と「直前のエンティティ（Prior-entity）」**の 2 つの情報を同時に表現していることが判明しました。
• 直交性: これら 2 つのスロットは、活性化空間においてほぼ直交（無相関）しており、異なる方向ベクトルとしてエンコードされています。
• 汎用性: この構造はユーザーとアシスタントの会話ターンを超えても維持され、話者に関わらず「現在話しているエンティティ」と「直前に話していたエンティティ」を区別する普遍的なメカニズムとして機能しています。

3.2 スロットの機能的役割の非対称性

スロットは同じ情報を保持していても、その利用用途に明確な違いがあります。

• 関係性推論への利用: 「Prior-entity」スロットは、関係性の推論に不可欠です。
  • シーケンス検索: 「誰が誰の次か」という順序の推論には、直前のエンティティ情報が利用されます。
  • 矛盾検知: 隣接するエンティティ間の属性矛盾（例：「勇敢」対「臆病」）の検知には、MLP レイヤーが「Current」と「Prior」のスロット情報を統合して計算を行います。
• 明示的検索への非利用: 一方で、明示的な事実検索（「背が高い人物の名前は？」「リストに背が高い人物はいるか？」）に対しては、モデルは「Prior-entity」スロットの情報を利用しません。
  • 情報自体は「Prior-entity」スロットに存在し、プローブで復元可能ですが、モデル自体はそれを検索タスクの回答生成に使用せず、必ず「Current-entity」スロット（元のエンティティのトークン）を参照します。
  • これは、モデルが「利用可能な情報」と「実際に利用する情報」の間にギャップがあることを示唆しています。

3.3 多重バインド処理の限界と frontier モデルの進化

• 既存モデルの失敗: 多くのオープンウェイトモデル（Qwen3-32B, Llama-3.3-70B など）は、単一のトークンに 2 つのエンティティバインドを強制する構文（例：「Alice prepares and Bob consumes food」）を正しく処理できません。これらはランダムに近い精度しか出せません。
• Frontier モデルの成功: 最新のクローズドソースモデル（Claude Opus-4.5, Gemini-3-Pro）はこのタスクを成功裏に処理できます。
• 解釈: 最新モデルは、単一トークンでの多重エンティティ表現（多重バインド）をより高度に処理するメカニズム（スロットの拡張、またはトークン間での分散戦略など）を発達させた可能性があります。

4. 意義と示唆 (Significance)

4.1 解釈可能性とメカニズム的理解

• 情報の可用性と利用の乖離: モデルの活性化に情報が存在しても、それが必ずしもモデルの推論プロセスに利用されているわけではないという重要な知見を提供しました。これは「Blindsight（盲目視）」のような現象として解釈できます。
• スロット構造の重要性: 「Current」と「Prior」のスロット構造は、モデルが複数の視点（例：事実、ユーザーの信念、モデルの意図）を同時に保持する必要があるタスクの基盤（サブストレート）である可能性があります。

4.2 アライメントと安全性への影響

• サキファニー（迎合）と欺瞞: ユーザーの信念とモデルの事実認識を同時に保持する必要がある「サキファニー（迎合的行動）」や「欺瞞」のメカニズムを理解する上で、このスロット構造が鍵となります。例えば、アシスタントのトークンにユーザーの信念が「Prior-entity」スロットとして保持されている場合、それが回答生成に covert（隠れた）に影響を与えている可能性を検出できるかもしれません。
• 解釈手法の改善: 従来の特徴量解析（SAE など）は、現在のコンテキストに焦点を当てがちですが、本論文は「過去のエンティティ」を表現する特徴量を見落としやすいことを示しており、より包括的な解釈手法の必要性を提起しています。

4.3 推論能力の限界

• 複雑な構文処理の失敗は、モデルが単一トークンでの多重バインドに制限があることを示しています。Chain-of-Thought（思考の連鎖）を用いることで、モデルが文を再構成してこの制限を回避できる可能性も指摘されていますが、メカニズム的な限界自体は残っています。

結論

本論文は、LLM が単一トークンで複数のエンティティ情報を「スロット」として直交的に保持していることを実証し、その情報の利用がタスク依存であることを明らかにしました。特に、関係性推論には利用されるが明示的検索には利用されないという非対称性、および最新の Frontier モデルが単一トークンでの多重バインドを克服しつつあるという発見は、モデルの内部表現と推論能力の理解において重要なマイルストーンです。