技術的概要：因果的舌縛り

問題定義

本論文は、大規模言語モデル（LLM）の内部的因果推論能力と、その明示的なテキスト出力との間の重大な不一致に焦点を当てています。標準的なベンチマークはモデルの「はい/いいえ」回答の精度に基づいて因果推論を評価しますが、本研究では、言語出力がそれを表現することに失敗している場合でも、LLM が隠れ状態において正しい因果方向を保持しているかどうかを調査します。具体的には、著者らは反常識的な因果クエリ（例：喫煙が肺がんを予防すると規定するプロンプト）に注目しており、モデルはプロンプト内の証拠がそれを示唆しているにもかかわらず、出力においてしばしば常識的な事前知識に逆戻りします。

核心的な問題は、出力のみのベンチマークにおける単一の精度指標が、2 つの異なる失敗モードを混同している点にあります：

1. 因果的オウム返し（Causal Parrots）：モデルは内部的な因果シグナルを全く持っておらず、表面的なヒューリスティックに依存している。
2. 因果的舌縛り（Causal Tongue-Tie）：モデルは証拠に基づく因果方向を内部的に符号化しているが、標準的な出力形式でそれを言語化することに失敗している。

手法

著者らは、凍結された指示調整型トランスフォーマーデコーダーの同一の単一フォワードパスからの 2 つの読み出しチャネルを比較する測定プロトコルを提案します：

1. 内部読み出し（プローブ）：最終プロンプトトークンにおける隠れ状態活性化（$h^{(\ell)}$）から導き出された線形プローブ（凍結されたロジスティック回帰）または反事実的部分空間方向（$V_{cs}$）。
2. 外部出力：標準的な「はい/いいえ」回答に対するモデル自身の次のトークンの確率（$lm\_head$）。

実験設定

• データセット：本研究では、プロンプトの証拠が現実世界の事前知識と矛盾する反常識的（anti-CS）項目に焦点を当て、CLADDER（Jin et al., 2023）とCounterBench（Chen et al., 2025）を利用します。
• 反事実的最小対：各プロンプト $x_i$ に対して、因果語（例：「原因」と「予防」）を交換してゴールド回答を反転させつつ、表面形式を同一に保つことで、反事実的対 $x_i^{cf}$ を生成します。隠れ状態の差分（$\Delta h$）が因果方向シグナルを定義します。
• モデル：本プロトコルは、Qwen2.5（0.5B から 72B）、Mistral-7B、DeepSeek-7B などを含む 8 つの指示調整型モデルに適用されます。
• 対照実験：本研究は、表面的な単語の暗記を排除するために厳密な対照実験を採用しています：
  • 偽部分空間：ナンセンスな実体プロンプトで訓練されたプローブ。
  • ランダム方向対照：同じランクのハールランダムベクトル。
  • 因果語のバリエーション：構造を維持しつつ因果語彙を除去または変更。
  • インターフェースのバリエーション：異なる回答形式（はい/いいえ、A/B 強制選択、真/偽、中国語など）でのテスト。

主要な貢献

本論文は、以下のように定義される因果的舌縛りの概念を導入します：
$$\Delta = Acc_{probe} - Acc_{out} \approx +0.5$$
反常識的項目において、線形プローブは証拠に基づく回答を高い精度（$\approx 0.97$）で回復させますが、発話されたはい/いいえ出力は常識的な事前知識に逆戻りします（$\approx 0.5$）。

著者らは、因果ベンチマークの失敗に対する2×2 フレームワークを形式化します：

• (a) 整合した正解：プローブと出力の両方が正しい。
• (b) 因果的舌縛り（本研究）：プローブは正しいが、出力は誤っている（本論文の焦点）。
• (c) 因果的オウム返し：プローブは何も検出しないが、出力は表面的ヒューリスティックによって正解する。
• (d) 真の失敗：両方が誤っている。

実証結果

1. ギャップのスケーラビリティ：ギャップ（$\Delta \approx +0.5$）は、0.5B から 72B パラメータまでのモデルサイズにわたって存続します。モデルサイズが増加するにつれて、内部プローブの精度は上昇し（72B で 1.0 に到達）、一方で出力精度は偶然の水準（0.35–0.53）で停滞したままです。
2. 内部シグナルの有効性：
   • プローブ方向はランダムではなく、表面的な単語だけでなく因果証拠を追跡します。
   • 病変（Lesioning）：隠れ状態から因果方向（$V_{cs}$）を投影して除去すると、モデルの反事実的対を区別する内部的な能力が崩壊し（KL 低下 -96.3%）、この方向が内部的比較に機能的に使用されていることが確認されます。
   • 活性化パッチング：誤った反常識的項目の隠れ状態を、一致する常識的項目のそれと置き換えると、出力精度は 0 から 0.57 に反転します。これは、内部状態が出力を修正するのに十分な情報を含んでいることを示していますが、方向ベクトルの単純なスカラー交換だけでは不十分であることを示しています。
3. インターフェース依存性：この失敗は言語回答インターフェースに局在しています。
   • 出力形式を構造化されたA/B 強制選択（例：「どちらがより妥当か：A. c が e を引き起こす、または B. c はそうではないか」）に変更すると、精度はほぼ完璧（1.0）に跳ね上がりますが、標準的なはい/いいえ形式は偶然の水準のままです。
   • このギャップは、異なる表面形式（はい/いいえ、真/偽、中国語の「是/否」）にわたって存続しており、問題は「はい/いいえ」トークン自体ではなく、言語インターフェースにおけるコミットメント段階にあることを示しています。
4. エントロピー分析：モデルははい/いいえ形式において誤った回答に対して低エントロピー（高い自信）を示し、これは常識的な事前知識に駆動された「自信過剰な誤ったコミット」を示唆しています。一方、A/B 形式では、内部シグナルがほぼゼロのエントロピーで自己を表現することを可能にします。

意義と主張

本論文は、単一の出力精度の数値に基づいて LLM が因果推論を実行できるかどうかについての包括的な結論を導くことは誤っている、と主張します。

• ベンチマークの再評価：ベンチマークにおける「誤り」という判定は、必ずしもモデルが因果知識を欠いていることを意味するわけではありません。単に、使用された特定の言語インターフェースを通じてその知識を表現できないことを意味する可能性があります。逆に、「正解」という判定も、モデルが因果メカニズムを理解したことを保証するものではありません（それは因果的オウム返しである可能性があります）。
• 失敗の本質：著者らは、因果的舌縛りを内部表現の欠如ではなく、言語インターフェースの失敗として特徴づけます。モデルは隠れ状態において回答を「知っている」のですが、常識バイアスのかかった言語形式にコミットすることを強いられた際、それを「言う」能力が縛られているのです。
• 限界：著者らは明示的に、この文脈における「符号化」とは、隠れ状態における線形方向の回復可能性を指し、人間のような理解や完全な因果回路を意味するものではないと述べています。内部方向は、50% 超のケースで出力を修正するために因果的に十分ですが、すべてではありません。また、回復された方向はテンプレートの文言に敏感です。

要約すると、本論文は、真の推論失敗と表現の限界を区別するために、LLM の二重チャネル評価（内部状態＋外部出力）を提唱し、出力のみの因果ベンチマークの解釈には慎重であるよう促しています。