論文要約：言語モデルにおける論理的妥当性と妥当性の混同：表現分析による内容効果の解明

タイトル: How Language Models Conflate Logical Validity with Plausibility: A Representational Analysis of Content Effects
著者: Leonardo Bertolazzi, Sandro Pezzelle, Raffaella Bernardi (トレント大学、アムステルダム大学、ボッセン・ボルツァーノ自由大学)

1. 問題設定 (Problem)

大規模言語モデル（LLM）も人間と同様に、推論タスクにおいて「内容効果（Content Effects）」と呼ばれるバイアスを示すことが知られています。これは、論理的な推論問題の論理的妥当性（Logical Validity：前提から結論が必然的に導かれるかどうか）の判断が、結論の現実的な妥当性・真実性（Plausibility/Truth：現実世界で真かどうか）によって歪められる現象です。

人間におけるこの現象は「二重プロセス理論（直感的なシステム 1 と分析的なシステム 2）」で説明されますが、LLM における内容効果の背後にあるメカニズムは不明でした。本論文は、LLM の内部表現空間において、抽象的な論理概念である「妥当性（Validity）」と「現実的妥当性（Plausibility）」がどのように符号化され、なぜモデルがこれらを混同してしまうのかを解明することを目的としています。

2. 手法 (Methodology)

著者らは、LLM の高次概念が潜在空間内で線形に表現されているという「線形表現仮説（Linear Representation Hypothesis）」に基づき、以下のアプローチで 10 種類の LLM（Qwen-2.5, Qwen-3, Gemma-3 シリーズ）を分析しました。

1. データセットとタスク:

   • 三段論法推論（Syllogistic Inference）の 1,280 例を使用。
   • 論理的に「妥当（Valid）」か「無効（Invalid）」か、結論が現実的に「妥当（Plausible/True）」か「不条理（Implausible/False）」かの 4 条件で構成。
   • 論理的妥当性の分類タスクと、文の真偽（現実的妥当性）の分類タスクを実施。

2. 表現の抽出と方向性の定義:

   • 各隠れ層において、正解クラスと不正解クラスの平均活性化ベクトルの差（Difference-in-Means）を計算し、「妥当性ベクトル」と「現実的妥当性ベクトル」を抽出。
   • これらのベクトルがモデルの判断を制御できるかを確認するため、**ステアリングベクトル（Steering Vectors）**手法を採用。

3. 分析手法:

   • ステアリングパワー（Steering Power）: 特定の層でベクトルを加減することで、モデルの予測をどの程度反転させられるかを測定。
   • 幾何学的類似性の分析: 妥当性ベクトルと現実的妥当性ベクトルのコサイン類似度を計算。
   • 因果的干渉の実験: 一方の概念のベクトルを他方のタスクに適用し、相互に影響を与えるか（クロス・ステアリング）を確認。
   • バイアス低減介入: 両者のベクトル差（$\mu_{V} - \mu_{P}$）をステアリングベクトルとして使用し、内容効果を軽減する実験。

3. 主要な貢献と発見 (Key Contributions & Results)

(1) 内容効果の存在と CoT の効果

• 多くの LLM がゼロショット推論において、結論が現実的に妥当な場合、論理的に無効な推論を「妥当」と判断するバイアス（内容効果）を示しました。
• チェーン・オブ・ソート（CoT）プロンプトを使用すると、このバイアスは大幅に減少し、論理的判断が現実的妥当性から独立する傾向が見られました。

(2) 線形表現と幾何学的な混同

• 線形表現: 論理的妥当性と現実的妥当性の両方が、モデルの潜在空間において単一の線形ベクトルとして表現されていることが確認されました。
• 幾何学的な一致: 両概念を表すベクトルは、モデルの後半層において非常に高いコサイン類似度（0.48〜0.64）を示し、表現空間上で強く一致（Entangled）していました。
• 対照実験: 「有害性（Harmlessness）」や「上位語/下位語（Hypernymy）」のベクトルとの類似度は低く、この一致は妥当性と現実的妥当性に特異的であることが示されました。

(3) 表現の類似性と行動的バイアスの相関

• 異なるモデル間での分析により、妥当性ベクトルと現実的妥当性ベクトルの幾何学的類似度が高いほど、モデルの行動における内容効果（CE）の大きさが強いという正の相関が確認されました。
• 混合効果回帰分析により、この類似度が内容効果の強力な予測因子であることが統計的に裏付けられました。

(4) 因果的相互作用（クロス・ステアリング）

• 現実的妥当性のベクトルを論理的妥当性タスクに適用すると、モデルの妥当性判断が操作可能であり、その逆も同様でした。
• これは、両概念が単に相関しているだけでなく、表現空間内で因果的に相互作用していることを示唆しています。

(5) 介入によるバイアス低減

• 論理的妥当性の表現から現実的妥当性の表現を差し引いた「タスク差ベクトル（$\mu_{V} - \mu_{P}$）」をステアリングベクトルとして使用することで、内容効果を大幅に低減（CE ≈ 0）させつつ、推論精度を向上させることに成功しました。
• この手法はモデルの再学習（ファインチューニング）を必要とせず、推論時のみで適用可能です。

4. 意義 (Significance)

1. LLM の推論メカニズムの解明:
   人間における内容効果のメカニズム（二重プロセス理論）とは異なり、LLM においては「論理的妥当性」と「現実的妥当性」が表現空間内で幾何学的に混同（Entanglement）されていることが、バイアスの根本原因であることを初めて示しました。

2. 解釈可能性に基づく介入:
   単に「正しい答え」を学習させるのではなく、内部表現の幾何学的構造を分析し、概念を解きほぐす（Disentangle）ことでバイアスを除去するアプローチの有効性を示しました。これは、LLM の信頼性を高めるための新しい方向性を提示しています。

3. 将来の展望:
   この枠組みは、LLM における他の認知的バイアス（例：確証バイアスなど）の解明や、より論理的で信頼性の高い推論システムの構築に応用可能であると考えられます。また、トレーニングデータの統計的性質（論理的に妥当だが前提が偽である事例の不足など）が、このような表現の混同を招いている可能性についても言及されており、今後の研究課題として提示されています。

結論

本論文は、LLM が論理的推論において内容効果を示す理由を、内部表現空間における「妥当性」と「現実的妥当性」の幾何学的な混同によって説明し、ステアリングベクトルを用いた介入によってこのバイアスを効果的に低減できることを実証しました。これは、LLM の推論能力を向上させるための重要な理論的・実践的貢献です。