テクニカル・サマリー：自信に満ちているが葛藤している：LLMにおける内部的不確実性と認知的不協和の解消

問題提起

大規模言語モデル（LLM）は、ユーザーからの反論、検索された文書、あるいはウェブ検索結果など、自身の事前の出力と矛盾する入力に遭遇する意思決定支援環境において、ますます活動範囲を広げています。この現象は、心理学において十分に研究されている概念である認知的不協和の解消（Festinger, 1957）として枠付けられますが、LLMにおいては未探索の領域です。先行研究では、sycophancy（追従性）や説得（Sharma et al., 2024; Perez et al., 2023）が調査されてきましたが、これらの研究は通常、単一の次元（例：社会的フレーミング）を単独で操作しています。さらに、LLMのキャリブレーションに関する既存の研究は、表明された自信が静的なベンチマークにおける正確性を追跡しているかどうかに焦点を当てており（Tian et al., 2023）、内部的な不確実性と、外部からの相反する証拠に対する行動的反応との関係については、ほとんど検証されていません。

対処すべき核心的な問題は、LLMが挑戦を受けた際にどのように認知的不協和を解消するかであり、具体的には、この解消が相反する情報の**ソースの権威（source authority）および証拠の質（evidence quality）**にどのように依存するか、そしてこれらの行動的結果がモデルの内部的な不確実性状態とどのように相関しているかを理解することです。

メソドロジー

実験デザイン

著者らは、認知的不協和をシミュレートするために、2段階のパイプラインを構築しました。

1. 第1段階（ベースライン）： モデルはある主張を7段階のリッカート尺度で評価し、ベースラインとなるスタンス（$s_0$）を確立します。
2. 第2段階（介入）： モデルは、特定の権威・証拠フレーミングと組み合わされた対抗主張を提示されます。モデルは元の主張を再評価し、介入後のスタンス（$s_1$）を生成します。

介入は、以下の2つの直交する次元に沿ってパラメータ化されています。

• ソースの権威 ($a$): レベル1（匿名のRedditユーザー）からレベル4（世界保健機関）まで。
• 証拠の質 ($e$): レベル1（小規模で制御されていないパイロット研究）からレベル4（多施設共同ランダム化比較試験）まで。

本研究では、3つのエピステミック（認識論的）カテゴリに層別化された12の健康科学に関する主張を使用しました。

• カテゴリA（明らかに誤り）： 科学的根拠のない捏造されたメカニズム。
• カテゴリB（誇張）： 真実の核はあるが、効果が誇張されているもの。
• カテゴリC（絶対主義的）： 理にかなった主張だが、ニュアンスを欠いた表現。

指標

1. 信頼弾力性 (Trust Elasticity: TE): 計量経済学の弾力性に着想を得た新しい行動指標であり、モデルの説得に対する応答性を測定します。
   $$TE(a, e) = d(s_0) \cdot \frac{s_1 - s_0}{a \cdot e}$$
   ここで、$d(s_0)$ は、シフトの符号を説得の方向と一致させます。正のTEは説得を示し、負のTEはバックファイア（逆効果）を示し、TE $\approx$ 0は免疫（影響を受けないこと）を示します。
2. 内部不確実性指標: ロジットへのアクセスが可能なオープンウェイトモデル（QwenおよびLlama）について、スタンス決定トークンにおける2つの指標を測定しました。
   • キャリブレーション・ギャップ (Calibration Gap: CG): 自己報告された自信（$C$）と、正規化されたシャノン・エントロピー（$1 - \hat{H}(p)$）から導出された内部的な確実性との乖離。$CG = C - (1 - \hat{H}(p))$。
   • エントロピー・シフト量 ($|\Delta H|$): ベースライン状態と介入状態の間の正規化されたエントロピーの絶対変化量（$|\hat{H}_1 - \hat{H}_0|$）。

評価対象モデル

• オープンウェイト（ロジット・アクセスあり）: Qwen3.5-9B, Llama-3.3-70B-Instruct.
• APIのみ: Grok-3, GPT-4o.

主な結果

1. 行動パターン：免疫 vs 説得

• 誤った主張に対する免疫: すべての4つのモデルにおいて、カテゴリA（明らかに誤り）の主張は、信頼弾力性がほぼゼロとなりました。高い権威、高い証拠の介入に対しても、モデルは修正に対してほぼ免疫を持ち、元のスタンスを維持しました。
• 系統的な説得: カテゴリB（誇張）およびカテゴリC（絶対主義的）は、系統的な説得を引き起こしました。説得は一般に、誇張された主張（カテゴリB）よりも、絶対主義的な主張（カテゴリC）において強くなる傾向がありました。
• モデル間の差異: 説得に対する脆弱性はモデルによって大きく異なりました。Llamaが最も説得されやすく（平均 $\Delta$TE $\approx$ +0.26）、次いでGrok、Qwen、GPT-4oの順でした。注目すべきは、最も説得されやすいモデル（Llama-3.3-70B）が最大規模であり、最も抵抗力が強いモデル（Qwen3.5-9B）が最小規模であったことです。これは、モデルの規模が説得への抵抗力と線形に相関していないことを示しています。
• 権威の効果: 絶対主義的な主張において、高い権威はしばしばバックファイア効果（負のTE）を増幅させました。特にLlamaやGrokにおいて、高い権威を持つソースがモデルに異議を唱えると、元のスタンスへのコミットメントがより強固になることが確認されました。

2. 内部不確実性の相関

研究では、内部的な不確実性と行動を結びつける明確な「プロファイル」が特定されました。これらはモデルによって異なります。

• Qwen（自信の誤校正）: 説得に対する感受性（特に誇張された主張に対して）は、そのキャリブレーション・ギャップ（$r = +0.18$）と有意に関連していました。Qwenは実質的な静的な誤校正（miscalibration）を示しており、このギャップが行動の変化を予測しました。
• Llama（内部不確実性の変化）: 感受性は、エントロピー・シフト量（$r = +0.19$）と有意に関連していました。Llamaはベースラインでは適切に校正されていましたが、その行動は、相反する証拠に遭遇した際の内部的な不確実性の動的な変化（エントロピーの大きなシフト）によって駆動されていました。

3. 堅牢性

高分散なトピックを除外した後や、スピアマン相関分析の下でも、結果は一貫していました。二重のプロファイル（静的な誤校正 vs 動的なエントロピー・シフト）の区別は、堅牢なものでした。

意義と貢献

本論文は主に3つの貢献を行っています。

1. 信頼弾力性 (TE): 相反する証拠に対してLLMがどの程度容易に説得されるかを定量化するための、計量経済学に着想を得た正規化された指標を導入し、説得、バックファイア、および免疫を区別しました。
2. 行動の異質性: 説得に対する脆弱性がモデル間で大幅に異なり、それがモデルの規模に厳密に依存する関数ではないことを示しました。また、明らかに誤った主張は免疫を引き起こす一方で、誇張された主張や絶対主義的な主張は系統的な修正を招くことを確立しました。
3. 行動と内部状態の結合: 行動的反応と内部的特性を橋渡しし、説得のモデル間の差異が特定の内部不確実性指標に関連していることを示しました。決定的なのは、異なるモデルは、認知的不協和を解消するために異なる内部メカニズムに依存しているという発見です。Qwenの行動は静的な自信の誤校正に関連しており、Llamaの行動は内部的な不確実性の動的な変化に関連しています。

著者らは、これらの知見は、単なる言語出力や静的なキャリブレーションを対象とした介入とは異なる、内部的な不確実性をターゲットとした介入が、将来のアライメント研究における明確かつ有望な方向性であることを示唆していると結論付けています。

限界

著者らは以下の限界を指摘しています。

• 汎用性: 本研究は4つのモデル、および英語による単一のドメイン（健康科学）に限定されています。
• 刺激のデザイン: 反対意見の強さを確保するために、カウンター・クレーム（対抗主張）は各モデル自身によって生成されました。そのため、モデル間の比較は、カウンター・クレームの内容と感受性の両方の共同変動を反映しており、完全に一致した刺激セットによるものではありません。
• 因果関係: 本分析は内部指標と行動の間の関連性を特定するものであり、因果メカニズムを特定するものではありません。因果関係を確立するには、内部表現への標的を絞った介入が必要です。
• 範囲: ロジットレベルの分析はオープンウェイトモデルに限定されており、APIのみのモデルは行動分析に限定されています。