💻 computer science

Support-Contra Asymmetry in LLM Explanations

この論文は、大規模言語モデル（LLM）が生成する説明が、正しい予測では入力テキストの支持となる語彙的証拠を参照し、誤った予測では矛盾する証拠を参照する傾向があるという「支持・対立非対称性」という一貫したパターンを、複数のデータセットと参照モデルを用いた実証研究で明らかにしたことを報告しています。

原著者： Avinash Patil

公開日 2026-04-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Avinash Patil

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🕵️‍♂️ 研究の核心：「正解のとき」と「間違いのとき」の不思議な違い

この研究では、最新の AI（大規模言語モデル）が「正解」を出したときと「間違い」を出したとき、その**「理由（説明）」**を詳しく分析しました。

そこで発見されたのは、**「正解と間違いでは、AI が使う『証拠』の選び方が真逆になる」という現象です。著者はこれを「サポート・コントラ・アシンメトリー（支持と矛盾の非対称性）」**と呼んでいます。

🍳 料理の例えで説明します

Imagine you are a chef (the AI) trying to guess what dish a customer ordered just by looking at the ingredients on the table (the input text).

正解を出したとき（美味しい料理ができた時）：
- AI は「あ、これはトマトとバジルが入っているから、パスタに違いない！」と言います。
- このとき、AI の説明は、**「パスタ」を支持する証拠（トマト、バジル）**を上手に使っています。
- 逆に、「パスタ」に合わない証拠（例えば「チョコレート」）には触れていません。
- 結論： 正解のときは、AI は**「正しい方向を指し示す証拠」**を上手に引用しています。
間違いを出したとき（まずい料理を作ってしまった時）：
- AI は「これはチョコレートが入っているから、ケーキに違いない！」と自信満々に言います（でも実際は「パスタ」でした）。
- 不思議なことに、このとき AI の説明は、「ケーキ」を否定する証拠（パスタの材料であるトマトやバジル）を、むしろ「ケーキ」の理由として無理やり引き合いに出したり、あるいは**「ケーキ」には合わない証拠**をたくさん挙げて混乱させたりしています。
- 結論： 間違いのときは、AI は**「正解とは逆の方向を指す証拠」**を、あたかも自分の正しさを証明するかのように引用してしまっています。

🔍 研究者たちはどうやってこれを見つけたの？

AI は「なぜそう思ったのか」を言葉で説明しますが、その言葉が本当に「根拠」に基づいているか、人間にはわかりにくいです。

そこで研究者たちは、**「透明な鏡」**のような役割をする別の AI（線形分類器という、仕組みが単純でわかりやすいモデル）を用意しました。

鏡の役割： この単純な AI は、「この単語（証拠）が出たら『パスタ』の可能性が高い」「この単語が出たら『ケーキ』の可能性が低い」という客観的なデータを持っています。
比較： 本物の AI（LLM）が作った「説明」の中に、この「鏡」が示す**「正解を支持する証拠」と「正解を否定する証拠」**がどれだけ含まれているかをチェックしました。

📊 発見された「不思議なパターン」

この比較で、以下のことがはっきりしました。

正解のとき：
- AI の説明には、「正解を支持する証拠」が多く含まれていました。
- 「正解を否定する証拠」はほとんど含まれていませんでした。
- → AI は、**「正しい理由」**をちゃんと見つけて話していました。
間違いのとき：
- AI の説明には、「正解を否定する証拠」が多く含まれていました。
- → AI は、**「間違った方向を指す証拠」**を、あたかも自分の正しさを証明するかのように話していました。

これは、**「AI が間違っているとき、その説明は『もっともらしい嘘』になっている」**ことを示しています。AI は「チョコレート」が入っているから「ケーキ」だと言いますが、実はその説明の中に「パスタ」の材料（証拠）が混じっていて、それを無視したり、無理やり解釈したりしているのです。

💡 この研究が教えてくれること

AI の説明は「後付けの物語」ではない：
AI は単に「正解ならいい理由を、間違えたら適当な理由を」話しているわけではありません。正解のときは、入力された文章の**「本当のヒント」**をちゃんと拾って話しています。
でも、間違っているときは要注意：
AI が「自信満々」に間違った答えを出しているとき、その「理由」は**「逆の証拠」を無理やり使っている可能性があります。つまり、「説明が上手だからといって、答えが正しいとは限らない」**ということです。
新しいチェック方法：
「AI の説明が、客観的なデータ（この研究では単純な AI が見つけた証拠）と合っているか？」をチェックすれば、AI が本当に正しいことを言っているのか、ただの「もっともらしい嘘」を言っているのかを見極めるヒントになります。

🌟 まとめ

この論文は、**「AI が正解のときは『正しい証拠』を、間違いのときは『逆の証拠』を理由に使ってしまう」**という、AI の意外な癖を突き止めました。

まるで、**「正解のときは探偵が正しい手がかりを挙げて推理するが、間違っているときは、犯人（正解）とは無関係な、あるいは犯人を疑わせるような証拠を無理やり挙げて、ごまかそうとしている」**ような状態です。

この発見は、AI の説明をより深く理解し、信頼性を高めるための重要な一歩となりました。

論文「SUPPORT–CONTRA ASYMMETRY IN LLM EXPLANATIONS」の技術的サマリー

本論文は、大規模言語モデル（LLM）が生成する自然言語による説明（Explanations）が、入力テキストに含まれる予測的な手がかり（Predictive Cues）をどの程度参照しているかを検証した実証研究です。著者は、LLM の説明が単なる後付けの物語（Post-hoc narrative）ではなく、実際の予測根拠とどのように関連しているかを分析するため、「支持・対立の非対称性（Support–Contra Asymmetry）」と呼ばれる一貫したパターンを発見しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

LLM は予測結果に自然言語の説明を付与することが増えています。しかし、これらの説明が「信頼性（Faithfulness）」を持っているか、すなわち、モデルの実際の予測決定プロセスを反映しているのか、それとも人間にとって説得力があるだけで実際の手がかりとは無関係な「妥当性（Plausibility）」に過ぎないのかは依然として不明確です。

従来の機械学習モデルでは特徴量の重要度スコアが解釈可能ですが、LLM の自由形式の説明は、入力テキストの定量的な予測証拠と直接対応しているとは限りません。本研究では、**「LLM の説明が、入力テキスト内の予測的な語彙的手がかり（Lexical Evidence）を、正解・不正解の状況でどのように参照しているか」**を定量的に評価することを目的としました。

2. 手法（Methodology）

本研究は、LLM の生成物と、外部の透明な線形分類器から抽出された予測的証拠を比較するフレームワークを提案しています。

2.1 実験設定

データセット: 3 つのベンチマークデータセットを使用。
- WIKIONTOLOGY: 実体分類タスク（15 クラス）。
- AG NEWS: ニューストピック分類（4 クラス）。
- IMDB: 感情分析（2 クラス：ポジティブ/ネガティブ）。
LLM: DeepSeek-R1 を使用し、温度パラメータを 0 に設定して予測ラベルと自然言語の説明を生成させました。
参照モデル（Reference Models）: 予測的語彙的手がかりを抽出するために、透明な線形分類器（ロジスティック回帰および線形 SVM）を TF-IDF 特徴量で学習させました。

2.2 特徴量の分類とマッピング

各インスタンスにおいて、参照モデルから予測ラベルに関連するトップ $k$ 個の語彙特徴を抽出し、以下の 2 種類に分類します。

支持特徴（Supporting Features）: 予測ラベルの確率を高める特徴（係数が正）。
対立特徴（Contradicting Features）: 予測ラベルの確率を低下させる特徴（係数が負）。

LLM の生成した説明テキストと、これらの特徴語彙を「トークン認識マッチング（正規化後）」および「完全一致マッチング」で比較し、説明内にどの程度含まれているかを「カバレッジ（Coverage）」として測定します。

2.3 評価指標

予測の正誤（Match/Mismatch）に基づいてデータを分割し、以下の指標を計算します。

$\Delta_{support}$ : 正解時の支持特徴カバレッジと不正解時の差。
$\Delta_{contra}$ : 正解時の対立特徴カバレッジと不正解時の差。
非対称性指標（ $\Delta^*$ ）: $\Delta_{support} - \Delta_{contra}$ $Δ_{s u pp or t} - Δ_{co n t r a}$ 。
- 正の値は、正解時には支持証拠を強調し、対立証拠を抑制する傾向があることを示します。

3. 主要な貢献（Contributions）

「支持・対立の非対称性（Support–Contra Asymmetry）」の発見:
LLM による説明には一貫したパターンが存在することを実証しました。正解時の説明は支持特徴を多く参照し、対立特徴を避ける傾向がありますが、不正解時の説明は、予測ラベルに反する（対立する）語彙的手がかりを大幅に多く参照するという現象です。
説明と証拠の整合性を測定する定量的フレームワークの提案:
透明な線形分類器から抽出された予測的語彙信号と LLM の説明テキストを比較するシンプルな手法を確立しました。
頑健性の実証:
この非対称性のパターンは、異なるデータセット（WIKIONTOLOGY, AG NEWS, IMDB）、異なる参照モデルファミリー（ロジスティック回帰、SVM）、および異なる特徴抽出深度（ $k=3, 5, 7$ ）において一貫して再現することを確認しました。
LLM 説明の挙動に関する新たな知見:
正解時には入力内の予測的シグナルを反映しているが、不正解時には誤った手がかり（対立証拠）を強調する傾向があることを示し、説明の評価において「正解時の整合性」だけでなく「誤り時の説明の質」も重要であることを指摘しました。

4. 結果（Results）

実験結果は、以下の通り「支持・対立の非対称性」を明確に示しています。

正解時（Match）:
- 説明は支持特徴のカバレッジが高く、対立特徴のカバレッジが低い傾向にあります。
- 例（WIKIONTOLOGY, $k=5$ ）: 正解時の支持カバレッジは約 0.51 に対し、対立カバレッジは約 0.12 程度です。
不正解時（Mismatch）:
- 説明は対立特徴のカバレッジが著しく増加します。
- 例（WIKIONTOLOGY, $k=5$ ）: 不正解時の対立カバレッジは約 0.21〜0.23 まで上昇し、支持カバレッジは低下します。
統計的有意性:
- ブートストラップ法による 95% 信頼区間において、支持カバレッジの差（ $\Delta_{support}$ ）は正、対立カバレッジの差（ $\Delta_{contra}$ ）は負となり、非対称性指標（ $\Delta^*$ ）はすべての設定で統計的に有意な正の値を示しました。
タスクによる差異:
- 語彙的な手がかりが明確なタスク（WIKIONTOLOGY, AG NEWS）では非対称性が顕著ですが、文脈依存の強い感情分析（IMDB）ではその差は小さくなります。しかし、傾向の方向性はすべてのタスクで維持されています。

5. 意義と考察（Significance & Discussion）

5.1 解釈可能性への示唆

この発見は、LLM の説明が単なる「後付けの物語」ではなく、入力テキスト内の予測的語彙シグナルの分布に追従していることを示唆しています。

正解時: モデルが正しい判断を下している場合、その根拠となる語彙を説明で適切に引用しています。
不正解時: モデルが誤った判断を下した場合、説明は「もっともらしい」ように見えるものの、実際には予測を誤らせる要因（対立証拠）を強調して引用していることがわかります。

5.2 説明評価への応用

従来の説明評価は「人間が納得できるか（妥当性）」に焦点が当たりがちでしたが、本研究は「説明が予測証拠とどう整合しているか（忠実性）」を、外部の参照モデルを用いて定量的に評価する新しい視点を提供します。特に、**「誤った予測時の説明が、いかに誤った証拠を参照しているか」**を分析することは、モデルの失敗原因を特定し、信頼性を向上させる上で重要です。

5.3 限界と将来展望

参照モデルが線形モデル（TF-IDF）であるため、LLM が利用する高次な構文や意味的パターンを完全に捉えきれていない可能性があります。
語彙的な一致（Lexical Overlap）に依存しているため、意味的な言い換え（Paraphrase）までは検出できません。
将来的には、より高度なアトリビューション手法や、人間によるラベリングを組み合わせることで、より包括的な評価枠組みの構築が期待されます。

結論

本論文は、LLM 生成の説明が、予測の正誤に応じて支持証拠と対立証拠の参照パターンを系統的に変化させる「支持・対立の非対称性」を実証しました。これは、LLM の説明が完全に自由な生成ではなく、入力内の予測的シグナルと何らかの形で連動していることを示す重要な証拠であり、LLM の説明可能性（Explainability）を評価・改善するための新たな基盤を提供します。