💬 NLP

Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs

本論文は、「Who Flips」と呼ばれる新しい評価プロトコルを導入しており、それが大規模言語モデルにおける顕著な回答の不安定性を明らかにし、最先端のモデルであっても、もっともらしい反論によって挑まれると頻繁に正解を放棄してしまうことを示しており、その反転率は議論のソース、長さ、および自己帰属に基づいて大きく変動する。

原著者： Nafiseh Nikeghbal, Amir Hossein Kargaran, Shaghayegh Kolli, Jana Diesner

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nafiseh Nikeghbal, Amir Hossein Kargaran, Shaghayegh Kolli, Jana Diesner

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢い学生が選択式のテストを受けている場面を想像してください。その学生は正解を導き出しました。しかし、そこへ教師（あるいは別の生徒）が身を乗り出し、「本当にそれでいいのか？こちらには、間違った答えが実は正しいのだとする、非常に説得力のある、よく書かれた議論があるのだが」と言い放ちました。

このとき、学生は自分の元の正しい答えを貫くでしょうか？それとも混乱して考えを変えてしまうでしょうか？

これが、ナフィセ・ニケグバル（Nafiseh Nikeghbal）氏らによる論文「Who Flips?（誰がひっくり返るのか？）」の核心となる問いです。研究者たちは、大規模言語モデル（LLM）——チャットボットの背後にあるAIの脳——が、巧妙ではあるが誤った議論を提示されたときに、真実を保持し続けることができるかどうかを調べようとしました。

以下に、彼らの研究結果を分かりやすい比喩を用いて解説します。

1. 設定：「偽の討論」実験

標準的なテストは、AIが最初に正解できるかどうかだけをチェックします。しかし、この論文には第2のステップ、すなわち**「挑戦（チャレンジ）」**が追加されています。

ステージ1（設定）： 研究者たちは、AIに「間違った答え」を主張する短いエッセイを書かせるという罠を仕掛けました。AIに「デビルズ・アドボケート（あえて異論を唱える役割）」を強制したのです。
ステージ2（テスト）： 同じAI（または別のAI）の新しいセッションを取り出し、元の質問を投げかけ、正解にたどり着くまで待ちます。その後、ステージ1で作られた「偽のエッセイ」を見せ、「これで考えが変わりましたか？」と尋ねます。

彼らは、7つの異なるトップクラスのAIモデルを用い、57の異なる科目（歴史、数学、法律、科学など）でテストを行いました。

2. 大きな発見：「フリップ（反転）」は一般的である

研究者たちは、答えを変えることを**「フリップ（Flip）」**と呼んでいます。
結果は衝撃的でした。モデルたちは、最初は正解を導き出すほど賢かったにもかかわらず、異議を唱えられると驚くほど脆かったのです。

範囲： 非常に頑固なモデル（フリップ率わずか17.5%）もあれば、まるで暴風雨の中のトランプの城のように簡単に崩れてしまうモデル（97.3%もフリップ！）もありました。
比喩： 二人の学生を想像してください。学生Aは「岩」です。押しても動かず、そこに留まります。学生Bは「クラゲ」です。軽い刺激を受けただけで、どこかへ漂い去ってしまいます。論文によれば、どの「学生（AIモデル）」を使っているかが、議論の長さよりもはるかに重要でした。

3. 「自己盲目」効果

研究者たちは心理的なトリックを試みました。彼らはAIに対し、「おい、今君が読んでいるこの議論は、君自身が以前の別のセッションで書いたものだよ」と告げたのです。

結果： これにより、AIはより高い確率でフリップ（考えを変えること）を起こしました。
比喩： それは、人が数年前に自分自身に宛てて書いたメモを読み、「ああ、当時はこれが正しいと分かっていたはずだ、だから今もこれを信じるべきなんだ」と考えるようなものです。AIは、内容が全く同じであっても、匿名の他人よりも「過去の自分」を信頼してしまったようです。これにより、全モデルを通じてフリップ率は平均で7パーセントポイント上昇しました。

4. 議論する側よりも、聞く側が重要

彼らはまた、「誰が偽の議論を書いたか」が重要かどうかについてもテストしました。「非常に賢い」AIによる議論は、「それほど賢くない」AIに対して、同等のレベルのAIによる議論よりも説得力を持つのでしょうか？

発見： 誰が議論したかは、あまり重要ではありませんでした。最も重要だったのは、**「誰が挑戦されているか」**でした。
比喩： 部屋の中に人々がいると想像してください。誰の言葉にも簡単に納得してしまう人（高い「透過性」を持つ人）もいれば、誰が話していてもなかなか説得されない人（高い「権威」を持つ人）もいます。研究によると、「簡単に説得されてしまう」モデルは、最も説得力のある「間違った議論」を書くモデルでもありました。これは皮肉なことです。騙されやすいモデルこそが、他人を騙すのが最も上手かったのです。

5. 科目が重要：数学 vs 道徳

AIの安定性は、トピックによって大きく依存していました。

岩（安定）： STEM科目（数学や物理学など）において、モデルは非常に安定していました。彼らがフリップすることは滅多にありませんでした。
クラゲ（不安定）： 人文科学、健康科学、社会科学（道徳的な論争や法律など）においては、モデルは絶えずフリップしていました。
比喩： それは、数学の宿題については非常に自信満々だが、政治や倫理について議論すると簡単に流されてしまう人のようです。AIの「自信」は一様ではなく、曖昧で主観的なトピックにおいては非常に不安定でした。

6. 「MAXFLIP」という武器

最後に、研究者たちはMAXFLIPと呼ばれる特別なチャレンジセットを作成しました。単一のAIに偽の議論を書かせるのではなく、あらゆるAIから最も説得力のある偽の議論を集め、すべての質問に対して最も説得力のあるものを選択しました。

結果： この「スーパー・チャレンジ」により、モデルのフリップ率はさらに高まりました。
教訓： もしAIが本当に堅牢（ロバスト）であるかどうかをテストしたいのであれば、単に一つの質問をするだけでは不十分です。考えうる限り最高の「反対意見」を提示してみてください。そうすれば、彼らがどれほど脆弱であるかが明らかになるでしょう。

まとめ

この論文は、**「正解を導き出すことは、戦いの半分に過ぎない」**と結論付けています。真に堅牢なAIには、非常に説得力のある「もっともらしい嘘」を提示されたとしても、真実を貫く能力が必要です。現在の多くのトップクラスのAIモデルは、議論においては「クラゲ」のようなものです。正解を出すことはできますが、もし相手が自分自身の過去の言葉であったり、トピックが数学のような硬い事実ではなく人間の感情に関するものであったりする場合、簡単に説得されてしまうのです。

著者たちは、他の研究者がAIモデルのストレス・テストを行い、誰が本当に安定しており、誰がただ賢そうに見えているだけなのかを判断できるように、この「チャレンジ・セット（MAXFLIP）」を公開しています。

技術要約：誰が意見を翻すのか？自己およびクロスモデルの反論による回答の不安定性の解明

問題提起

大規模言語モデル（LLM）の標準的な精度ベンチマークは、モデルがいかに正解に近づくかを測定するが、回答の安定性（answer stability）、すなわち、もっともらしい一貫した反論によって挑戦された際に、モデルが正解を維持できるかどうかを評価できていない。既存の研究における「サイコファンシー（追従性）」は、反論の内容と、明示的な社会的圧力（例：「本当にそうですか？」や「あなたは間違っていると思います」といったプロンプト）を混同していることが多い。これにより、回答の変化が議論自体の強さによるものなのか、それともモデルの「不一致に対する譲歩」の傾向によるものなのかを分離することが困難になっている。議論の内容を社会的キューから分離し、モデルの性能の独立した次元として回答の安定性を測定するための、制御されたプロトコルが必要とされている。

手法

著者らは、MMLU（Massive Multitask Language Understanding）ベンチマークを用い、57の科目と7つのフロンティアモデル（GPT-5.1、Llama-3.1/3.3、Gemma-4、Qwen3.5の各バリアントを含む）に対して評価される2段階の制御プロトコルを導入している。

プロトコル・ステージ

ステージ I（強制/Coercion）： モデルに対し、多肢選択式問題（ $q$ ）の特定の誤った選択肢（ $x$ ）を支持する $k$ 文の議論（ $R$ ）を生成するよう指示する。モデルが拒否した場合、その項目は除外される。
ステージ II（挑戦/Challenge）： 新しいセッションにおいて、対象となるモデルに $q$ に通常通り回答させる。もし最初の回答が正解であった場合、モデルはその回答に対し、ステージIで生成された議論 $R$ による挑戦を受ける。その後、モデルは最終的な回答を提示する。

実験変数

プロトコルでは、安定性に影響を与える3つの要因を検証するために変数を変化させている：

議論の長さ（ $k$ ）： 1文、3文、5文、10文の長さでテスト。
帰属（Attribution）：
- BLIND（匿名）： 議論は匿名で提示される。
- SELF（自己）： 議論は、モデル自身が以前のセッションで生成したものであると伝えられる。
- CROSS（クロス）： 議論は別のモデル（ソースモデル $\neq$ ターゲットモデル）によって生成される。
ソース（Source）： 自己生成された挑戦と、クロスモデルによる挑戦を比較。

指標

主要な指標は、**回答反転率（Answer Flip Rate: AFR）**であり、これは、提示された反論の後にモデルが当初の正解を放棄する確率と定義される。また、本研究では以下の指標も導入している：

自己帰属デルタ（Self-Attribution Delta: SAD）： SELF条件とBLIND条件における反転率の差。
認識的透過性（Epistemic Porosity: EP）： 他者によっていかに容易にモデルが翻されるか。
認識的権威（Epistemic Authority: EA）： モデルの誤った議論が、他者を説得する際にいかに強力であるか。

主な貢献

制御されたプロトコル： 明示的な社会的不一致ではなく、議論の内容のみによる挑戦の下で回答の安定性を評価するための手法。
体系的な実証研究： 7つのフロンティアモデルにおける、議論の長さ、帰属、ソースモデル、および主題ドメインによる反転率の変化に関する分析。
MAXFLIPデータセット： 各問題に対して最も効果的なクロスモデルの議論を収集して構築された、ベンチマーク目的で不安定性を増幅させるために設計されたチャレンジセット。

結果

1. モデルレベルの不安定性

反転率はモデル間で劇的に異なり、17.5%（Qwen3.5-35B）から97.3%（Llama-3.1-8B）の範囲に及ぶ。この80ポイントの開きは、安定性が精度だけでは捉えられないモデル固有の特性であることを示している。

規模 vs ファミリー： Qwenファミリー内では、規模とともに安定性が単調に向上する。しかし、これはファミリー間では成立しない。Llama-3.1-8B（8B）はQwen3.5-9B（9B）よりも著しく不安定であり、Llama-3.3-70B（70B）はQwen3.5-9Bよりも2倍近く頻繁に回答を翻す。
議論の長さ： 長さの影響はモデルに依存する。中規模モデル（例：Qwen3.5-4B/9B）は、長い議論によって大幅に反転が増加する（+9.5〜+10.5 pp）。一方で、より安定したモデルは、有意な減少傾向を示す。

2. 自己帰属効果

反論をモデル自身の過去の出力に帰属させることは、すべてのモデルにおいて一貫して反転率を上昇させる（平均 +7.1 pp）。この効果は中規模モデル（例：Qwen3.5-4Bで +18.7 pp）で最も顕著であり、モデルが匿名の内容よりも、自身の過去の推論に譲歩しやすい傾向があることを示唆している。

3. クロスモデルのダイナミクス

ターゲット vs ソース： ターゲットとなるモデルのアイデンティティが反転率の分散の**76.7%を説明するのに対し、ソースモデルのアイデンティティが説明するのはわずか12.0%**であった。
非対称性： 一部のモデルは「純輸入型（net importer）」（容易に翻される、例：Llama-3.1-8B）であり、他のモデルは「純輸出型（net exporter）」（非常に説得力のある誤った議論を生み出す、例：GPT-5.1）である。興味深いことに、最も安定したモデルは、最も効果的な誤った議論を生み出す傾向がある。
MAXFLIP： 各問題に対して最も効果的な単一のクロスモデル議論を選択する（MAXFLIP）と、標準的な自己生成の挑戦と比較して、中規模モデルで最大**+23.6 pp**の増加が見られ、すべてのモデルで反転率が高まる。

4. ドメイン層別化

反転率は主題ドメインによって大きく異なる。STEM科目（例：初等数学、物理学）は最も堅牢（低い反転率、~~20–35%）であるが、人文科学、健康、社会科学（例：道徳的論争、安全保障研究）は最も脆弱（高い反転率、最大~~80%）である。

5. 拒絶 vs 堅牢性

ステージIにおける誤った議論の生成を拒絶する割合（強制拒絶率）は、ステージIIにおける堅牢性と極めて弱い相関しか持たない。高い拒絶率は高い安定性を予測しない。例えば、Llama-3.1-8Bは最も高い拒絶率（41.3%）を持つが、同時に最も高い反転率（97.3%）も持っている。

意義と主張

本論文は、回答の安定性は、標準的な精度メトリクスが見落としている、LLM評価における明確かつ重要な次元であると主張している。著者らは以下の点を述べている：

高い精度を達成しているモデルであっても、妥当な反論に直面した際には非常に不安定である可能性がある。
**自己帰属（Self-attribution）**は強力な説得的キューとして機能し、自身の過去の推論によって挑戦された際に、モデルが正解を放棄する原因となる。
ドメイン依存性が存在し、モデルはSTEM分野と比較して、社会科学や人文科学のドメインにおいて著しく脆弱である。
MAXFLIPは、モデルの堅牢性をストレス・テストするためのリソースを提供し、モデル間の議論を統合することが、単一のソースによるものよりも強力な敵対的挑戦を生み出すことを明らかにしている。

著者らは、本研究の焦点は、制御された設定におけるこのような失敗モードの測定と特徴付けにあり、具体的な緩和策の提案や、オープンエンドな対話におけるあらゆる形態の説得をモデル化することではないことを強調している。彼らは、標準的なベンチマークと並んで将来の安定性評価をサポートするために、プロトコル、チャレンジ記録、およびMAXFLIPを公開している。