💬 NLP

The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment

本論文は、大規模言語モデルの道徳的判断における一見した「はい・いいえバイアス」は、倫理的推論の変化ではなく、回答の順序や語彙的な表現によって引き起こされる表層的な副産物であり、論理的な判定と表層的なフォーマットを分離した心理測定バッテリーを用いてモデルを評価した場合には消失することを実証している。

原著者： Haonan Huang

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haonan Huang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いロボットの道徳的な指針（モラル・コンパス）を理解しようとしていると想像してください。あなたは難しい質問を投げかけます。「1人を犠牲にして5人を救うことは許されるか？」

もしあなたがロボットに「はい」か「いいえ」で答えなさいと尋ねたら、まるでロボットが強い意見を持っているかのように見えるかもしれません。しかし、この論文はある驚くべきトリックを明らかにしています。ロボットの答えは、それが何を正しいと考えているかよりも、むしろ「どのように質問されたか」に左右されていることが多いのです。

以下に、研究者が発見したことを、簡単な比喩を用いて解説します。

1. ロボットには秘密の「道徳的スケール」がある

まず、研究者はロボットが実際に一貫した価値観を持っているのか、それとも単に推測しているだけなのかを知りたいと考えました。

これを知るために、彼らは単にロボットに「はい」か「いいえ」と聞いたのではありません。代わりに、同じ20個の道徳的ジレンマを、48通りの異なる方法で問いかけました。スケールを変え（0〜10、または0〜100）、言い回しを反転させ、どの選択肢を先に評価させるかを変更しました。

発見： 表面的な部分を除いて見てみると、ロボットの「内なる声」は実は非常に一貫しています。それは安定した道徳的スケールを持っています。ある形式において、ある行動を「ほとんど悪い」と考えているなら、別の形式においても、おそらく「ほとんど悪い」と考えるはずです。最も賢いモデル（「フロンティア」モデル）は、その内部論理において驚くほど一貫しています。

2. 「はい／いいえ」の罠：最後の言葉の魔法

では、ロボットが一貫した内なる声を持っているのなら、なぜ質問の言い回しを変えるだけで「はい／いいえ」の答えがこれほど激しく変わってしまうのでしょうか？

研究者は、「はい／いいえ」という形式が歪んだレンズとして機能していることを発見しました。強制的に「はい」か「いいえ」を選ばされると、ロボットは2つの特定のトリックによって混乱してしまいます。

「最後の言葉」バイアス（順序バイアス）： 人間は通常、最初に読んだものに注意を払います。しかし、これらのロボットは、最後に読んだものに対して特に注意を払うようです。もし「答え：いいえ、はい」と書けば、ロボットは単に「はい」が最後にあるからという理由で「はい」を選びやすくなります。「答え：はい、いいえ」と書けば、「いいえ」に傾きます。
「いいえ」の磁石（語彙バイアス）： ロボットは「いいえ」という特定の単語に対して奇妙な引力を感じているようです。それは必ずしも論理的に拒絶しているのではなく、単にページ上のその特定の単語に引き寄せられているのです。

比喩： テストを受けている人が、カードに答えが印刷されている場面を想像してください。

人間： 質問を読み、答えについて考え、正しいものを選ぶ。
ロボット： 質問を読み、答えについて考えるが、その後、カードの底に「いいえ」という言葉が太字で印刷されていることや、「はい」が最後に見える単語であることに気を取られてしまう。そして、言葉の意味ではなく、その言葉が「どこにあるか」に基づいて答えを選ぶ。

3. 「いいえ」バイアスは「拒絶」についての問題ではない

これらのロボットは本質的に「否定的」あるいは「悲観的」であり、すべてに対して「いいえ」と言いたがっているのだ、という共通の仮定がありました。

発見： これは間違いです。研究者は言葉を入れ替えることでこれを証明しました。ロボットに「はい、いいえ」ではなく、「選択肢A」か「選択肢B」のどちらかを選ばせました。

これを行ったところ、「いいえ」バイアスは消え去りました。ロボットが突然「はい」と答えるようになったわけではなく、単に「いいえ」という言葉に引き寄せられなくなっただけでした。

結論： ロボットは物事を「拒絶すること」に対してバイアスを持っているわけではありません。物事の「表面的な外観」に対してバイアスを持っているのです。ロボットは論理的な判断に従うのではなく、印刷されたラベルに従っています。

4. 深く考えることは助けになる（が、すべてを解決するわけではない）

研究者は、ロボットに答える前に「ステップ・バイ・ステップで考える」ように指示した場合（これは「熟考（デリバレーション）」と呼ばれるプロセスです）、何が起こるかをテストしました。

発見： ロボットが時間をかけて考えるとき、「はい／いいえ」のバイアスは小さくなります。ロボットは言葉の順序や「いいえ」という特定の単語による注意散漫を起こしにくくなります。しかし、すべてのモデルにおいてバイアスが完全に消えるわけではありません。一部のモデル（「Claude」ファミリーなど）は、深く考えている時であっても、依然として最後の選択肢や「いいえ」という言葉への強い引き寄せを示します。

5. 「小さな」ロボットは異なる

研究は、より小規模なオープンソースのモデルについても調査しました。これらのモデルはもっと無秩序でした。彼らには一貫した内部の道徳的スケールが全くありませんでした。彼らの答えは質問の形式によって激しく飛び回り、長く「考えて」も改善されませんでした。彼らは本質的に、質問の表面に基づいて推測しているだけでした。

大きな教訓

AIが真に何を価値と考えているかを知りたいなら、一度「はい／いいえ」と聞くだけでは不十分です。

問題点： 単一の「はい／いいえ」の質問は、ロボットの実際の意見と、「フォーマット・アーティファクト（質問の書き方によって生じるグリッチ）」を混ぜ合わせてしまいます。
解決策： AIの真の道徳的立場を測定するには、同じ質問を多くの異なる方法で問い（フレームを交差させ）、その結果を平均化する必要があります。これにより、「最後の言葉」や「『いいえ』という言葉」による注意散漫を打ち消し、ロボットの真の、一貫したスケールを明らかにすることができます。

要約すると： ロボットは必ずしも「ノー（いいえ）」と言う人ではありません。単に、フォントや順序、そしてページ上の最後の言葉に簡単に気を取られてしまう人なのです。ページを整えれば、その真の意見が浮かび上がってきます。

技術要約：大規模言語モデルにおける「Yes–No バイアス」

問題提起
大規模言語モデル（LLM）は、二値的な道徳的判断（例：セーフティ・ゲート、強制選択型の調査）を下すためにますます導入されている。既存の多くの文献は、論理的には無関係な言い回し、選択肢の順序、および回答形式の変化によって、これらの判断が著しく変化することを報告している。具体的には、モデルは道徳的ジレンマに対して増幅された「Yes–No バイアス」を示す。これは、人間との比較では見られない、「No」へと判定をシフトさせる傾向である。しかし、標準的な評価手法では、このシフトの発生源を診断できない。二値の「Yes/No」質問において、「No」という単語、否定の論理的判定、そして最後に印字された選択肢は、単一のトークン上で一致してしまう。その結果、単一のフレーミングの繰り返しでは、モデルが「否定的な論理的判定」に偏っているのか、「No」という語彙的トークンに偏っているのか、あるいは「印字された選択肢の直近性（Recency）」に偏っているのかを分離できない。この混同により、単一フレーミングによる評価は曖昧になる。すなわち、判定のシフトが道徳的判断の変化を反映しているのか、特定の単語への嗜好なのか、あるいは表面的な位置バイアスなのかを判別できなくなるのである。

手法
これらの混同を解決するために、著者らは**交差対称化（crossed symmetrization）**に基づく心理計量的バッテリーを導入する。この計器は、すべての論理的に無関係な摂動をバランスの取れた反転ペア（flip-pairs）に適用し、それらを交差させることで、それぞれの寄与を分離する。このバッテリーは、20の道徳的ジレンマ（19件はCheungらによるものをそのまま、1件は改変）を、以下の3つの異なる計器を通じて提示する：

段階的評価（I-1）： 連続的なスケール（0–10および0–100）を用いて、48の交差条件の下で道徳的受容性を引き出す。ここでは、スケールの種類、アンカーの方向、言い回し、および評価対象となる行為の極性が変化する。
二者択一の自由選択（I-2）： 評価スケールや二値ラベルを用いずに、コミットされた決定を引き出す。
強制二値選択（I-3）： 質問の動詞（承認する／反対する）を、選択肢の印字順序および回答ラベル自体（標準的な「Yes/No」、任意のラベル「A/B」、記号、または非英語の単語）と交差させることで、Yes/No形式の判定を引き出す。

核心となる分析戦略は、反転ペアの対称部分をモデルの内部的な立場（ $\theta$ ）の推定値とし、反対称部分をアーティファクト（偽像）として扱うものである。因子を交差させることで、著者らはアーティファクトを特定のソース（順序、語彙、論理）に帰属させる。本研究では、7つのフロンティア構成（Claude Sonnet, Claude Haiku, GPT-5.5, Gemini-3-Flash, Gemini-3.1-Flash-Lite, Claude Opus）と2つの小型オープンウェイトモデル（Qwen3.6-35B-A3B, Nemotron-3-Nano-30B-A3B）を評価する。

主要な貢献

一貫した内部道徳尺度の存在： 本研究は、フロンティアモデルが潜在的かつフォーマット不変な道徳的立場を有していることを実証している。論理的に等価なリフレーミングの下で、段階的評価は低い交差形式不整合（ $\pm1$ 軸上で $\sigma_{repro} = 0.12–0.21$ ）をもって収束する。これはモデルの内部的一貫性を検証するものであり、単一フレーミングのデザインでは証明できない性質である。
Yes–No バイアスの分解： 見かけ上の「Yes–No バイアス」は、論理的バイアスではなく、分解可能なアーティファクトであることが示された。それは正確に以下の要素に分割される：
- 順序バイアス（Order Bias）： 最後に印字された選択肢への引き寄せ（直近性）。これは人間が行う調査で見られる初頭効果（primacy effect）とは逆の現象である。
- 語彙バイアス（Lexical Bias）： 特定の単語「No」への引き寄せ。
- 論理バイアス（Logical Bias）： 判定そのものに付随するバイアスは、単語「No」を任意のラベルに置き換えた場合、フロンティアモデルにおいては $\approx 0$ であることが判明した。
アーティファクトのパラメトリックモデル： 著者らは、アーティファクトを要約するための最小限のモデル $P = \sigma((\theta \pm m)/s)$ $P = σ ((θ \pm m) / s)$ を提案する。
- $m$ （フレーミング感受性）：バイアスの大きさを測定する。
- $s$ （道徳的決断性）：二値の判定が、基礎となる段階的立場をどの程度鋭敏に追跡するかを測定する（サンプリング温度とは異なる概念）。
語彙的 vs 論理的区別： 「Yes/No」を任意のラベル（例：「A/B」）に置き換えることで、バイアスが論理的判定ではなく、印字された表面（単語またはラベル）に従うことを証明している。フロンティアモデルは、任意のラベルを用いた場合には判定に付随するバイアスをほとんど示さないが、小型のオープンウェイトモデルは判定に付随するバイアスを保持している。

結果

モデルの分散： フロンティアモデル（Claude, GPT, Gemini）は、低い不整合性を伴う一貫した内部スケールを示す。対照的に、小型のオープンウェイトモデルは異なる形で失敗する。Qwenは直接モードにおいて高い不整合性を示す（熟議によって解決される）。一方、Nemotronは退化したスケール（無関心）を示し、項目間の差異をほとんど識別できない。
バイアスの大きさ： 「Yes–No バイアス」はClaudeモデルにおいて顕著であり（Sonnet: $-0.32$; Haiku: $-0.86$）、これは順序成分と語彙成分に分解される。GPT-5.5およびGeminiモデルは、無視できる程度のバイアス（ $\approx 0$ ）を示す。
熟議の効果： 拡張された推論（「思考」モード）は、機能的なスケールを持つモデルにおいて、交差形式不整合（ $\sigma_{repro}$ ）とフレーミング感受性（ $|m|$ ）の両方を減少させる。Claude Haikuの場合、熟議によって総バイアスは $-0.86 $から$ -0.27$ へと減少する。
ラベル依存性： 語彙的な引き寄せは段階的である。それは、ラベルが言語を横断して「Yes/No」の意味を獲得するにつれて増加する。しかし、判定に付随するバイアスは「Yes/No」という言葉が取り除かれると消失するため、バイアスが論理的ではなく語彙的であることを裏付けている。
人間との比較： 人間は軽微なフレーミング感受性を示すが、LLMに見られるような特定の「No」バイアスや極端な表面感受性は持たない。

意義
本論文は、AIが何を価値としているかを測定するには、質問のフレームを交差させる必要があり、一度問うだけでは不十分であることを主張している。標準的な「Yes–No」の出力は、基礎となる道徳的信号をかき消しかねない大きなフォーマット・アーティファクトを重ね合わせている。本研究は以下のことを確立した：

フロンティアLLMは、論理的に等価な言い換えに対して頑健な、安定した一貫した内部道徳スケールを保持している。
観察された「Yes–No バイアス」は、二値の出力フォーマット（具体的には、印字順序と単語「No」の相互作用）によるアーティファクトであり、道徳的命題を拒絶する性質ではない。
評価プロトコルは、モデルの価値と、質問の提示方法によるアーティファクトを分離しなければならない。提案されたバッテリーは、フレーミング感受性（ $m$ ）と道徳的決断性（ $s$ ）を、それぞれ独立した解釈可能なパラメータとして測定する方法を提供し、AIの安全性とアライメント評価のためのより厳密な基礎を提示している。