Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task

この論文は、新しい義務的モダリティを明示的に符号化したワソン選択課題データセットを用いて大規模言語モデルを評価した結果、人間と同様に義務的ルールにおいて推論能力が高く、一致バイアスに似た誤りパターンを示すことを明らかにしました。

要約

この論文は、**「AI（大規模言語モデル）が、人間と同じように『ルールに従う思考』ができるのか？」**という問いを、心理学の有名な実験を使って調べた研究です。

わかりやすく説明するために、**「AI という新人店員」と「店長のルール」**という設定で考えてみましょう。

1. 実験の舞台：「カードの裏側を当てるゲーム」

研究者たちは、AI に**「ワソン選択課題」というゲームをさせました。
これは、「もし A なら、B である」**というルールが正しいかどうかを、4 枚のカードから選んで検証するゲームです。

• カード 1: A（表）
• カード 2: A ではない（表）
• カード 3: B（表）
• カード 4: B ではない（表）

正解のロジック：
ルールに違反しているカード（A なのに B ではないもの）を見つける必要があります。つまり、「A」のカードと「B ではない」カードの 2 枚を選ぶのが正解です。

2. 2 つの異なる「ルール」の世界

この実験では、2 種類のルールを使いました。

1. 抽象的なルール（記述的ルール）
   • 例：「もしカードに奇数が書いてあれば、裏は大文字である」
   • これは、現実の生活と関係ない、ただの数字と文字のルールです。
2. 社会的なルール（義務的ルール）
   • 例：「もし血がこぼれていたら、看護師は手袋をしなければならない」
   • これは、現実の社会や道徳に関わる「義務」や「禁止」のルールです。

3. 発見された 2 つの驚きの事実

① AI は「義務」のルールの方が得意だった！

人間は、数字や文字だけのルール（抽象的）だとバカらしく間違えやすいですが、血や手袋のような「義務」のルールだと、なぜかすごく上手に正解します。これは「人間は社会的なルールには敏感だ」という特徴です。

今回の結果：
AI も人間と同じ傾向を見せました！

• 抽象的なルールでは、AI は結構間違えました。
• しかし、「手袋をしなければならない」といった義務のルールになると、AI の正解率がグッと上がりました。
• メタファー： AI は、単なる「暗記テスト」より、「店長の『お客様に親切にしろ』という命令」の方が、なぜかよく理解して実行できるようです。

② AI の間違いは「確認バイアス」ではなく「マッチングバイアス」だった

AI が間違えるとき、なぜ間違えるのか？研究者は 2 つの仮説を比べました。

• 仮説 A：確認バイアス（「自分の正しさを証明したい」）
  • ルールを肯定する証拠だけを集めようとする癖。
  • 「奇数なら大文字」なら、「奇数」も「大文字」も両方選んで「ほら、合ってる！」と喜びたがるタイプ。
• 仮説 B：マッチングバイアス（「言葉が似てるから選ぶ」）
  • ルールに出てきた**「単語そのもの」**に引き寄せられて、論理的な「否定（〜ではない）」を無視してしまう癖。
  • 「奇数なら大文字ではない」というルールでも、「大文字」という言葉が出てくるから、ついつい「大文字」のカードを選んでしまうタイプ。

今回の結果：
AI の間違いは、「仮説 B（マッチングバイアス）」に似ていました。
AI は、ルールに出てきた「血」や「手袋」という単語にひかれて、論理的な「否定（〜してはいけない）」の部分を無視して、言葉が一致するカードを選んでしまう傾向がありました。

• メタファー：
  AI は、ルールを深く理解して「なぜダメなのか」を考えるというよりは、**「ルールに書いてあるキーワード（血、手袋）が目に入ると、ついついそれに関連するカードを指差してしまう」**という、少し表面的な反応をしているようです。

4. この研究が教えてくれること

1. AI も「文脈」で変わる：
   AI は万能な天才ではなく、人間と同じように「社会的なルール（義務）」がある場面では、より賢く振る舞うことがわかりました。
2. AI の弱点は「言葉の罠」：
   AI の間違いは、論理を完全に無視しているわけではなく、「ルールに出てきた言葉に引きずられ、否定の意味（〜しない）を見逃す」という、人間にもあるような**「言葉の罠」**にハマっていることがわかりました。

まとめ

この論文は、**「AI は人間と同じように、社会的なルールには敏感だが、言葉の否定表現（〜しない）にはついつい引っかかる」**ということを、新しい実験で証明しました。

AI をより賢くするためには、単に知識を増やすだけでなく、「言葉の否定表現」や「論理的な矛盾」を正しく理解させるトレーニングが必要だという示唆を与えています。

技術概要

論文「Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task」の技術的サマリー

本論文は、大規模言語モデル（LLM）の推論能力、特に条件付き推論（conditional reasoning）におけるドメイン特異性（domain specificity）と推論バイアス（reasoning bias）を評価した研究です。著者らは、認知科学の標準的なパラダイムである「ワソンの選択課題（Wason Selection Task）」を用い、LLM が人間と同様に規範的（deontic）な文脈で推論能力を発揮するかどうか、またその誤りが「確認バイアス」か「マッチングバイアス」のどちらに起因するかを体系的に検証しました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳述します。

---

1. 問題設定 (Problem)

• LLM の推論能力とドメイン特異性: 人間は、純粋な形式的論理（記述的ルール）よりも、社会的規範や義務を含む文脈（規範的ルール）において条件付き推論を得意とする傾向があります（ドメイン特異性）。しかし、LLM がこのドメイン特異性を示すかどうかは未解明でした。
• 誤りの原因の特定: 人間がワソンの選択課題で犯す誤りは、以前は「確認バイアス（ルールを支持する証拠を探す傾向）」と説明されていましたが、後の研究では「マッチングバイアス（否定を無視し、ルールに含まれる語句に一致するカードを選ぶ傾向）」の方が説明力が高いとされています。LLM の誤りがどちらのバイアスに起因するか、体系的に比較された研究は存在しませんでした。
• 既存研究の限界: 過去の LLM 評価研究は、社会的ルールと非社会的ルールの比較などに留まっており、明示的に「規範的（deontic）」と「記述的（descriptive）」を区別し、否定を含む多様な論理パターンで評価するデータセットが不足していました。

2. 手法 (Methodology)

2.1 データセットの構築

• 新規データセット: 160 問からなる新しいワソンの選択課題データセットを構築しました。
  • ルールの種類: 「規範的（Deontic）」（義務や禁止を含む、例：「血がこぼれたら、看護師は手袋をしなければならない」）と「記述的（Descriptive）」（事実の一般化、例：「奇数なら裏はアルファベットの大文字」）の 2 種類。
  • 極性（Polarity）: 前件（antecedent）と後件（consequent）の否定の有無に基づき、4 つのパターン（Pos-Pos, Pos-Neg, Neg-Pos, Neg-Neg）に分類しました。これにより、否定の処理能力を厳密に評価できます。
  • 構成: 各ルールタイプ×極性パターンで 20 問ずつ、合計 80 問ずつ（計 160 問）。

2.2 評価モデルと設定

• 対象モデル: 推論特化モデル（gpt-oss, Qwen 3 など）と非推論モデル（Gemma 3, Llama 3.3, OLMo 2 など）を含む 5 つのモデルファミリー、計 10 以上のモデルを評価。
• プロンプト条件: Zero-Shot, Few-Shot, Chain-of-Thought (CoT) の 3 条件でテスト。
• 評価指標: 完全一致（Exact-match）による正答率。4 つのカードのうち、論理的に正しい 2 つのカードを「すべてかつ正確に」選択した場合に正解とみなしました。

2.3 バイアスの分析手法

• 確認バイアス vs マッチングバイアス:
  • 確認バイアス: 前件が真（TA）かつ後件が真（TC）のカードを、否定の有無に関わらず選択する傾向。
  • マッチングバイアス: ルール文中に明示的に出現する語句（$p$ や $q$）に一致するカードを、否定（$\neg p$ や $\neg q$）が含まれていても選択する傾向。
  • 各モデルの選択パターンを、論理的正解（TA と FC）およびバイアス予測パターンと比較し、どちらのバイアスが支配的かを判定しました。

3. 主要な貢献 (Key Contributions)

1. 明示的な規範的エンコーディングを備えたワソンの選択課題データセットの公開: 規範的（義務・禁止）と記述的ルールを明確に区別し、否定を含む多様な論理パターンを網羅した新規データセットを構築・公開しました。
2. LLM の包括的かつ最新の評価: 最新の推論特化モデルを含む広範なモデル群を用いた評価を行い、ドメイン特異性の有無を定量的に示しました。
3. 人間と LLM のパフォーマンスの類似性の解明: 人間と同様に、LLM も規範的ルールにおいて記述的ルールよりも高い正答率を示すことを発見しました。
4. 誤りパターンのバイアス特定: LLM の誤りが「確認バイアス」ではなく、「マッチングバイアス」によってよりよく説明されることを実証しました。

4. 結果 (Results)

4.1 ドメイン特異性の存在

• 規範的ルールでの優位性: 全モデル、全プロンプト条件において、規範的ルール（Deontic）の方が記述的ルール（Descriptive）よりも正答率が高くなりました。
• 改善幅: モデルやプロンプト条件によって異なりますが、規範的ルールでの正答率は記述的ルールより**5.0% から 41.2%**向上しました。
• モデルサイズの影響: 推論特化モデル（例：gpt-oss-120b, Qwen3-32b）は非常に高い正答率（90% 以上）を示しましたが、非推論モデル（例：Gemma3-4b）でも規範的ルールの方が性能が向上する傾向が見られました。

4.2 バイアスの分析（確認バイアス vs マッチングバイアス）

• 確認バイアスの否定: 確認バイアス（TA と TC の選択）が支配的であれば、否定が含まれる場合でも TC を選ぶはずですが、実験結果では TC の選択率は FC（後件が偽）の選択率を下回るか同程度でした。これは確認バイアスの仮説を支持しません。
• マッチングバイアスの支持:
  • モデルは、ルール文中に明示された語句（$p$ や $q$）に一致するカードを、それが論理的に誤り（$\neg p$ や $\neg q$ の場合）であっても選択する傾向が強く見られました。
  • 特に、否定（Negation）が含まれる条件（Neg-Pos, Neg-Neg）において、モデルは否定記号を無視し、語彙的に一致するカードを選ぶ傾向（マッチングバイアス）を示しました。
  • 例：「$p$ なら $\neg q$」というルールに対し、$q$（否定されていない後件）を選ぶ誤りは、確認バイアスではなくマッチングバイアスによるものです。

4.3 誤りの具体例

• 多くのモデルが、論理的に正解である「前件が真かつ後件が偽（TA と FC）」の組み合わせではなく、ルールに含まれる語句に一致する「前件が真かつ後件が真（TA と TC）」や、否定を無視した選択肢を選んでいました。
• 推論特化モデルでも完全な正解率は 100% に達しないケースがあり、特に否定を含む複雑な条件ではマッチングバイアスによる誤りが残存していました。

5. 意義と結論 (Significance and Conclusion)

• LLM の認知特性の理解: 本研究は、LLM が単なる統計的パターンマッチングを超えて、人間と同様の「ドメイン特異性」を持つ認知メカニズム（あるいはそれに類似したメカニズム）を学習・再現している可能性を示唆しています。
• 誤りの本質: LLM の推論エラーは、論理構造の理解不足というよりは、「否定の処理の難しさ」と「語彙的一致への過剰な依存」（マッチングバイアス）に起因していることが明らかになりました。これは、Transformer アーキテクチャにおける否定の扱いに関する既存の知見（Ettinger, 2020 など）と整合します。
• 今後の展望:
  • 許可（permission）と義務（obligation）の区別など、規範的モダリティのより詳細な分類による評価が必要。
  • 条件付き推論以外の推論形式や、異なるドメインへの一般化可能性の検証。
  • 訓練データ、アーキテクチャ、ファインチューニングがこれらのバイアスにどのように因果的に影響するかというメカニズム解析の必要性。

総じて、本論文は LLM の推論能力を評価する際、単なる正答率だけでなく、**「どのような文脈で」「どのようなバイアスで」**誤るかを分析することの重要性を浮き彫りにし、LLM の認知特性を人間と対比して理解するための重要な基盤を提供しました。