🤖 AI

FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games

本論文は、科学的発見のためのLLMの帰納的推論を評価するためにワソンの2-4-6課題に着想を得たベンチマークであるFALSIFYBENCHを紹介し、推論モデルが指示チューニングされたモデルよりも優れているのは主に負の検証能力によるものであること、および失敗は仮説探索における特定可能なパターンに起因することを明らかにしている。

原著者： Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、ある秘密のルールを知っている友人と推測ゲームをしています。あなたにはそのルールが分かりません。友人は、「2, 4, 6」のように、そのルールに適合する3つの例を提示してくれます。あなたの仕事は、自分自身の数字のセットを提案し、「これは当てはまりますか？」と尋ねることで、その秘密のルールを突き止めることです。

これは、人間の思考プロセスを研究するために使われる有名なパズル、「Wason 2-4-6タスク」です。あなたが今読んでいる論文「FALSIFYBENCH」は、このゲームを人工知能（AI）に適用したものですが、数字の代わりに言葉やカテゴリー（「動物」や「道具」など）を使用しています。

以下は、研究者が何を行い、何を発見したのかを、簡単な比喩を用いて解説したものです。

ゲーム：「隠されたカテゴリーを見つけ出せ」

AIを、謎解きに挑む探偵だと考えてください。

設定： AIには、「コウモリ」、「スキマー（魚の一種）」、「メガネザル」といった3つのアイテムが示されます。
ゴール： AIは、これらが属する隠されたカテゴリー（例：「動物」）を推測しなければなりません。
ルール： AIは答えを知りません。ルールを推測し、テストし、フィードバックを受け取る必要があります。
- もしAIが「空飛ぶもの」と推測して「コウモリ」をテストし、システムが「はい、それは適合します」と言った場合。
- もしAIが「魚」をテストして、システムが「いいえ、それは適合しません」と言った場合、AIは自分のルールが広すぎると学びます。
- もしAIが「クジラ」をテストして、システムが「はい、それは適合します」と言ったのに、AIが「空飛ぶもの」と考えていた場合、AIは自分のルールが狭すぎると学びます。

大きな問題：「イエスマン」の罠

研究者たちは、ほとんどのAIモデル（および人間）が、「確証バイアス」と呼ばれる特定の思考エラーに陥ることを発見しました。

あなたが、「犯人は執事だ」と確信している探偵だと想像してください。

「イエスマン」戦略（確証）： あなたは、執事が犯人であることを証明する質問しかしません。「執事に動機はありましたか？」「はい」「執実は現場にいましたか？」「はい」。あなたは自信を感じますが、実際には執人が無実であることを一度も確認していません。あなたはただ、「はい」という答えを探しているだけなのです。
「デビルズ・アドボケート（あえて反論する人）」戦略（反証）： あなたは、執人が犯人ではないことを証明しようと積極的に動きます。「犯行時刻、執事はビーチにいましたか？」と尋ねます。もし答えが「はい」であれば、あなたの理論は崩れ去り、新しい容疑者を探さなければなりません。

この論文の主な発見：
自分の理論を壊そうとする（反証しようとする）「デビルズ・アドボケート」のように振る舞ったAIモデルの方が、謎解きにおいて非常に優れた成績を収めました。「イエスマン」（自分が正しいという証拠ばかりを探す）のように振る舞ったモデルは、行き詰まってしまいました。彼らは（「空飛ぶ哺乳類」のような）狭いルールを推測し続け、「すべての動物」というより広いルールに気づくことができませんでした。

結果：誰が最も優秀だったか？

チームは12種類の異なるAIモデルをテストしました。結果は以下の通りです。

「推論」モデルの勝利： 話す前に「考える」ように設計された新しいAIモデル（しばしば「推論モデル」と呼ばれます）は、標準的なモデルよりも優れた探偵でした。彼らは、自分の理論を壊そうとする傾向が強かったのです。
完璧な者はいない： 最も優れたAIモデルであっても、ゲームを完璧に解くことはできませんでした。彼らは依然としてミスを犯しており、これはAIがまだ科学的発見の達人ではないことを示しています。
知能の問題ではなく、戦略の問題： 研究者たちは、AIが失敗したのは単語の定義（例えば「コウモリ」とは何かを知らないこと）を知らなかったからではないかと考えましたが、それが問題ではないことが分かりました。AIは単語を知っていましたが、戦略が悪かったのです。自分のアイデアが間違っている可能性を試すことを、彼らは恐れていました。

「ターン・バイ・ターン」の分析

研究者たちは、誰が勝ったかだけでなく、AIがどのように一歩一歩進んだかを観察しました。彼らは、AIが失敗する主な2つのパターンを見つけました。

森の中で迷子になる： 特定の推測から一般的な推測へとゆっくり進む（例：「コウモリ」から「哺乳類」、そして「動物」へ）代わりに、AIは時として、全く無関係な推測へと飛びついてしまうことがありました（例：「Bで始まるもの」など）。
間違った細部に固執する： 時として、AIは単語の「意味」を推測するのではなく、単語の「見た目」に基づいて推測を行いました。例えば、「ルールはすべての単語が3文字であることだ」とか、「すべてが母音で始まっている」といった具合です。これは、探偵が犯罪現場を無視して、容疑者の靴の色に注目しているようなものです。

結論

この論文は、AIが真の科学的思考ができるかどうかを判断するための新しいテスト（FALSIFYBENCH）を紹介しています。結論として、AIは「考える」能力は向上していますが、科学において最も重要な部分、すなわち「間違える勇気」においては、依然として苦戦しているということです。

優れた科学者（あるいは優れた探偵）になるためには、自分のアイデアが間違っていることを積極的に証明しようとしなければなりません。これを学んだAIモデルが勝者となりましたが、彼らが人間の科学者に取って代わるには、まだまだ長い道のりが残されています。

テクニカル・サマリー: FALSIFYBENCH

問題提起

大規模言語モデル（LLM）は、科学的タスクを実行する自律的なエージェントとしてますます活用されているが、科学的発見に必要とされる特定の形式の帰納的推論を行う能力については、依然として未解決の問いである。科学的推論の重要な要素は、仮説駆動型の推論、具体的には、新しい証拠に照らして仮説を生成、評価、修正する能力であり、これには**反証（falsification）**を行う能力が含まれる。

既存のベンチマークは、シーケンス・トゥ・シーケンス・タスク（例：ARC）や論理パズルを通じて帰納的推論をテストしていることが多いが、エージェントが現在の信念を覆すための証拠を能動的に探し求めなければならないという、動的かつ反復的な仮説検証プロセスを捉えることには失敗していることが多い。さらに、人間に関する研究（例：Wason, 1960）では、人間は確証バイアスに陥りやすく、仮説を反証できる証拠を探すよりも、仮説を裏付ける証拠を探す傾向があることが長年確立されている。LLMが同様のバイアスを示すのか、また「推論」モデル（拡張された思考能力を持つモデル）が、標準的な指示チューニング済みモデルと比較して、これらのバイアスを克服し隠れたルールを発見する能力において異なるのかどうかは明らかではない。

メソドロジー: FALSIFYBENCH

著者らは、古典的なWason 2-4-6タスクのセマンティックな一般化を通じて、仮説駆動型推論を評価するために設計されたベンチマークであるFALSIFYBENCHを導入する。

ゲーム構造

FALSIFYBENCHにおいて、LLMは、セマンティックなカテゴリ（例：「動物」）によって定義される隠されたターゲット・ルール（ $R$ ）を発見しようとする「プレイヤー」として振る舞う。

初期化: プレイヤーには、ターゲット・ルール $R$ の厳密な子カテゴリ（ $S$ ）から抽出されたアイテムの初期トリプル（例：「ポケットに入ったコウモリ」、「スキマー」、「タルシウス・グリス」）が与えられる（例： $S$ = 「脊椎動物」、 $R$ = 「動物」）。
インタラクション: プレイヤーは、アイテムの新しいトリプルとともに、現在の仮説（ $H$ ）と根拠を反復的に提案する。
オラクル・フィードバック: オラクル（別のLLMインスタンス）は、提案されたアイテムが隠されたルール $R$ を満たしているかどうかに基づいて、「適合（Conform）」または「不適合（Do not conform）」と回答する。
終了: プレイヤーが $R$ に対する最終的な推測（正解/不正解）を提出するか、最大ターン制限（20ターン）に達したときにゲームは終了する。

実験設計

セマンティック・ドメイン: 数値的なWasonタスクとは異なり、FALSIFYBENCHはWordNetから派生したセマンティックなタクソノミー（分類体系）を使用する。これにより、初期の例がプレイヤーに対して過度に限定的な仮説（ $H \subset R$ ）を形成させるようなゲームを構築することが可能となり、この構成においては、否定的テスト（negative testing）（ $H$ の外側にあるアイテムを提案すること）が、仮説を決定的に反証できる唯一の戦略となる。
評価対象モデル: Llama-4-MaverickやMistral-Smallなどの指示チューニング済みバリアント、およびGPT-5.2-Chat、GPT-OSS-120B、DeepSeek-V3.1などの推論バリアントを含む、様々なファミリーおよびスケールの12種類のLLM。
二重の役割: 各モデルは、推論能力と、人間の注釈に対するセマンティックな判断の一貫性を評価するために、プレイヤー（推論エージェント）とオラクル（判定エージェント）の両方の役割を務めた。
指標:
- 成功率（Success Rate）: ターゲット・ルールが正しく特定されたゲームの割合。
- 確証バイアス（Confirmation Bias）: 「正のテスト（ $H$ に適合すると予想されるアイテムのテスト）」と「負のテスト（ $H$ を反証すると予想されるアイテムのテスト）」の比率。
- オラクル精度（Oracle Accuracy）: アイテムがルールに適合するかどうかに関する人間の注釈との一致度。
- ターンレベル分析（Turn-Level Analysis）: 現在の仮説 $H$ とターゲット $R$ の関係（例： $H \subset R$ , $H \supset R$ , 部分的な重複）を詳細に分析し、使用されたテスト戦略の最適性を判断する。

主な貢献

FALSIFYBENCH ベンチマーク: 仮説を能動的に生成し、潜在的に反証することを操作可能にする、セマンティックなタクソノミーに基づいた新しい評価フレームワーク。これは、ニュートン力学が相対性理論の部分集合であるといった、科学史において一般的な $H \subset R$ の構成を模倣している。
比較評価: 12種類のLLMの系統的な評価を行い、推論モデルは一般に、科学的推論タスクにおいて指示チューニング済みモデルよりも優れた性能を示すことを実証した。ただし、どのモデルも最適なパフォーマンスには達していない。
メカニズム的洞察: 失敗はランダムではなく、モデルがどのように仮説空間をナビゲートするか（具体的には、確証バイアスへの依存や表面的な言語的仮説の生成）に関連した識別可能なパターンに結びついていることを示す、詳細なターンレベルの分析。

結果

パフォーマンスと戦略

推論 vs 指示チューニング済み: 推論モデルは、指示チューニング済みモデル（例：DeepSeek-V3.1は41%、他は33〜35%の間に集中）と比較して、有意に高い成功率（例：GPT-5.2-Chatは75%、GPT-OSS-120Bは68%）を達成した。しかし、最良のモデルであっても最適なパフォーマンスには及ばなかった。
否定的テストの役割: 確証バイアスと成功率の間には強い負の相関（ $\rho = -0.779$ ）がある。仮説を反証しようと積極的に試みた（負のテストを行った）モデルは、主に確証を求めたモデルよりも一貫して優れた成績を収めた。
オラクルの質: オラクルの精度は概して高かった（85〜95%）が、オラクルの質とプレイヤーの成功率の間に有意な相関は見られなかった。ベイズ混合効果ロジスティック回帰により、確証バイアスが成功の強力な負の予測因子であることが確認された一方、オラクルのエラー率は無視できる程度の影響しか持たなかった。

失敗モード

仮説空間のナビゲーション: 失敗したゲームでは、モデルは一貫した上方修正パス（ $H \subset R$ ）に従うのではなく、ターゲット・ルールと部分的に重複したり、**互いに素（disjoint）**であったりする仮説を頻繁に形成していた。
表面レベルの特徴: 失敗したゲームでは、セマンティックな特性ではなく、表面レベルの言語的特徴（例：「すべてのアイテムが文字 'a' で始まる」や「音節数」）に焦点を当てた仮説が含まれる可能性が著しく高かった。高性能なモデルにおいても、失敗したゲームのほぼすべてにおいて、このような言語的仮説が少なくとも一つ含まれていた。
ターンの効率性: 成功したゲームは、 $H \subset R$ のターンが集中しており、効率的な修正が行われていた。失敗したゲームは「部分的重複」のターンが多く、これはモデルが、近いが正しくない仮説に固執してしまったことを示している。

意義と主張

本論文は、FALSIFYBENCHが、静的な知識の検索を超えた、動的な仮説検証のための、LLMの「科学的推論」能力に対する厳格なテストを提供すると主張している。主要な発見は、否定的テストを行う能力が、帰納的推論タスクにおける成功の主要な原動力であるということである。

著者らは、推論モデルは指示チューニング済みモデルと比較して仮説を反証する優れた能力を示しているものの、現在のLLMは依然として科学的プロセスの全容に取り組むことに苦慮していることを強調している。確証バイアスに依存し、表面レベルの言語的パターンへと逸脱する傾向は、高度なモデルであっても、科学的発見の規範的な戦略を完全には内面化していないことを示唆している。本研究は、「思考（推論）」自体は、反証的な証拠を積極的に求める戦略的規律なしには不十分であることを浮き彫りにしている。

著者らは、本研究の範囲について、科学的推論の特定のアスペクト（部分集合構成における仮説修正）に焦点を当てていること、およびセマンティックな知識のプロキシとしてのWordNetの使用には限界があることを認め、その範囲について謙虚な姿勢を保っている。彼らは、LLMが自律的な科学的発見の準備ができていると主張しているのではなく、FALSIFYBENCHがこの特定の領域における進歩を測定するための必要な診断ツールを提供することを目的としている。