💬 NLP

Do Language Models Follow Occam's Razor? An Evaluation of Parsimony in Inductive and Abductive Reasoning

この論文は、大規模言語モデル（LLM）が帰納的・溯因的推論においてオッカムの剃刀（単純性の原則）に従っているかを評価する新たな枠組みと指標を提案し、LLM は単純な状況では推論可能だが、複雑な世界モデルや高品質な仮説の生成においては、既存の推論強化手法を用いても依然として困難を抱えていることを明らかにしています。

原著者： Yunxin Sun, Abulhair Saparov

公開日 2026-03-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yunxin Sun, Abulhair Saparov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「最新の AI（言語モデル）は、本当に『賢く』推論できるのか？」**という疑問に、ある有名な哲学の原則を使って答えた研究です。

タイトルを直訳すると**「言語モデルはオッカムの剃刀に従うか？（推論の簡潔さの評価）」**となります。

難しい言葉を使わずに、**「探偵と事件」**のたとえ話を使って説明しましょう。

🕵️‍♂️ 物語：探偵と「オッカムの剃刀」

Imagine you are a detective trying to solve a mystery.
（探偵が事件を解決しようとしていると想像してください。）

1. 事件現場（データ）と推論
現場には「鳥の鳴き声」が聞こえていました。
探偵（AI）はこれを説明するために、いくつかの仮説（答え）を考えます。

仮説 A（シンプル）： 「庭に鳥がいます。」
仮説 B（複雑）： 「誰かがスピーカーで鳥の音を流しています。しかも、その人は鳥の鳴き声の真似をするのが得意で、さらにそのスピーカーは電池が切れないように魔法の石で動いています。」

どちらも「鳥の鳴き声」という事実を説明できます。しかし、「余計な要素（魔法の石や魔法のスピーカー）を付け加えない、最もシンプルな仮説」が最も正しい可能性が高いという考え方を、哲学者は**「オッカムの剃刀（Occam's Razor）」**と呼びます。

2. 研究の目的
この論文の著者たちは、最新の AI（LLM）に「この事件を解決して」と頼みました。
AI は「鳥がいる」という正解を言えるでしょうか？それとも、不必要に複雑で、余計な要素が入った「魔法のスピーカー」説を言い出すでしょうか？

🧪 実験：人工的な「謎解き」ゲーム

研究者たちは、AI をテストするために、**「架空の動物とルール」**を使ったゲームを作りました。

世界： 「ダルピスト（Dalpist）」という架空の生き物がいます。
ルール： 「ダルピストはすべて『濡れている』」とか、「『ロンプス（Rompus）』はダルピストの仲間」などのルールがあります。
課題： 「アミは濡れている、ジェリーも濡れている」という事実（観察）が与えられたとき、AI は「ダルピストは濡れている」というシンプルで正しい法則を見つけられるか？

このゲームは、AI が「推論（Inductive/Abductive reasoning）」と呼ばれる、**「事実から法則を見つけたり、理由を推測したりする力」**を持っているかを見るものです。

📉 実験結果：AI は「賢い」が「完璧ではない」

実験の結果、以下のようなことがわかりました。

簡単な問題は解ける：
ルールが単純で、答えが一つしかない簡単な事件なら、AI は上手に「オッカムの剃刀」を使って、シンプルで正しい答えを出せます。
複雑になると迷子になる：
ルールが複雑になり、答えが複数あるような難しい事件になると、AI は**「正解」は言えても、「最もシンプルで美しい正解」を見つけられなくなります。**
- 例：「鳥がいる」という正解の代わりに、「鳥がいる＋誰かが見ている＋空が青い」といった、必要のない要素まで付け加えた複雑な答えを出してしまいます。
AI の「癖」：
AI はよく以下のミスをします。
- 方向転換ミス： 「猫は哺乳類」なのに、「哺乳類は猫」と逆のルールを作ってしまう。
- 余計な付け足し： 説明に不要な「魔法の石」のような要素を勝手に追加してしまう。
- 事実の繰り返し： 「鳥の鳴き声が聞こえた」から「鳥の鳴き声が聞こえた」という、ただの事実を答えとして提出してしまう（これでは推論になっていません）。
最新の技術でも限界がある：
「思考の連鎖（CoT）」や「強化学習」といった、AI を賢くするための最新のテクニックを使っても、**「複雑な状況で、最もシンプルな答えを見つける力」**は、まだ人間レベルには達していませんでした。

💡 結論：AI は「天才」だが「職人」ではない

この研究は、**「AI は論理的に正解を見つけることはできるが、『いかにシンプルに、無駄を省いて考えるか』という、人間のような賢さ（直感や美学）はまだ持っていない」**ことを示しています。

今の AI： 膨大な情報から「正解」を探し出すのは得意ですが、**「一番シンプルな正解」**を選ぶのが苦手です。
今後の課題： 科学の発見や、複雑な現実の問題解決には、「オッカムの剃刀（シンプルさ）」が不可欠です。AI が本当に賢くなるためには、単に「正解」を出すだけでなく、「最も美しい（シンプルな）答え」を選ぶ能力を磨く必要があります。

🎯 まとめ

この論文は、**「AI はまだ、子供のように『余計なことを考えすぎて』複雑な答えを出してしまう傾向がある」**と指摘しています。

私たちが AI を本当に信頼して、科学や医療などの重要な判断に使えるようになるためには、AI に**「シンプルさの美学」**を教える必要があるのかもしれません。

論文「Do Language Models Follow Occam's Razor?」の技術的サマリー

この論文は、大規模言語モデル（LLM）が帰納推論（inductive reasoning）と仮説推論（abductive reasoning）の文脈において、オッカムの剃刀（Occam's Razor：より単純な仮説が優先されるべきという原則）に従って行動するかどうかを評価した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

背景: 推論には演繹的、帰納的、仮説的（アブダクティブ）な推論がある。演繹的推論は決定論的であるが、帰納・仮説的推論は本質的に確率的であり、複数の有効な仮説が存在し得る。
課題: 科学発見や複雑な現実世界の問いにおいて、最も有用なのは「最も単純な仮説（オッカムの剃刀に従うもの）」である。しかし、既存の LLM 評価研究の多くは演繹的推論に焦点を当てており、帰納・仮説的推論における「仮説の質（単純性）」の評価が欠落している。
研究質問: LLM は帰納・仮説的推論を行えるか？また、その際、オッカムの剃刀（単純性）を遵守して高品質な仮説を生成できるか？

2. 手法と提案フレームワーク

2.1 合成データセット「INABHYD」の構築

既存のデータセットは常識知識の混入や構造化された領域（プログラム合成など）に限定される傾向があったため、著者は新しいベンチマーク INABHYD (Inductive and Abductive Hypothesis Discovery) を提案しました。

世界モデルの生成: 一階述語論理（First-Order Logic）で表現された「オントロジー木（Ontology Tree）」を基に、架空の世界モデルを生成します。
- ノード：概念（例：dalpist）、属性、メンバー。
- エッジ：部分類関係（例：A は B のサブタイプ）。
- 隠された公理: 一部の公理（仮説）を隠し、LLM に推論させます。
観測データの生成: 隠された公理を導き出すのに十分な観測データ（事実）を生成します。
タスクの多様性:
1. 属性の推論（例：「すべての dalpist は rainy である」）
2. メンバーシップ関係の推論（例：「Jerry は dalpist である」）
3. サブタイプ関係の推論（例：「すべての dalpist は rompus である」）
難易度制御: オントロジー木の高さ（深さ）をパラメータとして制御し、複雑さを段階的に変化させます。

2.2 評価指標

LLM が生成した仮説を以下の 3 つの指標で評価します。

Weak Accuracy（弱正解率）: 観測事実をすべて説明できる仮説かどうか（正解かどうか）。
Strong Accuracy（強正解率）: 正解（グラウンドトラウト）と完全に一致する仮説かどうか。
Hypothesis Quality（仮説の質）: オッカムの剃刀に従う度合いを定量化した新しい指標。
- 定義：生成された仮説集合 $H$ が観測 $O$ を説明する証明木において、どの程度効率的に（重複して）使われているかを計算します。
- 数式： $q(H) = \frac{1}{|H|} \sum n(h) / \frac{1}{|H^*|} \sum n(h^*)$ $q (H) = \frac{1}{∣ H ∣} \sum n (h) / \frac{1}{∣ H ^{*} ∣} \sum n (h^{*})$
  - $n(h)$ : 仮説 $h$ が証明木で使われる回数。
  - $H^*$ : 真の（最も単純な）仮説集合。
- 意味：不必要な仮説を含めず、観測を最も少ない仮説で説明できるほどスコアは高くなります。

2.3 実験設定

対象モデル: GPT-5.4, O3, LLaMA3-70B, Gemma3-27B, DeepSeek-V3, GPT-4O, DeepSeek-R1-Distill-LLaMA-70B などの SOTA モデル 7 種。
条件: ゼロショット、8-shot（インコンテキスト学習）、CoT（Chain-of-Thought）、BoT（Buffer-of-Thought）、RLVR（検証可能な報酬による強化学習）などの手法を適用。

3. 主要な結果

3.1 推論能力と複雑さの関係

単純なタスク: オントロジー木が浅く（高さ 1）、仮説が 1 つの場合、多くのモデルは高い正解率（80% 以上）を達成します。
複雑なタスク: オントロジー木が高くなる（複雑になる）と、正解率と仮説の質は劇的に低下します。
- 高さ 2 以上になると、多くのモデルで正解率が 50% 以下に落ち込みます。
- 複数の仮説が必要な場合、モデルは「観測を説明できる（Weak Accuracy は高い）」が、「最も単純な仮説（Strong Accuracy / Quality）を見つけられない」傾向が強まります。

3.2 オッカムの剃刀の遵守

高品質な仮説の欠如: モデルは観測を説明する「有効な」仮説を生成できても、オッカムの剃刀に従う「高品質（単純）」な仮説を生成するのは困難です。
誤りの傾向:
1. オントロジー方向の逆転: 部分類関係を逆転させる（例：「すべての猫は哺乳類」を「すべての哺乳類は猫」と誤る）。
2. 不要な仮説の生成: オントロジー構造を無視し、観測事実そのものを仮説として繰り返したり、冗長な仮説を追加したりする。
3. ハルシネーション: 文脈に存在しないエンティティを仮説に含める。

3.3 推論強化技術の効果

インコンテキスト学習: 分布内（in-distribution）のデモンストレーションは、特に深いオントロジー木において強正解率と質をわずかに改善しますが、分布外（out-of-distribution）では効果が限定的です。
推論モデル・RLVR: GPT-5.4 や O3 などの推論特化モデルは、LLaMA3-70B よりも高い性能を示しますが、「弱正解率」と「強正解率/質」の間のギャップは依然として存在します。つまり、推論技術の進歩は演繹的推論には寄与しても、複雑な帰納・仮説的推論における「単純性の発見」にはまだ完全には対応できていません。

4. 主要な貢献

新しい評価枠組みの提案: 帰納・仮説的推論を同時に評価し、オッカムの剃刀を定量的に測定できるフレームワークと、合成データセット INABHYD を公開しました。
定量的な評価指標: 仮説の「質」を、証明木における仮説の再利用頻度に基づいて数値化する新しいメトリクスを提案しました。
実証的知見: 現在の SOTA LLM は、単純な状況では推論可能だが、複雑な世界モデルや多仮説の状況下では、オッカムの剃刀（単純性）を遵守した高品質な仮説を生成することに本質的な困難を抱えていることを示しました。

5. 意義と結論

限界の明確化: 科学発見や複雑な意思決定など、帰納・仮説的推論が不可欠な分野において、現在の LLM は「単純でエレガントな説明」を自発的に見出す能力が未熟であることを示しました。
今後の方向性: 単に正解を出すだけでなく、「最も単純な説明」を選ぶ能力を向上させるためのトレーニング手法や、より高度な推論アーキテクチャの必要性が浮き彫りになりました。
結論: LLM は「推論」を行えますが、人間の直感に則した「オッカムの剃刀」に従う高品質な推論を行うには、まだ大きな改善の余地があります。

総括: この論文は、LLM の推論能力評価において「正解か否か」だけでなく「その推論がどの程度シンプルで効率的か（オッカムの剃刀）」という視点を導入し、現在のモデルが複雑な非演繹的推論において「単純性の発見」に課題を抱えていることを浮き彫りにした重要な研究です。