技術的サマリー：子供と言語モデルにおける仮説生成と帰納的推論

問題提起

現実世界の意思決定には、証拠、潜在的な因果規則、そして世界そのものの状態に関する不確実性のもとで、メンタルモデルを構築することが求められる。認知科学とロボティクスにおける中心的な課題は、これらの条件下でエージェントが整合的な理論を発見することを可能にする計算原理を特定することである。具体的には、異なるシステム（人間対人工）間で相互作用する不確実性の源を体系的に変化させ、推論メカニズムを比較するための実験的枠組みが不足している。

本論文は、7〜10 歳の子供が不確実性のもとで誤った指示にどのように反応するかを研究するために設計された物理的なパズル解決領域である「ボックス・タスク」における帰納的推論をモデル化することで、この課題に取り組む。このタスクは、時間制限内に 13 本の鍵を使って 5 つの施錠された箱を開けることを含む。真の規則（箱上の形状の数を鍵の番号と一致させること）は潜在しており、一方、子供たちは色を一致させる規則を示唆する教師のビデオによって誤導される。環境は「部分的に観測可能」（箱を拾うまで形状の数は隠されている）であり、「信頼性の低い証拠」（機械的な故障により、正しい鍵と箱の組み合わせが開かない可能性がある）を特徴とする。

手法

著者らは、エージェントが確率的な状態遷移と不完全な観測から潜在的な規則 $h$ を発見しなければならない「ボックス・タスク」を「部分的に観測可能なマルコフ決定過程（POMDP）」として形式化した。彼らは、オンライン・ベイズ更新のために「逐次モンテカルロ・サンプラー（SMC-S）」を用いて解を近似する 2 つの補完的な枠組みを実装した。

1. 制約の集合（SoC）－ 認知モデリング

この実装では、仮説を証拠から導かれた制約の構造化された集合として扱う。これは人間の児童の行動（$N=100$）に適合させた認知モデルとして機能する。

• 仮説表現: 仮説は箱から鍵への写像である。
• 提案分布: 以下の混合モデル:
  • 事前指定された規則: 色、形状、順序といった顕著な候補規則に割り当てられた事前確率。
  • オンライン・ジェネレーター: 蓄積された証拠に基づいて新たな制約を提案するメカニズム。整合的な割り当てを重み付けし、反証されたものを軽視する。
• 主観的信頼性: 証拠の信頼性に対するエージェントの主観的推定を表すパラメータ $\rho \in (0, 1]$ を導入する。これにより、モデルは失敗を外部原因（例えば、固いロック）に帰属させ、即座に仮説を反証することを回避できる。
• バリエーション: 著者らは、ジェネレーターまたは主観的信頼性を除去した損傷モデルを含む 4 つの変種と、完全モデル（SoC-Full）をテストした。

2. LLM ベースのプログラム合成（LLM-PS）－ モデル生物

この実装では、大規模言語モデル（LLM）を制御可能な「モデル生物」として扱い、環境条件を体系的に変化させた際の行動の変化を探る。

• 仮説表現: 仮説は、LLM によって生成・修正される実行可能な Python 関数（predict(key, box) -> bool）である。
• 推論エンジン: システムは仮説粒子の集団を維持する。ある粒子が「再生（rejuvenation）」のために選択されると、LLM は行動と結果の履歴と整合的な修正されたプログラムを合成するようにプロンプトされる。
• 行動選択: エージェントは、粒子分布における期待情報利得（EIG）を最大化する行動を選択する。
• バリエーション: 著者らは人間タスクに一致する条件を実装した:
  • LLM-PS-S: 完全観測、信頼性の低い鍵。
  • LLM-PS-P: 部分的観測（形状の数を確認するために OBSERVE 行動が必要）、信頼性の低い鍵。
  • ReAct ベースライン: 明示的な仮説表現を維持することなく直接行動を生成する標準的な ReAct エージェント。

主要な貢献

1. 帰納的推論の形式化: 本論文は、信頼性の低い証拠と無制限の仮説空間を持つ状況に「サンプリング仮説」を拡張し、制約ベース（SoC）とプログラム合成（LLM-PS）という 2 つの補完的な実装を提供する。
2. 子供の計算的分析: この研究は、子供の行動は「主観的証拠信頼性」（失敗を機械的誤差として割り引くこと）と「オンライン仮説生成」（近似解の作成）の共同作用によって最もよく説明されることを示している。これは、タスク完了と真の規則の一般化の間の分離を説明する。
3. 制御された比較: LLM をモデル生物として扱うことで、著者らは証拠の信頼性と観測可能性を体系的に変化させた。その結果、LLM ベースのエージェントは不確実な条件下で子供の行動パターン（例えば、信頼性の低い証拠を割り引くこと、部分的な情報を解決しようとすること）を再現するが、子供と比較して明確な帰納的バイアス、すなわち「過剰な観測」と「指示への過剰な服従」の傾向を示すことがわかった。

結果

SoC の結果

• モデル適合: 主観的信頼性とオンライン・ジェネレーターの両方を組み込んだSoC-Fullモデルは、いかなる損傷バリエーションよりも子供の軌跡と一般化率に対して有意に良い適合を示した（$p < .001$）。
• 一般化: 子供の 66% がすべての箱を開けたが、真の規則を一般化したのは 22% だけだった。SoC-Full モデルはこの傾向を再現し、シミュレーションの約 20% で正しい規則に収束した。
• メカニズム: 結果は、主観的信頼性もオンライン生成も単独では不十分であり、それらの組み合わせが試行の分布と低い正解一般化率を再現するために必要であることを示している。

LLM-PS の結果

• パターンの再現: LLM ベースのエージェントは、証拠の信頼性と観測可能性の変化に対する子供の反応を再現した。彼らは信頼性の低い証拠を成功裏に割り引き、部分的な情報を解決しようとした。
• タスク完了対一般化: 子供と同様に、LLM エージェントも真の規則を発見することなくタスクを完了することが多かった。この場合、彼らは統一された規則ではなく、異なる原因を組み合わせた「近似」仮説（例えば、一部の箱には色を使用し、他の箱には数字を使用する）に依存した。
• 行動の乖離:
  • 指示への服従: LLM は最初の試行で誤った色一致指示に厳格に従ったが、子供の 21% は即座に色一致しない組み合わせをテストした。
  • 観測コスト: LLM-PS-P エージェントは、再挑戦する前に体系的にすべての箱を観測したが、子供は観測頻度に大きなばらつきがあり、多くの場合、ほとんど、あるいは全く箱を観測しなかった。これは、子供が LLM 環境には存在しない認知的または社会的コストに対して情報の価値を暗黙的にトレードオフしていることを示唆している。
• バックエンド能力: 真の規則への一般化には、十分なバックエンド能力が必要だった（例えば、GPT-5.2 は単一の粒子で成功したが、DEEPSEEK V3.2 などの弱いモデルは完全観測下でも真の規則を発見できなかった）。

意義と主張

本論文は、人間と人工エージェントにおける不確実性下の帰納的推論を評価するための制御された枠組みを提供すると主張している。その主な意義は以下の点にある。

1. 認知科学と AI の架橋: LLM が認知科学のための妥当な「モデル生物」として機能し、人間被験者では達成が困難な環境変数の体系的な操作を可能にすることを示している。
2. 近似推論の理解: 研究は、成功したタスク完了が必ずしも真の潜在的規則の発見を意味しないことを浮き彫りにしている。子供も LLM も、即座の問題を解決するために異なる原因を統合する「近似」仮説を利用でき、これは後の統合への足がかりとなり得る。
3. 帰納的バイアス: 結果は、子供と LLM が環境構造に対して同様に適応する一方で、その情報探索行動は異なる根本的なコストと事前確率によって形成されていることを示唆している。子供はより広範な事前確率と観測に対する暗黙のコストを以て機能しているように見えるのに対し、LLM は構造化された小さな仮説空間と厳格な指示遵守へのバイアスを示す。

著者らは控えめに、LLM の行動に対する彼らの解釈は間接的なままであり、LLM が明示的な仮説表現を維持しているのか、それとも検索 versus 尤度ベースの更新を行っているのかを決定論的に証明していないと指摘している。彼らは、将来的な研究が機械的解釈可能性を用いてこれらの可能性を区別し、LLM の「主観的信頼性」と規則の事前確率をさらに調査することを提案している。