技術要約：仮説進化プロトコルを通じた監査可能なAI科学者に向けたアプローチ

問題提起

大規模言語モデル（LLM）エージェントは自律的な科学的発見において有望であるものの、現在の実装には厳密な科学的推論構造が欠けていることが多い。既存のエージェントは、定義されたワークフローを自動化したり、外部目標に向けて最適化したりすることには長けているが、科学的探究の核心であるサイクル（仮説の提案、検証、証拠の収集、および信念の更新）を明示的に管理することには失敗している。現在のシステムにおいて、これらのプロセスは非構造化されたログや暗黙的な内部状態の中に埋もれている。その結果、エージェント自身も人間研究者も、どの仮説が検討されたのか、どのように証拠が信念の更新に影響を与えたのか、あるいはどのように結論に至ったのかを容易に追跡することができない。最近の分析によれば、多くのエージェントのトレースにおいて、証拠が無視されており、反証後も信念が更新されないケースがあることが示されている。仮説–検証–証拠–信念のサイクルに関する明示的かつ監査可能な記録がなければ、エージェントの結論の科学的正当性を検証することはできず、またエージェントが長期的な研究の地平において自身の仮説を体系的に積み上げたり、あるいは廃止したりすることもできない。

手法：仮説進化プロトコル (HEP)

これらの限界に対処するため、著者らは、科学的推論を明示的かつ監査可能な操作へと外部化するエージェント用ハーネスである仮説進化プロトコル (Hypothesis Evolution-Protocol: HEP) を提案する。HEPは主に以下の2つのコンポーネントで構成される：

1. HEPレジストリ： すべての仮説がユニークなIDによって識別される永続的なオブジェクトである、イベントソーシング型の追加専用（append-only）ストア。各オブジェクトには以下が含まれる：

   • 自然言語による記述。
   • エージェントの確信度を表す信念確率 $P(H)$。
   • ライフサイクル状態（提案済み [proposed]、検証中 [under_test]、支持された [supported]、反証された [refuted]、または休止中 [dormant]）。
   • プロベナンス（由来）の記録（系統および生成メカニズム）。
   • すべての信念更新、証拠の添付、および状態遷移を追跡する追加専用のイベントログ。

2. HEPツール： エージェントとレジストリとの間の相互作用を媒介する一連のインターフェースであり、以下に分類される：

   • 提案および進化 (Propose & Evolve)： propose_hypothesis（仮説の提案）、refine_hypothesis（仮説の洗練）、および merge_hypotheses（仮説の統合）を含む。仮説は、de-novo（新規生成）、inspired-by（着想に基づく：プロベナンスのみ）、refine（洗練）、および merge（統合）という4つのメカニズムを通じて生成される。
   • 検証および判定 (Test & Judge)： attach_evidence（証拠の添付）および transition_hypothesis（仮説の状態遷移）を含む。信念の更新はバリデーションゲートによって規律され、信頼できると見なされた証拠のみが信念を更新する。判定（支持または反証）は、閾値遷移（支持されるには $P(H) \ge 0.8$、反証されるには $P(H) \le 0.2$）によって強制される。
   • 読み取り (Read)： レジストリを照会するための list_hypotheses（仮説一覧）および get_hypothesis（仮説取得）を含む。

このプロトコルは、エージェントが構造化された仮説–検証–証拠–信念サイクルの中で動作することを強制する。信念は、アルゴリズム的に計算されるのではなく、エージェントによる記述的な根拠とともに引き出されるが、プロトコルは、信念の変化が必ず特定の検証済み証拠に基づかなければならないことを強制する。

実験設定

著者らは、特定の化合物ファミリーに対する結晶構造の好みの問題に関するオープンエンドな問いを含む、固定された機械学習原子間ポテンシャル（MLIP）を用いた3つの材料科学研究タスクにおいて、HEPを評価した：

• タスク AO2： AO2 ジオキサイドにおける多形選択。
• タスク A2BB'O6： ダブルペロブスカイトにおけるBサイト陽イオンの秩序化。
• タスク MX： 遷移金属モノカルコゲニドおよびモノニクトリドにおけるプロトタイプ選択。

実験では、計算ツール（構造緩和、分子動力学、データベースクエリ）を備えたベースLLM（GPT-5.5）と、HEPハーネスを用いた。比較対象として、HEPハーネスを持たない標準的な「プランニング型」エージェント（計画–実行–再計画）を用いた。さらに、能力の異なる3つのLLM（GPT-5.5、GPT-5.4-mini、GPT-4.1）を用いて、HEPのスケールアップ性能をテストした。

主な結果

1. 科学的ループの動作

タスクAO2における単一の研究ランにおいて、HEPを装備したエージェントは16個の仮説を生成し、4つすべての生成メカニズムを実行した。すべての仮説は最終的に終端状態（支持、反証、または休止）へと遷移した。エージェントは以下のフルサイクルを正常に実行した：

• 追跡可能性： 仮説ツリーにより、親子の関係および生成メカニズムの追跡が可能となった。
• 信念の進化： 信念の軌跡は、変化が厳密に検証された証拠に結びついていることを示した。仮説が支持または反証の閾値を越えるのは、十分な証拠が蓄積された後であり、「信念の反転」（例：低い確信度で提案された仮説が支持されること）はデータに基づいて発生した。
• プランニング型エージェントとの比較： 同じベースLLMを持つプランニング型のエージェントは、ステップの83%をテストに費やし、明示的な信念更新には0%を費やした。そのエージェントは、信念を外部化したり、証拠に対して体系的に更新したりすることに失敗した。対照的に、HEPエージェントは明確な遷移フロー（仮説 $\to$ 検証 $\to$ 証拠 $\to$ 信念 $\to$ 判定 $\to$ 更新）を示し、プランニングだけでは実現できない科学的ループをHEPが強制していることを実証した。

2. 研究課題への汎用性

タスクA2BB'O6およびMXに適用された際、HEPは堅牢性を示した：

• エージェントはタスクごとに10〜20個の仮説を生成し、生成深度は3〜5であった。
• すべての仮説が終端の処分に達し、未解決のまま残されたものはなかった。
• 最終的な支配的な規則は、高い確信度（例：AO2において $P(H) = 0.97$）で導出された。これらの規則は、未知の組成に対する構造予測によって検証された。
• プロトコルは、特定の反証（例：教科書的なヤーン・テラー機構の反証）がいかにして探索を正しい電子的な例外へと方向付けたかを明らかにした。この履歴は、レジストリのログから直接読み取ることが可能であった。

3. ベースLLMの能力によるスケーリング

HEPの有効性は、基礎となるLLMの推論能力に依存することが判明した：

• GPT-5.5： 最も多くの仮説を生成し（平均14.7）、すべての生成メカニズム（複雑な統合を含む）を活用し、すべての仮説を解決した。
• GPT-5.4-mini： 生成した仮説が少なく（平均6.7）、36%が未解決のまま残った。
• GPT-4.1： 最も少ない仮説を生成し（平均4.0）、de-novoによる提案に大きく依存した（62%）。また、洗練や統合を通じて仮説を進化させることに失敗した。ある実行では、証拠を添付することなくすべての仮説を放棄した。
• 結論： テストされたすべてのLLMは個々のHEPツールを操作することはできたが、反復的な進化とリネージ管理を完全に活用できたのは、最も能力の高いモデルのみであった。

意義と主張

本論文は、HEPが監査可能なAI科学者への一歩を提示していると主張している。その主な意義は以下の通りである：

• 推論の外部化： 仮説–検証–証拠–信念のサイクルを、暗黙的で非構造化されたプロセスから、明示的で永続的かつ検証可能な記録へと変貌させる。
• 規律と検証： 信念の閾値と証拠の検証を強制することにより、HEPはエージェントの結論が追跡可能な監査証跡に基づいていることを保証し、人間がエージェントの科学的推論を検査、検証、および構築できるようにする。
• 相補性： 著者らは、HEPはベースLLMの推論能力を代替するものではないことを強調している。むしろ、ハーネスと能力は相補的である。すなわち、ハーネスは推論が外部化され検証可能であるか（whether）を決定し、LLMの能力はその推論がいかに完全に行使されるか（how fully）を決定するのである。

結論として、ベースLLMが進歩するにつれ、HEPのようなハーネスは、生の計算能力を信頼でき、検査可能な科学的発見へと変換するために不可欠となる。今後の展望としては、証拠検証のための独立した監査エージェントの導入や、より厳格な証拠検証のための第一原理ツール（例：DFT）の装備などが挙げられている。