技術要約：継続的な科学的発見のための証拠に基づくLLMの信念

問題提起

大規模言語モデル（LLM）を用いたオープンエンドな科学的発見は、多くの場合、報酬信号に導かれた仮説探索と検証の長期的なループとして機能します。代表的な例であるAutoDiscoveryは、「ベイズ的驚き（Bayesian surprise）」、すなわちある仮説に対する証拠を観察した後のLLMの信念の変化を、発見の指標および探索の報酬として利用しています。

著者らは、このアプローチにおける重大な失敗モードを特定しました。それが**静的な驚き（static surprisal）**です。AutoDiscoveryは、LLMの事前信念を静的かつ無条件なものとして扱い、各新しい仮説を、モデルのパラメータ知識に対して個別に評価します。これは、信念が非定常であり、経験とともに進化するという人間の科学的推論の性質と乖離しています。その結果、静的な驚きは以下の問題を引き起こします：

1. 進捗の過大評価： 以前の発見によって既に示唆されている派生的な仮説を、新規かつ驚くべきものとしてカウントしてしまう。
2. 探索予算の浪費： エージェントを仮説空間の飽和した領域へと繰り返し誘導し、冗長な「再発見」を招く。

神経科学や社会科学における人間による専門家調査では、この不一致が確認されました。AutoDiscoveryによって「驚きが大きい」と判定された仮説のうち、それぞれの領域において以前の発見によって実質的に示唆されていたものは、約**29.54%および25%**に達しました。

手法

本論文は、**非定常な驚き（non-stationary surprisal）を可能にするための「証拠に基づくLLMの信念（Evidence-Informed LLM Beliefs）」**フレームワークを提案しています。この手法は、主に「信念事前分布の更新」と「探索手順の修正」という2つのコンポーネントで構成されています。

1. インコンテキスト学習による非定常な驚き

静的な事前分布 $P(\theta_H)$ を使用する代わりに、過去の仮説とその検証結果の履歴を条件とした非定常な事前分布 $P(\theta_H | \{(H^{(i)}, V^{(i)}_D)\}_{i=1}^{t-1})$ を計算します。

これを実装するために、著者らは過去の証拠を検索・統合するための様々な**インコンテキスト学習（ICL）**メカニズムを評価しました：

• フルコンテキスト ($C_{full}$): すべての過去の発見を注入する。
• Top-k 検索 ($C_{top-k}$): 埋め込みを用いて、過去の最も意味的に類似した $k$ 個の仮説を検索する。
• 構造化メモリ ($C_{mem0}$): グラフベースのメモリシステム（Mem0）を使用する。

結果： 埋め込みベースのTop-k 検索（RAG）（$k=25$）が最も効果的であることが判明しました。これは事後的な信念を最もよく予測し、静的なベースラインと比較して、静的な驚きの総数を平均で**37.43%**削減しました。この手法は、フルコンテキストや複雑なメモリ構造よりも、計算コスト（トークン使用量）とパフォーマンスのバランスに優れています。

2. 証拠に基づく探索

単に静的な報酬を非定常な驚きに置き換えるだけでは、探索の軌道を修正するには不十分であることが分かりました。エージェントは依然として類似した仮説を探索してしまいます。これに対処するため、著者らは探索アルゴリズム（Progressive Wideningを伴うMCTS）の仮説選択ステップに、2つの補完的なメカニズムを導入しました。

• 信念更新フィルタリング（Belief-Update Filtering）： 検証すべき仮説を選択する前に、その仮説が既知の証拠によって十分に説明されているかどうかをシステムがチェックします。証拠に基づいたコンテキストを構築し、更新された事前分布を導出します。静的な事前分布と証拠に基づいた事前分布の間の絶対的な変化が閾値（$\kappa = 0.2$）を超えた場合、その仮説は除外されます。これにより、更新された信念状態の下ではもはや驚きではない仮説に対して、エージェントが予算を浪費することを防ぎます。
• 多様性の最大化（Diversity Maximization）： システムは、検証済みの仮説に対する意味的類似性が最も低い候補を優先的に選択することで、探索を明示的に促進します。これは、上位 $k$ 個の近傍の過去の仮説への平均コサイン距離を使用して計算されます。このメカニズムにより、検索は単なる重複の回避を超えて、新しい意味領域を探索することを保証します。
• オンライン・デデュプリケーション（Online De-duplication）： 階層的凝集クラスタリング（HAC）を用いた追加レイヤーにより、既に検証された仮説、あるいは現在のノード内の他の候補と意味的に冗長な候補を除去し、近接した重複探索を防ぎます。

主な結果

提案手法は、5つの発見領域（NLS-SES、考古学、淡水魚の進化、出生率、住宅ローン）において、1ランあたり500回の実験の探索予算を用いて評価されました。

• 累積非定常驚き： フルセットの「証拠に基づく探索」（信念更新フィルタリング、多様性最大化、およびオンライン・デデュプリケーションの組み合わせ）は、元の静的な探索手順と比較して、累積非定常驚きを平均で**30.62%**増加させました。
• ベースラインとの比較：
  • 本手法は、標準的なAutoDiscoveryの探索よりも約41件多くの驚き（30.63%の利得）を生み出しました。
  • オンライン・デデュプリケーションのみを行った標準的な探索と比較して、約21件多い驚き（13.37%の利得）を生み出しました。これは、信念フィルタリングと多様性最大化が、単純な重複排除以上の価値を提供することを示しています。
  • 選択メカニズムを変更せずに、単に報酬を非定常な驚きに置き換えただけでは、有意な改善は見られませんでした。これは、明示的な探索の修正が必要であることを強調しています。
• 意味的多様性： 提案手法は、標準的な探索（0.523–0.527）と比較して、有意に低い平均ペアワイズ・コサイン類似度（0.448–0.452）を持つ仮説を生成しました。これは、より広い意味的カバー範囲を示しています。
• アブレーション研究： いずれかのコンポーネント（多様性最大化、信念更新フィルタリング、またはオンライン・デデュプリケーション）を取り除くと性能が低下し、各メカニズムが異なる冗長性の原因に対処していることが確認されました。

意義と主張

本論文は、LLMによる継続的な科学的発見には、より優れた信念の測定だけでなく、冗長性を能動的に管理し多様性を促進する探索手順が必要であると主張しています。

主な貢献は以下の通りです：

1. 失敗モードの特定： 静的な驚きが派生的な仮説に対して偽の報酬を与えてしまうことを示し、これを人間による専門家検証によって立証した。
2. 非定常な驚き： 過去の仮説からの証拠を用いてLLMの事前分布を更新する方法を導入し、埋め込みベースのRAGが事後分布を最もよく近似することを示した。
3. 証拠に基づく探索： 信念更新フィルタリングと多様性最大化を組み合わせた探索戦略を提案し、これが飽和した領域から真に新しい仮説へと探索予算を再配分することに成功した。

著者らは、長期的なLLM探索システムが効果的であるためには、エージェントの累積的な認識状態に基づいて「何が驚きであるか」を継続的に修正しなければならないと結論付けています。

限界

著者らは以下の限界を認めています：

• 抽出の質： 信念の推定は、プロンプトの選択、サンプリングの分散、およびLLMの不確実性を表現する能力に依存します。
• 妥当な再訪問の抑制： 非定常な目的関数は、より強力または相反する証拠の下で、再検討する価値が正当にあるはずの仮説をも抑制してしまう可能性があります。
• スケーラビリティ： 現在の実験は制御された設定と有限の予算に焦点を当てており、オープンエンドなワークフローへスケールさせるには、現在のコンテキストウィンドウを超えた、より優れた検証メカニズムや長期メモリソリューションが必要です。