LLM-Guided Open Hypothesis Learning from Autonomous Scanning Probe Microscopy Experiments

本論文は、記号回帰と大規模言語モデルを統合した自律走査型プローブ顕微鏡フレームワークを提示し、これにより事前のモデルを指定することなく希薄な実験データから新たな物理仮説を生成・評価し、強誘電体ドメイン反転の解釈可能な電圧 - 時間成長則の発見に成功した。

要約

想像してみてください。超高性能顕微鏡を備えた実験室で働く科学者の姿を。過去には、この科学者は何を測定するかを正確に決め、テストを実行し、結果を確認し、次に何をすべきかを判断しなければなりませんでした。これは遅く、科学者自身の直感に大きく依存していました。

近年、科学者たちは「自動運転」実験室を構築しました。これらは科学における自動運転車のようなものです：コンピューターが顕微鏡を制御し、実験を実行し、最善の結果を可能な限り速く見つけるために設定を微調整します。しかし、落とし穴があります：これらの自動運転実験室は通常、最適化（最良の設定を見つけること）には非常に優れていますが、新しい法則の発見については全く不得意です。これらは「この電圧が最大のドットを作る」とは教えてくれますが、その「なぜ」を説明したり、それを説明する新しい物理法則を記述したりすることはできません。これらは人間のプログラマーが与えたアイデアの箱の中に閉じ込められています。

この論文は、その箱から抜け出す新しいシステムを紹介します。これは、コンピューターに単に最良の答えを見つけるだけでなく、観察に基づいて新しい理論を発明することを教えるものです。

以下は、このシステムがどのように機能するかを、簡単な比喩を用いて説明したものです：

二つの脳を持つシステム

この新しいシステムを、パズルに取り組む全く異なる 2 体のロボットのチームとして考えてみてください。

1. 「パターン発見者」（記号回帰）
常識は全くないが、数学が非常に得意なロボットを想像してください。いくつかの散らばったデータ点（グラフ上のいくつかの点のような）を与えると、それらの点を結びつける可能性のある何千もの異なる数式を叫び始めます。

• 何をするか： 「ドットの大きさは電圧に時間の平方根を掛けたものに等しい」や「大きさは電圧にランダムな数を足したものに等しい」といった、突飛な推測を生成します。
• 問題点： 常識がないため、数学的には完璧だが物理的に不可能な数式（例えば、電力を上げるとドットが小さくなるなど）を提案する可能性があります。これは、数学の教科書を暗記しているが、現実世界がどのように機能するかを理解していない学生のようなものです。

2. 「物理学教授」（大規模言語モデル）
次に、これまでに書かれたすべての物理学の教科書を読み込んだ超優秀な物理学教授である 2 体目のロボットを想像してください。このロボットは自ら数学を行うのではなく、代わりに審判として機能します。

• 何をするか： 「パターン発見者」が生成した何千もの突飛な数式を見て、「ちょっと待て。その数式はドットが過去に向かって成長すると言っているのか？それは不可能だ。却下だ」と言います。
• 魔法： 現実世界で意味をなすかどうかに基づいて数式をランク付けします。物理の法則（例えば「電圧が高くなればドットは大きくなるべきだ」など）に従うものを選び、なぜそれらが優れているかを説明します。

実験：微小な電気バブルの成長

これをテストするために、研究者たちは PZT（電荷を保持するセラミックの一種）と呼ばれる微小な材料の一片を突き刺す特殊な顕微鏡を使用しました。電気ショックを与えると、切り替わった電荷の微小な「バブル」が成長します。

• 目的： バブルの大きさが、電気ショックの時間と強さに基づいてどのように決まるかを説明する法則を見つけ出すことでした。
• プロセス：
  1. 開始： 最初は5 つのランダムな推測（5 つの異なる電気ショック設定）から始めました。
  2. ループ：
     • 「パターン発見者」が 5 つの結果を見て、50 の可能性のある数学的ルールを書き出しました。
     • 「物理学教授」がそれらを読み、スコアを付け、最良のものを選びました。
     • コンピューターはその後、その最良のルールを用いて、より多くを学ぶために次にどこに電気ショックを与えるかを決定しました。
     • これを 10 回繰り返し、各ラウンドでデータを追加しました。

結果：推測から理解へ

最初は、「パターン発見者」は混乱していました。「バブルの大きさは電圧ではなく時間だけに依存する」といった、ばかげたルールを提案しました。「物理学教授」はこれらに低いスコアを与え、「いいえ、それは意味が通じない」と言いました。

実験が進み、コンピューターがより多くのデータを収集するにつれて、「パターン発見者」はより賢明なルールを提案し始めました。最終的に、「物理学教授」は勝者を選びました：バブルは電圧と時間の両方に基づいて成長し、特に成長が時間とともに減速する（「クリープ」運動のような）パターンに従うというルールです。

なぜこれが重要なのか？
以前の実験では、科学者はコンピューターに「これら 3 つの可能なルールがある；最良のものを選べ」と指示しなければなりませんでした。コンピューターはリストから選ぶだけでした。
この新しい実験では、コンピューターはデータからルール自体を創造し、「物理学教授」がそれが現実的であることを確認しました。このシステムは単に最良の設定を見つけるだけでなく、材料の挙動を記述する新しい方法を発見しました。

結論

この論文は、自動科学をリストから最良の答えを見つけるだけの「検索エンジン」から、新しい物理法則を書き出すことができる「科学者」へと変える方法を示しています。アイデアを生成する数学ボットと、そのアイデアが意味をなすか確認する AI ボットを組み合わせることで、このシステムはほぼ何もない状態から、複雑な物理法則を自律的に学習することができます。

技術概要

技術的サマリー：自律走査型プローブ顕微鏡実験からの LLM 誘導オープン仮説学習

問題定義
自律実験は、主にベイズ最適化（BO）を用いて、固定された探索空間内で機器パラメータを調整したり、構造 - 物性関係を発見したりするための、顕微鏡および材料科学における閉ループ最適化のパラダイムとして確立されてきた。しかし、現在のワークフローは、事前に定義された目的関数と仮説空間への依存によって本質的に制限されている。これらのシステムは人間が指定したモデル内で最適値へ効率的に収束するが、新しい物理法則を生成したり、オープンな仮説生成を通じて実験データを解釈したりするメカニズムを欠いている。既存の「仮説学習」アプローチは、通常、データから直接関係を導出するのではなく、人間が設計したモデルの事前に定義されたセットから選択するものである。これにより、解釈可能な知識が、事前の人間モデルクラスに制約されることなく、意思決定層間で生成、評価、伝達されなければならない階層的自律システムにおいて、ギャップが生じている。

手法
著者は、閉ループ最適化からオープンな仮説発見へ移行するための、記号回帰と大規模言語モデル（LLM）に基づく物理的評価を統合した「オープン仮説学習」フレームワークを提案する。このワークフローは、以下の 3 つの中核コンポーネントで構成される。

1. 仮説生成のための記号回帰:
   固定されたモデル構造内でパラメータを適合させるのではなく、システムは記号回帰（PySR ライブラリを使用）を用いて、数学的表現の空間を直接探索する。スパースな実験データが与えられると、このモジュールは予測精度（損失）とモデル複雑性のバランスを取る候補解析式のパレートフロントを生成する。このプロセスは純粋にデータ駆動であり、生成段階で物理的制約を組み込むことなく、明示的な候補方程式を生成する。

2. LLM ベースの物理的評価:
   統計的に最適な表現が物理的妥当性を欠く可能性という制限に対処するため、このフレームワークは構造化された LLM 評価器を導入する。LLM には、候補方程式、変数の定義、および確立された物理原則（特に深層研究パイプラインを通じて生成された強誘電体ドメイン成長に関するもの）の文脈に富んだ要約が提供される。LLM は生成者ではなく検証者として機能し、以下の基準に基づいて候補をスコアリングする。

   • 非自明性: 関連変数（例：電圧と時間の両方）への依存性。
   • 単調性: 期待される傾向との整合性。
   • スケーリング挙動: 既知の領域（例：熱力学的平衡、運動学的成長、クリープ）との整合性。
   • 病理: 特異点や非物理的な発散の欠如。
     出力には、定量的な妥当性スコアと、評価を説明する自然言語の推論トレースが含まれる。

3. 適応的実験設計:
   選択された仮説は、次の実験ステップを導く。システムは、選択されたモデルと実験データとの間の残差を計算する。これらの残差に基づいてガウス過程（GP）を訓練し、不確実性をモデル化する。その後、残差モデルに対して、上側信頼区間（UCB）獲得関数を用いたベイズ最適化（BO）を適用し、新しい測定条件を選択する。これは、現在の仮説が不完全な領域をターゲットとし、モデルを反復的に洗練させる。

実験的実装
このフレームワークは、チタン酸ジルコン酸鉛（PZT）薄膜における強誘電体ドメインスイッチングを調査する自律ピエゾ応答力顕微鏡（PFM）実験で実証された。

• 設定: 電圧パルス（1–10 V）を、ドメインスイッチングを誘起するために固定された位置に、異なる持続時間（0.01–10 s）で印加した。その結果生じたドメインサイズ（実効半径）を DART-PFM によって測定した。
• プロセス: 実験は、5 つのランダムなシード測定から開始された。10 回の反復サイクルを通じて、システムは残差駆動の BO 戦略に基づき、各サイクルで 5 つの新しいデータポイントを取得し、合計 55 回の測定が行われた。
• 評価: 候補モデルは、物理的ルール（例：$V$ と $t$ の両方への依存を要求する）を強制するように設計されたプロンプトを用いて、LLM によってランク付けされた。

主要な結果

• 仮説の進化: 5 つのシードポイントから開始し、記号回帰は当初、自明または物理的に不完全なモデル（例：定数または単一変数依存）を生成した。適応的サンプリングを通じてデータセットが拡大するにつれ、仮説空間は、結合された電圧 - 時間式を含むように進化し、最終的に $r \propto V$ のような単純な電圧のみの線形モデル（損失と複雑性の比率が有利であったため、後の反復で選ばれた）や、時間依存性を無視していたモデルが選ばれた。
• 選択基準の比較:
  • データ駆動型選択: 標準的な PySR の「ベスト」基準（損失と複雑性のバランス）は、時間依存性を無視していたにもかかわらず、損失対複雑性の比率が有利であったため、後の反復で単純な電圧のみの線形モデル（$r \propto V$）を支持した。
  • LLM 誘導型選択: LLM 評価器は、「非自明性」ルール（時間依存性の欠如）に違反するとして、電圧のみのモデルを棄却した。その代わり、$r = V(0.000786 \log t + 0.00781)$ の形式のモデルを選択した。
• 物理的整合性: LLM によって選択されたモデルは、「乱れ制御された運動論」または「クリープ挙動」と整合性があると特定された。これは、ドメインウォール速度が逆電界に対して指数関数的に依存し、対数的な時間依存性をもたらすものである。この結果は、この分野の以前の知見と一致するが、ここではモデルクラスを事前に指定することなく導き出された。
• 予測性能: モデル選択後に取得された将来のデータポイントで評価された際、LLM によって選択されたモデルは、最小損失モデルと同等の予測精度を示したが、分散は低かった。重要なのは、LLM によって選択されたモデルは、物理を過小評価しがちな純粋に複雑性を罰則化した PySR の「ベスト」モデルよりも、はるかに優れた汎化性能を示した点である。

意義と主張
本論文は、記号回帰、物理的推論、適応的実験を階層的自律科学ワークフローに統合する道筋を確立することを主張する。主な貢献は、自律顕微鏡が固定された探索空間内での最適化を超えて、データから直接解釈可能な物理法則を生成することを実証した点にある。

主な主張は以下の通りである。

1. オープン仮説発見: このフレームワークは、事前に定義された人間設計モデルクラスのセットに依存することなく、候補物理関係の生成を可能にする。
2. 物理意識型ランキング: LLM 評価器は、統計的に効率的だが物理的に不完全なモデルと、解釈可能で既知のメカニズムと整合性のあるモデル（例：クリープ領域の特定）を成功裏に区別する。
3. 知識伝播: LLM が提供する自然言語の推論は、転送可能な知識アーティファクトとして機能し、下流のエージェントが単に数値スコアを受け取るのではなく、モデルが選択された「理由」を理解することを可能にする。
4. 検証: このアプローチは、PZT において、事前に定義されたモデルに依存した以前の仮説学習研究と一致する結果である、運動論的、クリープ様のドメインウォール成長法則を成功裏に同定し、「オープン」生成アプローチを検証した。

著者は、現在の実装では解析的形式のために記号回帰を使用しているが、より広範なフレームワークは将来の反復において数値的またはシミュレーションベースのモデルを収容するように設計されていると指摘している。この研究は、単に事前に定義された最適化タスクを実行するのではなく、発見プロセスに積極的に参加する自律システムへの一歩として、この手法を位置づけている。