Unmodeled states and uncertain action outcomes in agentic scanning tunneling microscopy

技術要約：エージェントによる走査型トンネル顕微鏡における未モデル化状態と不確実なアクション結果

問題提起
自律的な科学エージェントは、物理的な装置を制御するためにますます導入されているが、実験状態やアクションの結果が十分に特定されているという仮定の下で動作することが多い。実際には、物理的な実験には「未モデル化された状態」と「不確実なアクション結果」が伴う。介入は、後続の測定を通じて初めて明らかになる、予測不可能な方法で隠れた実験状態を変化させることがある。これはエージェントにとって重大な課題を生み出す。すなわち、関連する物理情報（隠れた状態）が直接観測できず、かつシステムの遷移ダイナミクスが不完全に理解されている場合に、自身の行動の結果をどのように解釈すべきかという問題である。著者らはこれを、知覚の不確実性とは異なる「アクション・アウトカムの不確実性」と定義している。これは、エージェントの介入がシステムを改善するのではなく、事前の決定論的な予測なしにシステムを劣化させる可能性があることを意味する。

手法
著者らは、アクセス不可能なチップ先端の状態や確率的な結果により、伝統的に高度な専門知識を必要とするタスクである、走査型トンネル顕微鏡（STM）のチップ・コンディショニングを用いてこの問題を調査している。彼らは、大規模言語モデル（LLM）エージェントを実験のフィードバックループに直接統合するエージェント・ハーネスであるQuailbotを導入した。

• システム・アーキテクチャ: Quailbotは、物理的な介入と実験的な読み戻し（readback）を連結する。これはLLMに対し、4つの装置制御CLIツール（Get：パラメータの取得、Set：値の書き込み、Ramp：パラメータのステップ実行、Act：命名されたアクションの呼び出し）を提供する。
• 状態の定義: システムは、パブリック状態（バイアス電圧や電流などの、直接露出された設定および読み戻し）と、隠れた状態（チップ先端の原子構成のように、実験的に決定的であるが観測不能な物理情報）を区別する。
• 徒弟制度（Apprenticeship）: LLMエージェントは、人間の専門家との短い徒弟期間を経た。このフェーズにおいて、エージェントは手続き的知識（例：チップのシェイキング、バイアス・パルス）と、ドメイン固有の判断力（例：表面のデブリとチップのアーティファクトの区別）を学習した。エージェントはメモリおよびスキルモジュールを利用してこのトレーニングを定着させ、アクション履歴と新しい測定に基づいて戦略を洗練させることができた。
• 実験セットアップ: 実験は、タングステンチップを用いた4 Kでの低温STMを用いて行われた。エージェントのテストには、フロンティアモデル（gpt-5.6-sol, claude-opus-5）と、意図的に知能を下げたプローブ（gpt-5.4-mini）が使用された。

主要な貢献と結果
本研究は、LLMエージェントがエンドツーエンドのチップ・コンディショニングを自律的に実行できることを実証すると同時に、未モデル化された状態に起因する具体的な失敗モードを浮き彫りにした。

1. 自律的なエンドツーエンドのデリバリー: 「ローンチのみ（launch-only）」の実行（エージェントがタスクのプロンプトを受け取り、さらなる人間の介入なしに動作する場合）において、フロンティアLLMエージェントは、破壊された初期状態から測定準備が整ったエンドポイントまで、チップを正常にコンディショニングした。

   • ある実行では、チップの状態を「二重の先端（doubled apex）」（BraggZスコア 20.7）から、単一で安定した原子分解能を持つチップ（BraggZスコア 295.4）へと、70.8分間で減少させた。
   • エージェントは、突起を検知した際にチップを退避させたり、三角形のジャンク（ゴミ）状の構造物に遭遇した際にピエゾ・ウォークのステップ数を増やしたりするなど、適応的な推論を示した。
   • 別のモデル（claude-opus-5）と異なるチップを用いた第2の実行では、**ピエゾ・ウォーカーのジャム（詰まり）**が発生したにもかかわらず、チップのコンディショニングに成功し、検証済みの小さなステップへの移動戦略を適応させた。この実行では、スピン偏極が明示的な目的ではなかったにもかかわらず、フーリエ変換におけるqAFM変調によって証明されるように、スピン偏極したチップを生成した。

2. 未モデル化されたシナリオにおける自律性の限界: 関連する状態が隠されているか、あるいは未モデル化されている場合に、エージェントの自律性が制限されることを系統的に示した。

   • 曲がったチップ: 人間のオペレーターがエージェントに通知することなく意図的にチップを曲げた際、エージェントは根本原因を特定できなかった。エージェントは異常なイメージングと電流スパイクを認識したが、それらを「第二のトンネル先端」または表面汚染に帰属させた。エージェナトは格子を解決するためのコンディショニングの選択肢を使い果たし、人間の介入を必要とした。
   • 非公開のウォーカー・ジャム: ウォーカーのジャムが事前に開示されないまま発生した場合、エージェントは異常な挙動を認識したが、ジャムを診断することはできなかった。エージェントは、チップが結晶から外れてエポキシ上に移動したと誤って想定した。人間がジャムを開示し、エージェントのワークスペースでは無効化されていたドライブ電圧を手動で調整した後にのみ、エージェントは回復した。
   • サンプルの回転: エージェントがクリーンな表面領域を見つけられなかった場合、エージェントはチップの交換を提案した。人間は、サンプルのホルダーを120度機械的に回転させることで問題を解決した。これはエージェントのソフトウェア・インターフェースの外側にある物理的介入である。その後、エージェントは成功し、チップはすでに必要な状態に近いことが示唆された。

3. モデル依存性: 知能の低いモデル（gpt-5.4-mini）は、開示されたウォーカー・ジャムに対して適応できず、戦略を調整することなく次第に大きな移動コマンドを発行し続け、結果として成功したデリバリーには至らなかった。

意義と主張
本論文は、LLMエージェントは複雑で不確実な実験ワークフローをナビゲートできる一方で、その自律性は装置のインターフェースにおける観測可能性とアクションの制限によって根本的に制約されることを主張している。

• 失敗モード: 著者らは、必要な情報が未モデル化されているか、あるいはインターフェースを通じて利用できない場合、エージェントが異常を認識しながらも根本原因を特定できないという、ある種の失敗クラスを特定した。これは、そのような問題を一般的な「推論の失敗」として集約してしまう従来のベンチマークとは対照的である。
• 将来の自律性のための要件: 結果は、将来の自律的な物理実験には、隠れた状態や未モデル化された状態を推論し、アクションの結果を追跡し、実際の装置の制約内で動作できるエージェントが必要であることを示唆している。
• 装置設計: 著者らは、「エージェント対応」の科学装置は、不可欠な制御機能や診断情報へのアクセスを提供し、アクションと結果を結びつける明確な記録を維持し、自動検証をサポートしなければならないと結論付けている。しかし、ソフトウェアの標準化だけでは原子構造を明らかにしたり、コンディショニング・パルスの確率的な影響を予測したりすることはできないため、デジタル・インターフェースと物理的現実の間のギャップを埋めるために、追加のセンサーやアクチュエータが必要になる可能性があるとも指摘している。

本研究は、LLMが未モデル化された状態の問題を解決したと主張しているのではなく、むしろ反復的な計画とリフレクションを通じて不確実性を扱うための明確な経路を提供すると同時に、人間の介入が必要となる具体的な境界線を明らかにしている。