TEM Agent: enhancing transmission electron microscopy (TEM) with modern AI tools

本論文では、大規模言語モデルとModel Context Protocolを活用することで、透過型電子顕微鏡のサブシステム、データ管理、およびハイパフォーマンスコンピューティング・リソースのテキストベースの制御を可能にし、追加のモデル学習を必要とせずに複雑なワークフローを簡素化するフレームワークであるTEM Agentを紹介する。

要約

高性能な透過型電子顕微鏡（TEM）を、信じられないほど精巧で、高価で、複雑な宇宙船だと想像してみてください。これを操縦するには、通常、あらゆるボタン、スイッチ、計器を知り尽くした高度な訓練を受けたパイロットが必要です。特定の写真を撮ったり、複雑な実験を行ったりしたい場合、何十もの設定を手動で調整し、計器を確認し、サンプルをステップごとに移動させなければなりません。それはまるで、異なる言語で書かれたマニュアルを読みながら、すべてのバルブやワイヤーを手動で調整して飛行機を操縦しようとするようなものです。

この論文は、「副操縦士」と呼ばれる新しい存在、TEM Agentを紹介しています。人間が手動でスイッチを切り替える代わりに、このエージェントは現代的な人工知能（AI）の脳（大規模言語モデル）を使用して、あなたの自然な英語の要求を理解し、あなたの代わりに宇宙船を操縦します。

システムの仕組みを、シンプルな概念に分解して説明します：

1. 「翻訳機」（MCP）

これらの顕微鏡の最大の問題は、それらが「マシンコード」で話しており、異なるメーカー製の多くの部品が互いにうまく連携できないことです。AIは「人間の言葉」を話します。

これを解決するために、研究者たちはModel Context Protocol (MCP)と呼ばれる翻訳機を構築しました。これは、ユニバーサルリモコンや、一連の特化した「アプリ」のようなものです。

• 顕微鏡アプリ： レンズとステージを制御します。
• データアプリ： ファイルの保存先や命名規則を管理します。
• 検出器アプリ： 写真を撮るカメラを制御します。
• スーパーコンピューターアプリ： 巨大なデータファイルの重い処理を担います。

AIは、コードを書いたり、顕微鏡の複雑な物理学を理解したりする必要はありません。ただ、仕事を完遂するために、そのユニバーサルリモコンのどの「ボタン」を押すべきかを知っていればよいのです。

2. 「スマートアシスタント」（AIが実際にすること）

研究者たちは、このAIエージェントが、通常は人間の専門家を必要とする3つの主要なタスクを実行できることを示しました。

• 単純な指示に従う： 「現在のフォーカス（焦点）は？」や「フォーカスを15ナノメートルに設定して」と頼むことができます。AIはこれを顕微鏡への正しいコマンドに翻訳し、その結果をあなたに伝えます。これは、スマートホームのアシスタントに照明をつけるよう頼むようなものですが、それが10億ドルの科学機器に対して行われるのです。
• タスクを連結させる（「ToDoリスト」）： いくつかの実験は、長いレシピのような50のステップから成ります。例えば、トモグラフィー（3D画像の撮影）では、サンプルの傾斜、フォーカス、撮影、再び傾斜、フォーカス、そして再び撮影、という工程を数十回繰り返す必要があります。
  • AIなしの場合： 人間がステップを記憶し、正しいボタンをクリックし、エラーがないか監視しなければなりません。これは退屈で、ミスが起きやすい作業です。
  • TEM Agentありの場合： あなたが「0度から20度の範囲で3D画像をとって」と言うだけで、AIは頭の中に「ToDoリスト」を作成し、すべてのステップを自動的に実行し、自らの作業をチェックし、完了したら停止します。それは、あなたがコンロに触れることなく、刻み、炒め、盛り付けまでこなすロボットシェフのようなものです。
• 過去を記憶する（「ライブラリ」）： これは最も素晴らしい機能の一つです。AIは、過去の実験のデジタルライブラリ（CrucibleおよびDistiller）を調べることができます。
  • シナリオ： 特定のタイプの写真を撮りたいが、どのような設定を使うべきかわからない。
  • アクション： AIに「昨年、似たような実験ではどのような設定を使用しましたか？」と尋ねる。
  • 結果： AIはライブラリを検索して古いメモを見つけ出し、「これら特定の角度と設定を使用しました。これらを適用しますか？」と答えます。そして、以前と同じ方法で顕微鏡をセットアップします。これは、何年も前に書かれた本から完璧なレシピを即座に見つけ出し、あなたに手渡してくれる司書のようなものです。

3. なぜこれが重要なのか

論文では、このシステムが、多くの科学者が実験を行うために訪れる「ユーザー施設（公開ラボ）」向けに設計されていることを強調しています。そこには専門家もいれば、初心者もいます。

• 初心者にとって： 参入障壁を下げます。複雑な実験を行うために、顕微鏡の魔術使いになる必要はありません。ただ、何を見たいのかを知っていればよいのです。
• 専門家にとって： 時間を節約できます。彼らは退屈で反復的な作業をAIに任せ、科学の本質的な部分に集中することができます。

4. できないこと（限界）

論文は、このシステムが現時点で「できない」ことについても正直に述べています。

• 画像を見ることができない： AIは、画像が「良い」かどうかを判断するために、実際の画像を見ているわけではありません。AIが見ているのは数値（例：「画像はシャープか？」など）だけです。画像がどのように見えるかを知る必要がある場合、人間がチェックする必要があります。
• 完璧ではない： 同じ質問を2回した場合、AIは時として少し異なる手順を試みることがあります。それは創造的ではありますが、常に100%予測可能というわけではありません。
• 人間による介入が必要： 人間が監督し続ける必要があります。AIは強力なツールですが、物理学を理解している経験豊富な科学者の代わりにはなりません。

まとめ

要するに、TEM Agentは、人間の言葉と複雑な科学機械との間の架け橋です。AIがあなたの要求を読み取り、過去の成功した実験を調べ、複雑で多段階の科学テストを自動的に実行するために、適切なボタンを押せるよう、「翻訳機（MCP）」を使用します。これにより、困難で手動のプロセスが、シンプルな会話へと変わります。そして、高度な科学をすべての人にとってより身近なものにするのです。

技術概要

技術要約：TEM Agent – 最新のAIツールによる透過電子顕微鏡（TEM）の高度化

問題提起

透過電子顕微鏡（TEM）、特に走査透過電子顕微鏡（STEM）は、イメージング、回折、分光を通じて原子スケールの知見を提供する、材料科学における極めて重要な特性評価ツールである。しかし、現代の実験は大きな課題に直面している：

• 複雑性： 収差補正器、高度な検出器、in situホルダーなどの多数のサブシステムが進化しており、装置の運用が複雑化している。
• データ量： 検出器は、大規模でマルチモーダルかつ多次元なデータセット（最大480 Gbit/s）を生成するため、高度な管理と解析が必要となる。
• ワークフローの障壁： 従来の自動化には、広範なドメイン固有のトレーニングとカスタムコーディングが必要である。既存のソフトウェアは柔軟性に欠けることが多く、複雑で多段階のルーチン（トモグラフィーや型破りな回折法など）を連結したり、異なるデータソースを統合したりすることが困難である。
• ユーザーの多様性： ユーザー施設においては、様々な専門知識を持つ科学者がこれらの複雑なシステムを操作する必要があり、高度な実験を効率的に実行するために必要な高い学習曲線に苦慮していることが多い。

大規模言語モデル（LLM）は他の科学分野においてワークフローの自動化に有望な兆しを見せているが、電子顕微鏡への応用は、ドメイン固有のトレーニングの必要性と、独自のハードウェアと安全にインターフェースをとることの難しさによって限定されてきた。

手法

著者らは、ドメイン固有の機械学習トレーニングを必要とせずに、自然言語による指示と複雑なTEM操作の間の溝を埋めるために設計されたフレームワークであるTEM Agentを紹介する。本システムは、Model Context Protocol (MCP) を活用して、商用のLLM（Claude Sonment 4.5）を、厳選されたツールおよびリソースのスイートに接続する。

アーキックテクチャ

本フレームワークは、クラウドベースのLLMが、ローカルまたはインターネットに接続されたマシン上で動作する4つのカスタムMCPサーバーと相互作用する、クライアント/サーバーモデルを通じて動作する。

1. 顕微鏡サーバー (Microscope Server): TEAM 0.5顕微鏡（Thermo Fisher/TIA）とインターフェースを持つzeroMQベースのサーバー。低レベルのパラメータ（デフォーカス、ステージ位置、ビームチルト）および高レベルのアクション（ベイズ最適化によるオートフォーカス、画像取得）を公開する。
2. 検出器サーバー (Detector Server): カスタムスクリプトを介して4DカメラとGatan Digital Micrographソフトウェアを制御するzeroMQサーバー。
3. Crucibleサーバー (Crucible Server): 実験メタデータをカタログ化し、データを特定のプロジェクトに紐付けるMolecular Foundryのデータ管理プラットフォームに接続するAPIベースのサーバー。
4. Distillerサーバー (Distiller Server): 4D-STEMデータ、メタデータ、およびハイパフォーマンスコンピューティング（HPC）ジョブモニタリングを管理するためのAPIベースのサーバー。

運用ロジック

• 自然言語インターフェース： ユーザーはテキストベースの指示（例：「0度から20度まで5度刻みでトモグラフィーのティルトシリーズを撮影せよ」）を提供する。
• ツールの連鎖 (Tool Chaining)： LLMは要求を解析し、適切なMCPツールを選択して、それらをワークフローへと連鎖させる。LLMはハードウェアを制御するためのコードを書くのではなく、MCPサーバーによって提供される、定義済みの安全な関数を呼び出す。
• コンテキスト・リソース： LLMには、ドメイン固有の知識（「ティルトシリーズ」の定義、校正値、実験プロトコルなど）を含む「リソース」が提供され、モデルを再学習させることなく専門用語を正しく解釈できるようにする。
• データ統合： エージェントは、過去の成功した実験からパラメータを回収するために、Crucibleの履歴メタデータを照会することができる。

主な結果

論文では、いくつかの実験シナリオを通じてTEMエージェントの能力を実証している：

1. 単純な顕微鏡操作：

   • エージェントは顕微鏡の状態（電圧、デフォーカス）を正常に照会し、ステージ位置の設定などのアクションを実行した。
   • エージェントは、最適なフォーカスへの代用指標として画像の標準偏差を最大化するように、フォーカスと画像取得を反復的に調整することで、自律的なオートフォーカスルーチンを実行した。これには人間の介入を必要としなかった。

2. 複雑なワークフローの自動化（トモグラフィー）：

   • エージェントは、完全なトモグラフィー・ティルトシリーズ（0°から20°まで5°刻み）を実行した。
   • エージェントは、倍率の設定、初期画像の取得、フォーカス（BEACONまたは代用指標を使用）、ステージの傾斜、および繰り返しのプロセスを自律的に計画した。これにより、退屈で多段階の作業を手作業で行うプロセスを、単一のテキストコマンドへと削減し、ヒューマンエラーを最小限に抑えた。

3. 履歴メタデータの活用：

   • エージェントは、過去の「Rotation Series」実験（プロジェクトMF09699）で使用されたパラメータを見つけるために、Crubileデータベースを照会した。
   • エージェントは、特定のセッティング（角度、顕微鏡の種類、サンプル詳細）を正常に抽出し、現在の実験に適用した。これは、データ管理と装置制御のシームレスな統合を示している。

4. 高度な実験ガイダンス（型破りな回折法/パララックス）：

   • Distillerプラットフォームからの履歴データに基づき、エージェントは金ナノ粒子のデフォーカス・プローブ・パララックス実験のセットアップを支援した。
   • エージェントは、逆空間サンプリングと実空間ステップサイズに基づき、最適なデフォーカスとステップサイズを計算するための専用ツールを利用した。これらのパラメータは、通常、新しいオペレーターが推定するのが難しいものである。
   • 結果として得られたデータは、高品質なパララックス再構成を可能にした。

重要性と主張

著者らは、TEM Agentを、特にユーザー施設環境において、高度な電子顕微鏡へのアクセスを民主化するための重要な一歩として位置づけている。

• 参入障壁の低下： 自然言語と定義済みのツールを使用することで、本フレームワークは、深いドメイン知識やカスタムスクリプトを以前は必要としていた複雑で多段階の実験（トモグラフィーやパララックスなど）を、様々な専門知識を持つユーザーが実行することを可能にする。
• 安全性と制御： このアーキテクチャは、LLMを任意のコードを書くのではなく、検証済みの特定のMCPツールを呼び出すように制約することで、安全性を確保している。これにより、たとえLLMの推論に誤りがあったとしても、装置の損傷やデータの破損を防ぐことができる。
• モジュール性と移植性： MCPの使用により、統一されたモノリシックなソフトウェアスイートを必要とせずに、異なるハードウェアやソフトウェアシステム（顕微鏡、検出器、データプラットフォーム）をモジュール式に統合できる。著者らは、このアプローチが、既存のAPIを持つ他の走査型プローブ顕微鏡（AFM、STMなど）にも拡張可能であると示唆している。
• データ駆動型の自動化： 本フレームワークは、機械判読可能なメタデータの価値を強調している。ライブの装置制御を履歴データベースに接続することで、エージェントは過去の実験から「学習」して現在のセットアップを最適化することができ、これは従来の静的な自動化スクリプトでは困難な機能である。

限界と今後の方向性

論文は、現在の能力について控えめな姿勢を維持している：

• 画像処理なし： トークン制限とコストのため、LLMは生の画像を直接処理しない。代わりに、MCPツールによって提供されるテキストベースの指標（例：標準偏差）に依存する。
• 非決定性： LLMのワークフロー生成は厳密には決定的ではない。同じプロンプトを与えても、異なるアクションシーケンスが生成される可能性がある。著者らは、挙動を安定させるために、メモリファイルやフィードバックループを用いる将来の研究を示唆している。
• ヒューマン・イン・ザ・ループ： 本システムは、経験豊富なオペレーターの完全な自律的代替ではない。特に新規の実験や、フレームワークが未知のハードウェアに遭遇した場合、人間の監督は不可欠である。
• インフラストラクチャへの依存： フレームワークの成功は、低レベルのPythonコード、API、およびメタデータインフラストラクチャ（Crucible/Distiller）の事前の存在に大きく依存している。MCP層自体は、これら基礎的な作業の代わりになるものではない。

結論として、TEM Agentは、商用のLLMをModel Context Protocolと精選された科学ツールと組み合わせることで、特別なAIトレーニングを必要とせずに、複雑なTEMワークフローを効果的に自動化し、データのキュレーションを強化し、高度な顕微鏡技術へのアクセスを広げられることを示している。