TEM Agent: enhancing transmission electron microscopy (TEM) with modern AI tools

本文介绍了 TEM Agent，这是一个利用大语言模型和模型上下文协议（Model Context Protocol）来实现在无需额外模型训练的情况下，对透射电子显微镜子系统、数据管理以及高性能计算资源进行基于文本控制的框架，从而简化复杂的业务流程。

要点

想象一下，一台高功率透射电子显微镜（TEM）就像一艘极其先进、昂贵且复杂的宇宙飞船。要驾驶它，你通常需要一位精通每一个按钮、开关和仪表盘的高级飞行员。如果你想拍摄特定的照片或进行复杂的实验，你必须手动调整数十个设置，检查仪器，并逐步移动样品。这就像是在一边阅读一种外语说明书的同时，还要手动调节每一个阀门和电线来驾驶飞机。

这篇论文介绍了一个新的“副驾驶”，叫做 TEM Agent。这个智能体不再需要人类手动拨动开关，而是利用现代人工智能（AI）大脑（大语言模型）来理解你的自然语言请求，并为你驾驶这艘“飞船”。

以下是该系统的运作方式，通过简单的概念进行拆men：

1. “翻译官”（MCP）

这些显微镜最大的问题在于它们说的是“机器码”，并且拥有许多由不同公司制造、彼此之间沟通不畅的零部件。而 AI 说的是“人类语言”。

为了解决这个问题，研究人员构建了一个名为模型上下文协议（Model Context Protocol, MCP）的翻译官。你可以把它看作是一个万能遥控器，或者是一套专门的“应用程序”。

• 显微镜 App：控制透镜和载物台。
• 数据 App：管理文件的保存位置及命名方式。
• 探测器 App：控制用于拍摄照片的照相机。
• 超级计算机 App：处理庞大数据文件的繁重计算任务。

AI 不需要知道如何编写代码，也不需要理解显微镜复杂的物理原理。它只需要知道按下这个“万能遥控器”上的哪个“按钮”来完成任务即可。

2. “智能助手”（AI 实际在做什么）

研究人员展示了该 AI 智能体可以完成三项通常需要人类专家才能完成的任务：

• 执行简单指令：你可以问：“当前的焦距是多少？”或者“将焦距设置为 15 纳米。”AI 会将这些话翻译成正确的显微镜指令，并告诉你结果。这就像是在向智能家居助手询问如何开灯一样，只不过对象是一个价值数十亿美元的科学仪器。
• 串联任务（“待办事项列表”）：有些实验就像一份有 50 个步骤的长食谱。例如，层析成像（Tomography）（拍摄 3D 照片）需要倾斜样品、对焦、拍照、再次倾斜、再次对焦、再拍照，如此重复数十次。
  • 没有 AI 时：人类必须记住步骤、点击正确的按钮并观察是否出错。这既乏味又容易出错。
  • 有了 TEM Agent：你说，“请拍摄一张 0 到 20 度的 3D 照片。”AI 会创建一个心理上的“待办事项列表”，自动执行每一个步骤，检查自己的工作，并在完成后停止。这就像一个机器人厨师，无需你动手操作炉灶，就能完成切菜、煎炒和摆盘。
• 记忆过去（“图书馆”）：这是最酷的功能之一。AI 可以查阅过去实验的数字图书馆（称为 Crucible 和 Distiller）。
  • 场景：你想拍一种特定类型的照片，但不确定应该使用哪些设置。
  • 行动：你问 AI，“我们去年做类似实验时使用了什么设置？”
  • 结果：AI 会搜索图书馆，找到旧笔记，并回答：“我们当时使用了这些特定的角度和设置。需要我应用它们吗？”然后，它会按照以前的方式精确地设置好显微镜。这就像有一位图书管理员，能瞬间从多年前写的书中找到完美的食谱，并递到你手中。

3. 为什么这很重要

论文强调，该系统是为“用户设施”（User Facility）设计的，这类设施类似于公共实验室，许多不同的科学家都会来这里做实验。其中既有专家，也有初学者。

• 对于初学者：它降低了入门门槛。你不需要成为显微镜奇才也能运行复杂的实验；你只需要知道你想看到什么。
• 对于专家：它节省了时间。他们可以将枯燥、重复的工作交给 AI，从而专注于科学研究本身。

4. 它不能做什么（局限性）

论文诚实地说明了该系统目前无法做到的事情：

• 它并不“看”图片：AI 不会观察实际的图像来判断图像质量好坏。它只看数字（例如“图像是否清晰？”）。如果 AI 需要了解图像看起来是什么样的，仍然需要人类进行检查。
• 它并不完美：有时，如果你两次询问同一个问题，AI 可能会尝试略微不同的步骤顺序。它具有创造性，但并不总是 100% 可预测。
• 它需要“人在回路中”：你仍然需要人类进行监督。AI 是一个强大的工具，但它不能取代理解物理学的资深科学家。

总结

简而言之，TEM Agent 是人类语言与复杂科学机械之间的桥梁。它利用“翻译官”（MCP）让 AI 能够读取你的请求、查找以往成功的实验记录，并按下正确的按钮来自动运行复杂的、多步骤的科学测试。它将一个困难的、手动的过程变成了一场简单的对话，使先进的科学研究变得更加触手可及。

技术摘要

技术摘要：TEM Agent —— 利用现代 AI 工具增强透射电子显微术

问题陈述

透射电子显微术（TEM），特别是扫描透射电子显微术（STEM），是材料科学中至关重要的表征工具，能够通过成像、衍射和光谱学提供原子级的洞察。然而，现代实验面临着显著的挑战：

• 复杂性： 仪器已演进出众多的子系统（像差校正器、先进探测器、原位样品台），增加了操作的复杂性。
• 数据量： 探测器现在会产生海量的、多模态且多维的数据集（高达 480 Gbit/s），需要复杂的管理和分析。
• 工作流障碍： 传统的自动化需要大量的领域特定培训和自定义编程。现有的软件往往缺乏灵活性，难以将复杂的、多步骤的程序（例如断层扫描、叠层衍射术/ptychography）串联起来，或集成异构数据源。
• 用户多样性： 在用户设施中，具有不同专业水平的科学家必须操作这些复杂的系统，他们往往在高效执行高级实验方面面临陡峭的学习曲线。

虽然大语言模型（LLMs）在其他科学领域展示了自动化工作流的潜力，但由于需要领域特定训练以及难以安全地与专有硬件进行交互，其在电子显微镜领域的应用受到了限制。

方法论

作者引入了 TEM Agent，这是一个旨在弥合自然语言指令与复杂 TEM 操作之间鸿沟的框架，且无需进行领域特定的机器学习训练。该系统利用 模型上下文协议（Model Context Protocol, MCP） 将商业 LLM（Claude Sonnet 4.5）连接到一系列精选的工具和资源。

架构

该框架通过客户端/服务器模型运行，云端 LLM 与运行在本地或联网机器上的四个自定义 MCP 服务器进行交互：

1. 显微镜服务器（Microscope Server）： 一个基于 zeroMQ 的服务器，用于与 TEAM 0.5 显微镜（Thermo Fisher/TIA）进行接口通信。它暴露了底层参数（离焦量、样品台位置、束流倾斜）和高层动作（通过贝叶斯优化进行自动聚焦、图像采集）。
2. 探测器服务器（Detector Server）： 一个 zeroMQ 服务器，通过自定义脚本控制 4D 相机和 Gatan Digital Micrograph 软件。
3. Crucible 服务器： 一个基于 API 的服务器，连接到分子基金会（Molecular Foundry）的数据管理平台，该平台对实验元数据进行编目，并将数据与特定项目关联。
4. Distiller 服务器： 一个用于管理 4D-STEM 数据、元数据和高性能计算（HPC）作业监控的 API 服务器。

操作逻辑

• 自然语言界面： 用户提供基于文本的指令（例如，“从 0 到 20 度进行一次断层扫描倾斜系列采集”）。
• 工具链式调用（Tool Chaining）： LLM 解析请求，选择合适的 MCP 工具，并将其串联成一个工作流。它并不编写控制硬件的代码，而是调用由 MCP 服务器提供的预定义、安全的函数。
• 上下文资源： 为 LLM 提供包含领域特定知识（例如，“倾斜系列”的定义、校准值和实验方案）的“资源”，以便其能正确理解专业术语而无需重新训练模型。
• 数据集成： Agent 可以查询 Crucible 中的历史元数据，以检索过去成功实验中的参数，并将其应用于当前的设置。

关键结果

论文通过以下实验场景展示了 TEM Agent 的能力：

1. 简单的显微镜操作：

   • Agent 成功查询了显微镜状态（电压、离焦量）并执行了诸如设置样品台位置等动作。
   • 它通过迭代调整焦点并采集图像以最大化图像标准差（作为最佳焦点的代理指标），成功执行了自主自动聚焦程序，无需人工干预。

2. 复杂工作流自动化（断层扫描/Tomography）：

   • Agent 执行了一个完整的断层扫描倾斜系列（以 5° 为增量，从 0° 到 20°）。
   • 它自主规划了序列：设置放大倍率、采集初始图像、聚焦（使用 BEACON 或代理指标）、倾斜样品台并重复上述步骤。
   • 这将一个繁琐的多步手动过程简化为了单条文本命令，最大限度地减少了人为错误。

3. 历史元数据利用：

   • Agent 查询了 Crucible 数据库，找到了之前一个“旋转系列（Rotation Series）”实验（项目 MFP09699）中使用的参数。
   • 它成功提取了特定的设置（角度、显微镜类型、样品细节）并将其应用于当前实验，展示了数据管理与仪器控制的无缝集成。

4. 高级实验指导（叠层衍射术/Ptychography 与 视差/Parallax）：

   • 在 Distiller 平台历史数据的指导下，Agent 帮助设置了金纳米颗粒的离焦探针视差实验。
   • 它利用专门的工具，根据倒易采样和实空间步长计算出最佳离焦量和步长，而这些参数通常很难由新操作员估算。
   • 得到的数据实现了高质量的视差重建。

重要性与主张

作者将 TEM Agent 定位为实现先进电子显微技术普及化的重要一步，特别是在用户设施环境中。

• 降低准入门槛： 通过使用自然语言和预定义工具，该框架允许具有不同专业水平的用户执行复杂的、多步骤的实验（如断层扫描或叠层衍射术），而这些实验以前需要深厚的领域知识或自定义脚本。
• 安全性与控制： 该架构通过将 LLM 限制在调用特定的、经过验证的 MCP 工具而非编写任意代码来确保安全性。这防止了即使在 LLM 推理出错时也可能对仪器造成损坏或导致数据损坏的情况。
• 模块化与可移植性： MCP 的使用允许模块化地集成不同的硬件和软件系统（显微镜、探测器、数据平台），而无需统一的、单体式的软件套件。作者指出，这种方法可以扩展到其他现有的具有 API 的扫描探针显微镜（如 AFM、STM）。
• 数据驱动的自动化： 该框架强调了机器可读元数据的价值。通过将实时仪器控制与历史数据库连接，Agent 可以“学习”过去的实验以优化当前设置，这是传统静态自动化脚本难以实现的。

局限性与未来方向

论文对当前能力保持了审慎的态度：

• 无图像处理： 由于 Token 限制和成本问题，LLM 不直接处理原始图像；相反，它依赖于 MCP 工具提供的基于文本的指标（例如标准差）。
• 非确定性： LLM 的工作流生成并非严格确定性的；重复的提示可能会产生不同的动作序列。作者建议未来的工作可以涉及记忆文件或反馈循环以稳定行为。
• 人机协同（Human-in-the-Loop）： 该系统并不是完全自主的专家操作员替代品。人类监督仍然至关重要，特别是在面对新颖实验或框架遇到其未知的硬件时。
• 基础设施依赖： 该框架的成功高度依赖于预先存在的底层 Python 代码、API 和元数据基础设施（Crucible/Distiller）。MCP 层本身并不能替代这些基础性的工作。

总之，TEM Agent 证明了将商业 LLM 与模型上下文协议（MCP）及精选科学工具相结合，可以有效地实现复杂 TEM 工作流的自动化、增强数据策展，并在无需专门 AI 训练的情况下，扩大先进显微技术的应用范围。