TEM Agent: enhancing transmission electron microscopy (TEM) with modern AI tools

이 논문은 대규모 언어 모델과 모델 컨텍스트 프로토콜을 활용하여 투과 전자 현미경 하위 시스템, 데이터 관리 및 고성능 컴퓨팅 자원에 대한 텍스트 기반 제어를 가능하게 함으로써, 추가적인 모델 학습 없이도 복잡한 워크플로를 단순화하는 프레임워크인 TEM Agent를 소개한다.

핵심

고성능 투과전자현미경(TEM)을 매우 정교하고, 비싸며, 복잡한 우주선이라고 상상해 보십시오. 이 우주선을 조종하려면 모든 버튼, 스위치, 계기판을 완벽하게 숙지한 고도로 훈련된 조종사가 필요합니다. 특정 사진을 찍거나 복잡한 실험을 수행하려면, 수십 가지 설정을 수동으로 조정하고, 장비를 점검하며, 샘플을 단계별로 이동시켜야 합니다. 이는 마치 다른 언어로 된 매뉴얼을 읽으면서 모든 밸브와 전선을 수동으로 조절하며 비행기를 조종하려는 것과 같습니다.

이 논문은 새로운 "부조종사"인 TEM Agent를 소개합니다. 인간이 수동으로 스위치를 올리는 대신, 이 에이전트는 현대적인 인공지능(AI) 두뇌(대규모 언어 모델)를 사용하여 당신의 평이한 영어 요청을 이해하고 당신을 대신해 우주선을 조종합니다.

이 시스템이 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다.

1. "번역기" (MCP)

이 현미경들의 가장 큰 문제는 현미경이 "기계 코드"로 말하며, 서로 잘 소통하지 못하는 다양한 회사의 부품들로 구성되어 있다는 점입니다. AI는 "인간의 언어"를 사용합니다.

이를 해결하기 위해 연구진은 **모델 컨텍스트 프로토콜(Model Context Protocol, MCP)**이라는 번역기를 구축했습니다. 이것은 범용 리모컨이나 AI가 사용할 수 있는 특화된 "앱" 세트라고 생각하면 됩니다.

• 현미경 앱: 렌즈와 스테이지를 제어합니다.
• 데이터 앱: 파일이 저장되는 위치를 관리하고 이름을 지정합니다.
• 검출기 앱: 사진을 찍는 카메라를 제어합니다.
• 슈퍼컴퓨터 앱: 거대한 데이터 파일을 처리하는 무거운 작업을 담당합니다.

AI는 코드를 작성하거나 현미경의 복잡한 물리학을 이해할 필요가 없습니다. 그저 일을 완수하기 위해 범용 리모컨의 어떤 "버튼"을 눌러야 하는지만 알면 됩니다.

2. "스마트 어시스턴트" (AI가 실제로 하는 일)

연구진은 이 AI 에이전트가 일반적으로 인간 전문가가 수행해야 하는 세 가지 주요 작업을 수행할 수 있음을 보여주었습니다.

• 단순 지시 수행: 당신은 "현재 초점은 무엇인가요?" 또는 "초점을 15나노미터로 설정하세요"라고 요청할 수 있습니다. AI는 이를 현미경에 맞는 올바른 명령어로 번역하고 결과를 알려줍니다. 이는 스마트 홈 어시스턴트에게 불을 켜달라고 요청하는 것과 같지만, 대상은 10억 달러 가치의 과학 장비입니다.
• 작업 체이닝 (The "To-Do List"): 어떤 실험들은 50단계의 긴 레시피와 같습니다. 예를 들어, **토모그래피(Tomography, 3D 입체 촬영)**는 샘플을 기울이고, 초점을 맞추고, 사진을 찍고, 다시 기울이고, 초점을 맞추고, 다시 사진을 찍는 과정을 수십 번 반복해야 합니다.
  • AI가 없다면: 인간이 단계를 기억하고, 올바른 버튼을 클릭하고, 오류를 감시해야 합니다. 이는 지루하고 실수하기 쉽습니다.
  • TEM Agent가 있다면: 당신은 "0도에서 20도까지 3D 사진을 찍어줘"라고 말합니다. AI는 머릿속으로 "할 일 목록"을 만들고, 모든 단계를 자동으로 실행하며, 스스로 작업을 점검하고, 완료되면 멈춥니다. 이는 당신이 가스레인지를 만지지 않아도 재료를 다듬고, 볶고, 접시에 담아낼 수 있는 로봇 요리사와 같습니다.
• 과거 기억하기 (The "Library"): 이것은 가장 멋진 기능 중 중 하나입니다. AI는 과거 실험의 디지털 라이브러리(Crucible 및 Distiller)를 들여다볼 수 있습니다.
  • 시나리오: 당신은 특정 유형의 사진을 찍고 싶지만, 어떤 설정을 사용해야 할지 확신이 서지 않습니다.
  • 동작: 당신은 AI에게 "작년에 이와 유사한 실험에서 어떤 설정을 사용했나요?"라고 묻습니다.
  • 결과: AI는 라이브러리를 검색하여 과거의 기록을 찾아낸 뒤, "우리는 이 특정 각도와 설정을 사용했습니다. 이를 적용할까요?"라고 답합니다. 그리고는 예전에 했던 방식 그대로 현미경을 설정합니다. 이는 몇 년 전에 쓴 책에서 완벽한 레시피를 즉시 찾아내어 당신에게 건네주는 사서와 같습니다.

3. 이것이 왜 중요한가

이 논문은 이 시스템이 여러 과학자가 실험을 위해 방문하는 공공 실험실과 같은 "사용자 시설(User Facility)"을 위해 설계되었음을 강조합니다. 여기에는 전문가도 있고 초보자도 있습니다.

• 초보자를 위해: 진입 장벽을 낮춰줍니다. 복잡한 실험을 수행하기 위해 현미경의 마법사가 될 필요는 없으며, 단지 무엇을 보고 싶은지만 알면 됩니다.
• 전문가를 위해: 시간을 절약해 줍니다. 그들은 지루하고 반복적인 작업들을 AI에게 맡기고 본연의 과학 연구에 집중할 수 있습니다.

4. 할 수 없는 것 (한계점)

이 논문은 이 시스템이 아직 할 수 없는 부분에 대해서도 솔직하게 밝히고 있습니다.

• 이미지를 직접 "보지는" 못합니다: AI는 실제 이미지를 보고 그것이 좋은지 판단하지 않습니다. AI는 오직 숫자(예: "이미지가 선명한가?")만을 봅니다. 만약 AI가 이미지가 어떻게 생겼는지 알아야 한다면, 여전히 인간이 확인해야 합니다.
• 완벽하지 않습니다: 때때로 동일한 질문을 두 번 했을 때, AI는 약간 다른 순서로 단계를 시도할 수도 있습니다. AI는 창의적이지만 항상 100% 예측 가능한 것은 아닙니다.
• 인간의 개입이 필요합니다: 여전히 인간이 감독해야 합니다. AI는 강력한 도구이지만, 물리학을 이해하는 숙련된 과학자를 대체하는 것은 아닙니다.

요약

요약하자면, TEM Agent는 인간의 언어와 복잡한 과학 장비 사이를 잇는 가교입니다. 이 시스템은 AI가 당신의 요청을 읽고, 과거의 성공적인 실험을 찾아보고, 복잡한 다단계 과학 테스트를 자동으로 실행할 수 있도록 "번역기(MCP)"를 사용합니다. 이는 어렵고 수동적인 과정을 간단한 대화로 바꾸어 놓으며, 첨단 과학을 모두가 더 쉽게 접근할 수 있도록 만듭니다.

기술 요약

기술 요약: TEM Agent – 현대적 AI 도구를 통한 투과 전자 현미경 성능 향상

문제 정의

투과 전자 현미경(TEM), 특히 주사 투과 전자 현미경(STEM)은 이미징, 회절 및 분광법을 통해 원자 수준의 통찰력을 제공하는 재료 과학의 핵심적인 분석 도구입니다. 그러나 현대의 실험은 다음과 같은 중대한 과제에 직면해 있습니다:

• 복잡성: 수많은 하위 시스템(수차 보정기, 고급 검출기, in situ 홀더 등)이 진화함에 따라 기기의 운영 복잡성이 증가했습니다.
• 데이터 볼륨: 검출기는 이제 방대한 양의 다중 모드 및 다차원 데이터셋(최대 480 Gbit/s)을 생성하며, 이를 위해 정교한 관리와 분석이 필요합니다.
• 워크플로 장벽: 전통적인 자동화는 광범위한 도메인 특화 교육과 커스텀 코딩을 요구합니다. 기존 소프트웨어는 유연성이 부족하여 복잡하고 다단계적인 루틴(예: 토모그래피, 프티코그래피)을 연결하거나 이질적인 데이터 소스를 통합하기 어렵습니다.
• 사용자 다양성: 사용자 시설(user facilities)에서는 다양한 전문 지식을 가진 과학자들이 이러한 복잡한 시스템을 운용해야 하며, 종종 효율적인 고급 실험을 수행하기 위해 필요한 가파른 학습 곡선으로 인해 어려움을 겪습니다.

대규모 언어 모델(LLM)이 다른 과학 분야에서 워크플로 자동화에 가능성을 보여주었지만, 전자 현미경 분야에서의 적용은 도메인 특화 훈련의 필요성과 독점 하드웨어와의 안전한 인터페이스 구축의 어려움으로 인해 제한적이었습니다.

방법론

저자들은 도메인 특화 머신러닝 훈련 없이도 자연어 지시와 복잡한 TEM 동작 사이의 간극을 메우기 위해 설계된 프레임워크인 TEM Agent를 소개합니다. 이 시스템은 **모델 컨텍st 프로토콜(Model Context Protocol, MCP)**을 활용하여 상용 LLM(Claude Sonnet 4.5)을 큐레이션된 도구 및 리소스 세트와 연결합니다.

아키텍처

이 프레임워크는 클라우드 기반 LLM이 로컬 또는 인터넷에 연결된 머신에서 실행되는 네 가지 맞춤형 MCP 서버와 상호작용하는 클라이언트/서버 모델로 작동합니다.

1. 현미경 서버(Microscope Server): TEAM 0.5 현미경(Thermo Fisher/TIA)과 인터페이스하는 zeroMQ 기반 서버입니다. 저수준 파라미터(디포커스, 스테이지 위치, 빔 틸트)와 고수준 동작(베이지안 최적화를 통한 오토 포커싱, 이미지 획득)을 노출합니다.
2. 검출기 서버(Detector Server): 커스텀 스크립트를 통해 4D 카메라와 Gatan Digital Micrograph 소프트웨어를 제어하는 zeroMQ 서버입니다.
3. 크루시블 서버(Crucible Server): 실험 메타데이터를 카탈로그화하고 데이터를 특정 프로젝트에 연결하는 Molecular Foundry의 데이터 관리 플랫폼에 연결되는 API 기반 서버입니다.
4. 디스틸러 서버(Distiller Server): 4D-STEM 데이터, 메타데이터 및 고성능 컴퓨팅(HPC) 작업 모니터링을 위한 API 기반 서버입니다.

운영 로직

• 자연어 인터페이스: 사용자는 텍스트 기반 지시(예: "0도에서 20도까지 토모그래피 틸트 시리즈를 촬영해줘")를 제공합니다.
• 도구 체이닝(Tool Chaining): LLM은 요청을 파싱하여 적절한 MCP 도구를 선택하고 이를 하나의 워크플로로 연결합니다. LLM은 하드웨어를 제어하기 위해 직접 코드를 작성하는 것이 아니라, MCP 서버가 제공하는 사전에 정의된 안전한 함수를 호출합니다.
• 문맥적 리소스(Contextual Resources): LLM에는 도메인 특화 지식(예: "tilt series"의 정의, 교정 값, 실험 프로토콜)이 담긴 "리소스"가 제공되어, 모델을 재학습시키지 않고도 전문 용어를 정확하게 해석할 수 있도록 합니다.
• 데이터 통합: 에이전트는 과거의 성공적인 실험으로부터 파라미터를 검색하기 위해 Crucible의 역사적 메타데이터를 쿼리하고 현재 설정에 적용할 수 있습니다.

주요 결과

논문은 몇 가지 실험적 시나리오를 통해 TEM Agent의 역량을 입증합니다:

1. 단순 현미경 동작:

   • 에이전트는 현미경 상태(전압, 디포커스)를 성공적으로 조회하고 스테이지 위치 설정과 같은 동작을 실행했습니다.
   • 에이전트는 인간의 개입 없이 최적의 초점을 나타내는 대리 지표인 이미지 표준 편차를 최대화하기 위해 초점을 반복적으로 조정하고 이미지를 획득함으로써 자율적인 오토 포커싱 루틴을 수행했습니다.

2. 복잡한 워크플로 자동화 (토모그래피):

   • 에이전트는 전체 토모그래피 틸트 시리즈(0°에서 20°까지 5° 간격)를 실행했습니다.
   • 에이전트는 배율 설정, 초기 이미지 획득, 포커싱(BEACON 또는 대리 지표 사용), 스테이지 틸트 및 반복 과정을 포함한 시퀀스를 자율적으로 계획했습니다.
   • 이를 통해 번거로운 다단계 수동 프로세스를 단일 텍스트 명령으로 줄여 인간의 실수를 최소화했습니다.

3. 역사적 메타데이터 활용:

   • 에이전트는 Crucible 데이터베이스를 쿼리하여 이전 "Rotation Series" 실험(프로젝트 MFP09699)에서 사용된 파라미터를 찾았습니다.
   • 에이전트는 특정 설정(각도, 현미경 유형, 샘플 상세 정보)을 성공적으로 추출하여 현재 실험에 적용함으로써, 데이터 관리와 기기 제어 간의 원활한 통합을 보여주었습니다.

4. 고급 실험 가이드 (프티코그래피/패럴랙스):

   • Distiller 플랫폼의 역사적 데이터에 기반하여, 에이전트는 금 나노입자에 대한 디포커스 프로브 패럴랙스(defocused probe parallax) 실험 설정을 도왔습니다.
   • 에이전트는 역격자 샘플링(reciprocal sampling)과 실공간 단계 크기(real-space step size)를 기준으로 최적의 디포커스와 단계 크기를 계산하는 특화된 도구를 활용했습니다. 이러한 파라미터는 새로운 운영자가 추정하기 매우 어려운 부분입니다.
   • 그 결과, 고품질의 패럴랙스 재구성이 가능한 데이터를 확보할 수 있었습니다.

의의 및 주장

저자들은 TEM Agent를 특히 사용자 시설 환경에서 첨단 전자 현미경에 대한 접근성을 민주화하는 중요한 단계로 규정합니다.

• 진입 장벽 완화: 자연어와 사전 정의된 도구를 사용함으로써, 이 프레임워크는 깊은 도메인 지식이나 커스텀 스크립팅이 필요했던 복잡한 다단계 실험(토모그래피 또는 프티코그래피 등)을 다양한 전문성을 가진 사용자가 수행할 수 있게 합니다.
• 안전 및 제어: 이 아키텍처는 LLM이 임의의 코드를 작성하는 대신 특정 검증된 MCP 도구만을 호출하도록 제한함으로써 안전성을 보장합니다. 이는 LL even이 추론 오류를 범하더라도 기기 손상이나 데이터 오염을 방지합니다.
• 모듈성 및 이식성: MCP의 사용은 통합된 단일 소프트웨어 제품군 없이도 이질적인 하드웨어 및 소프트웨어 시스템(현미경, 검출기, 데이터 플랫폼)을 모듈식으로 통합할 수 있게 합니다. 저자들은 이 접근 방식이 기존 API를 보유한 다른 주사 프로브 현미경(예: AFM, STM)으로 확장될 수 있다고 제안합니다.
• 데이터 기반 자동화: 이 프레임워크는 기계 판독 가능한 메타데이터의 가치를 강조합니다. 라이브 기기 제어를 역사적 데이터베이스와 연결함으로써, 에이전트는 과거 실험으로부터 "학습"하여 현재 설정을 최적화할 수 있으며, 이는 전통적인 정적 자동화 스크립트로는 달성하기 어려운 능력입니다.

한계 및 향-후 방향

논문은 현재의 역량에 대해 겸허한 입장을 유지합니다:

• 이미지 프로세싱 부재: 토큰 제한과 비용 문제로 인해 LLM은 원시 이미지를 직접 처리하지 않습니다. 대신 MCP 도구가 제공하는 텍스트 기반 지표(예: 표준 편차)에 의존합니다.
• 비결정성(Non-Determinism): LLM의 워크플로 생성은 엄격하게 결정적이지 않습니다. 동일한 프롬프트에 대해 서로 다른 동작 시퀀스가 생성될 수 있습니다. 저자들은 행동을 안정화하기 위해 메모리 파일이나 피드백 루프를 활용하는 후속 연구를 제안합니다.
• Human-in-the-Loop: 이 시스템은 숙련된 운영자를 완전히 대체하는 완전 자율 시스템이 아닙니다. 특히 새로운 실험을 수행하거나 프레임워크가 알지 못하는 하드웨어를 만날 경우 인간의 감독이 필수적입니다.
• 인프라 의존성: 프레임워크의 성공은 저수준 파이썬 코드, API 및 메타데이터 인프라(Crucible/Distiller)의 선행 존재 여부에 크게 의존합니다. MCP 계층 자체가 이러한 기초적인 작업을 대체하는 것은 아닙니다.

결론적으로, TEM Agent는 상용 LLM을 모델 컨텍스트 프로토콜(MCP) 및 큐레이션된 과학적 도구와 결래함으로써, 특화된 AI 훈련 없이도 복잡한 TEM 워크플로를 효과적으로 자동화하고, 데이터 큐레이션을 강화하며, 첨단 현미경 기술에 대한 접근성을 넓힐 수 있음을 보여줍니다.