MatClaw: An Autonomous Code-First LLM Agent for End-to-End Materials Exploration

이 논문은 사전 정의된 도구에 의존하지 않고 직접 코드를 작성·실행하여 원거리 HPC 클러스터에서 다중 워크플로우를 조율하는 자율형 LLM 에이전트 'MatClaw'를 제안하고, 도메인 지식 부족을 보완하는 가이드드 오토노미 모델을 통해 재료 과학 연구의 자동화 가능성을 입증합니다.

핵심

마트클로 (MatClaw): 재료 과학을 위한 '코드 작성하는' 인공지능 비서

이 논문은 재료 과학이라는 복잡한 분야에서, 인간 연구자를 대신해 실험을 설계하고 코드를 직접 짜서 실행까지 해내는 새로운 인공지능 에이전트 **'마트클로 (MatClaw)'**를 소개합니다.

기존의 AI 는 정해진 명령어만 수행할 수 있었지만, 마트클로는 직접 파이썬 (Python) 코드를 작성하고 실행할 수 있습니다. 마치 숙련된 연구원에게 "이 물질을 분석해 줘"라고 말하면, 그가 직접 실험 계획을 세우고 장비를 조작하는 것과 같습니다.

이 복잡한 시스템을 쉽게 이해할 수 있도록 4 가지 핵심 개념을 일상적인 비유로 설명해 드리겠습니다.

---

1. 기존 AI vs 마트클로: "레시피 카드"와 "요리사"의 차이

• 기존 AI (레시피 카드):
  기존 재료 과학용 AI 들은 미리 정해진 '레시피 카드 (도구 함수)'만 사용할 수 있었습니다. "VASP 라는 프로그램으로 계산해 줘"라고 하면 계산은 하지만, 새로운 프로그램이 나오거나 복잡한 순서 (A 를 하고 B 를 한 뒤 C 를 반복) 가 필요하면 당황했습니다. 마치 정해진 메뉴판만 있는 식당처럼, 메뉴판에 없는 요리는 못 합니다.
• 마트클로 (요리사):
  마트클로는 정해진 메뉴판이 없습니다. 대신 **요리사 (코딩 능력)**처럼 행동합니다. 연구자가 "새로운 재료를 찾아줘"라고 하면, 마트클로는 필요한 재료를 찾고, 어떤 조리법을 쓸지 고민하며, 직접 요리 레시피 (코드) 를 작성해서 실행합니다. 필요한 도구가 없으면 그 도구도 직접 만들어서 사용합니다.

2. 4 층 메모리 구조: "망각의 함정"을 피하는 방법

AI 는 대화 내용이 길어지면 앞 내용을 잊어버리는 '망각' 문제가 있습니다. 며칠 동안 이어지는 복잡한 실험에서 AI 가 중간에 "아, 내가 3 일 전에 이 값을 설정했지?"를 잊어버리면 실패합니다. 마트클로는 이를 해결하기 위해 4 층으로 된 메모리 시스템을 갖췄습니다.

• 1 층 (작업대): 지금 당장 손에 들고 있는 메모 (현재 대화 내용).
• 2 층 (일기장): 과거에 했던 모든 대화 기록을 파일로 저장해 둡니다. 필요하면 다시 꺼내 읽을 수 있습니다.
• 3 층 (경험 노트): "이런 실수를 했었어", "이런 방법은 안 돼" 같은 교훈을 적어두는 곳입니다. 연구자가 수정하면 바로 반영됩니다.
• 4 층 (데이터베이스): 계산된 숫자 결과 (에너지, 힘 등) 를 정확히 저장해 두는 곳입니다.

비유: 마치 현명한 연구실 조교처럼, 지금 당장 하는 일뿐만 아니라 과거의 실패 경험과 중요한 데이터까지 모두 기억하고 있어, 실험이 길어지더라도 길을 잃지 않습니다.

3. RAG (검색 증강 생성): "전문가 매뉴얼"을 바로 찾아보는 능력

코드를 작성할 때, 함수 이름이나 매개변수를 틀리면 실패합니다. 마트클로는 RAG(검색 증강 생성) 기술을 사용합니다.

• 비유: 요리사가 레시피를 외우지 않고, 가장 최신의 요리책 (소스 코드) 을 옆에 두고 바로바로 찾아보며 요리하는 것입니다.
• 효과: AI 가 코드를 작성할 때, 관련 문서나 코드를 실시간으로 검색해서 정확도를 **99%**까지 끌어올렸습니다. 덕분에 "함수 이름을 잘못 썼다" 같은 사소한 실수가 거의 사라졌습니다.

4. 인간의 역할: "가이드"와 "비행기 조종사"

이 논문이 가장 강조하는 점은 **완전한 자율성 (Fully Autonomous) 이 아니라 '가이드된 자율성 (Guided Autonomy)'**이라는 것입니다.

• 문제점: AI 는 코딩은 잘하지만, 재료 과학의 '직관'이나 '경험'은 부족합니다.
  • 예시: "이 실험을 1 초만 하면 될까, 100 초는 해야 할까?" 같은 적절한 시간 설정이나, "이 데이터는 노이즈일 뿐이다" 같은 전문가적 판단은 AI 가 스스로 배우기 어렵습니다.
• 해결책: 연구자는 **고수준의 지시 (가이드)**만 내리면 됩니다.
  • "이 논문에서 배운 방법을 적용해 봐" (문헌 학습)
  • "최소 20 초 이상 실험을 해" (구체적 제약 조건)
• 결과: 연구자는 지시자 (조종사) 역할을 하고, AI 는 **조종 (코드 실행)**을 담당합니다. 이렇게 하면 AI 가 실수할 틈이 줄어들고, 연구자는 더 창의적인 일에 집중할 수 있습니다.

---

실제 성과: 구리 인듐 인산염 (CIPS) 실험

연구진은 마트클로에게 강유전체 (전기를 띠는 물질) 인 CIPS를 분석하게 했습니다.

1. 첫 번째 시도: AI 가 실험 시간을 너무 짧게 설정해, 중요한 물리 현상을 놓쳤습니다. (경험 부족)
2. 두 번째 시도: 연구자가 "논문에서 배운 대로 20 초 이상 실험해"라고 지시하자, AI 는 완벽한 실험을 성공시켰습니다.
3. 결과: AI 는 스스로 코드를 고치고, 오류를 수정하며, 복잡한 물리 현상을 찾아내는 데 성공했습니다.

결론: 앞으로의 전망

마트클로는 **"코딩은 AI 가, 지혜는 인간이"**라는 새로운 협력 모델을 보여줍니다.

• 코딩과 반복 작업: AI 가 완벽하게 처리합니다.
• 전문적 판단과 경험: 인간이 가이드를 줍니다.

이러한 방식은 앞으로 인간이 직접 하기엔 너무 오래 걸리는 복잡한 재료 발견 작업을 가속화할 것입니다. 마치 스마트한 비서가 연구자의 아이디어를 현실로 만들어주는 시대가 온 것입니다.

한 줄 요약: 마트클로는 "코딩은 내가, 지혜는 당신이"라며, 연구자가 지시만 내리면 복잡한 재료 실험을 자동으로 설계하고 실행해 주는 초지능 연구 조교입니다.

기술 요약

MatClaw: 종단 간 재료 탐색을 위한 자율적 코드 우선 (Code-First) LLM 에이전트

이 논문은 계산 재료 과학 분야에서 기존의 LLM 에이전트가 가진 한계를 극복하고, 원격 HPC(고성능 컴퓨팅) 클러스터에서 복잡한 워크플로우를 자율적으로 수행할 수 있는 새로운 에이전트 MatClaw를 제안합니다.

1. 문제 정의 (Problem)

기존의 계산 재료 과학용 LLM 에이전트들은 두 가지 주요한 제약에 직면해 있었습니다:

1. 파이프라인 제한적 아키텍처 (Pipeline-bounded Architectures): 대부분의 에이전트는 특정 시뮬레이션 코드 (예: VASP 만 지원) 나 미리 정의된 작업 순서에 묶여 있어, 여러 코드를 조합하는 복잡한 워크플로우 (예: DFT -> 머신러닝 포텐셜 학습 -> 분자 동역학) 에 적응하기 어렵습니다.
2. 수동 작성 도구 함수 의존성 (Tool-call Dependence): 에이전트의 행동이 수동으로 작성된 도구 함수 (Tool Functions) 에 의존합니다. 새로운 도메인이나 소프트웨어를 확장하려면 추가적인 수동 코딩이 필요하며, 복잡한 조건 분기나 반복 루프를 표현하기 어렵습니다.

2. 방법론 (Methodology)

MatClaw 는 "코드 우선 (Code-first)" 패러다임을 채택하여 위 문제들을 해결합니다.

• 코드 우선 실행 모델 (Code-as-Action Paradigm):

  • 에이전트는 미리 정의된 도구를 호출하는 대신, Python 코드를 직접 작성하고 실행합니다.
  • 설치된 모든 도메인 라이브러리 (pymatgen, atomate2, jobflow, DeePMD-kit 등) 를 자유롭게 조합하여 원격 HPC 클러스터에 작업을 제출하고 결과를 분석합니다.
  • 이는 에이전트가 특정 백엔드에 종속되지 않고 이종 (heterogeneous) 워크플로우를 재구축 없이 조율할 수 있게 합니다.

• 4 계층 메모리 아키텍처 (Four-layer Memory Architecture):

  • 장기간 실행되는 워크플로우에서 발생하는 '시저프의 함정 (Sisyphus Trap)'—문맥 손실로 인한 세부 사항 상실, 목표 이탈, 완전한 망각—을 방지하기 위해 설계되었습니다.
    1. 작업 기억 (In-context working memory): LLM 컨텍스트 윈도우 내의 활성 정보.
    2. 일화 기억 (Episodic memory): 삭제된 이전 단계의 대화 기록을 저장하는 파일 기반 저장소. 요약 (Summary) 인덱스를 통해 필요한 세부 정보를 온디맨드로 검색합니다.
    3. 의미 기억 (Semantic memory): 세션 간에 축적된 운영 경험 (예: HPC 작업 제출 규칙) 을 저장하는 편집 가능한 텍스트 파일. 동적 재로딩을 통해 즉시 반영됩니다.
    4. 외부 데이터베이스 (External grounding): 완료된 계산의 정확한 수치 결과 (에너지, 힘, 구조) 를 직접 조회할 수 있는 데이터베이스 레이어.

• 검색 증강 생성 (RAG) 및 컨텍스트 관리:

  • 구조 인식 코드 청킹 (Structure-aware code chunking): AST(추상 구문 트리) 경계를 기준으로 코드를 분할하여 함수 시그니처와 구현을 분리하지 않도록 합니다.
  • BM25 검색: 키워드 기반 매칭이 API 호출 정확도를 높이는 데 더 효과적임을 확인하고 이를 적용했습니다.
  • 존 기반 컨텍스트 압축 (Zone-based pruning): 최신 메시지는 보호하고, 오래된 메시지는 점진적으로 압축하거나 플레이스홀더로 대체하여 컨텍스트 윈도우 한계를 관리합니다.

3. 주요 성과 및 실험 결과 (Key Contributions & Results)

논문은 단층 CuInP2S6 (CIPS) 을 대상으로 한 세 가지 종단 간 시나리오를 통해 MatClaw 를 검증했습니다.

1. 활성 학습을 통한 ML 힘장 (Force Field) 증류:

   • 문제: 에이전트는 초기에 물리적으로 의미 없는 짧은 시뮬레이션 시간 (1 ps) 을 선택하여 장벽 통과 (barrier crossing) 를 포착하지 못했습니다.
   • 해결: 관련 논문 (He et al.) 을 읽게 하고 경험 노트로 추출하도록 유도한 후, 실험 설계 (20 ps 이상) 를 지시했습니다.
   • 결과: 에이전트는 문헌에서 추출한 방법론을 적용하여 성공적으로 훈련 데이터를 확보하고 활성 학습 루프를 수행했습니다.

2. 퀴리 온도 (Curie Temperature) 예측:

   • 문제: 초기 실행에서는 상전이 근처에서의 평형화 (equilibration) 를 검증하지 않아 비물리적인 결과를 도출했습니다.
   • 해결: "예비 시뮬레이션으로 수렴성 확인"이라는 단일 제약을 추가했습니다.
   • 결과: 에이전트는 지시사항을 따르며 시뮬레이션 시간을 확장하고 적절한 순서 변수를 선택하여 불확실성을 3.5 배 줄인 정확한 퀴리 온도를 예측했습니다.

3. 도메인 벽 전파를 위한 휴리스틱 탐색:

   • 과제: 전기장 (E) 과 온도 (T) 공간에서 도메인 벽 전파가 발생하는 조건을 찾음.
   • 결과: 에이전트는 물리 법칙을 이해하고 결과를 해석하여 7 번의 반복 만에 최적 조건을 찾았습니다. (전체 14 개 시뮬레이션, 약 3.5 시간 소요). 이는 무작위 그리드 탐색보다 훨씬 효율적이었습니다.

성능 벤치마크:

• RAG 효과: RAG 를 적용하지 않았을 때 API 호출 오류율은 10~24% 였으나, RAG 적용 시 약 99% 의 정확도로 향상되었습니다.
• 라이브러리 일반화: 인기 있는 라이브러리 (pymatgen) 에서부터 니치 패키지 (jobflow-remote) 에 이르기까지 RAG 는 모든 도메인에서 정확도를 97~99% 수준으로 수렴시켰습니다.

4. 한계 및 통찰 (Limitations & Insights)

• 암묵적 지식 (Tacit Knowledge) 의 부재: 에이전트는 코드 생성과 API 조합은 탁월하지만, 전문가의 경험을 통해 축적되지만 문서화되지 않은 실무 지식 (적절한 시뮬레이션 시간尺度, 평형화 프로토콜, 샘플링 전략 등) 에는 어려움을 겪습니다.
• 해결책 (가이드드 자율성): 완전한 자율성보다는 가이드드 자율성 (Guided Autonomy) 모델이 효과적입니다. 연구자가 고수준의 도메인 지식 (문헌 제공, 제약 조건 명시) 을 제공하고, 에이전트는 워크플로우 실행과 오류 복구를 담당하는 방식입니다.

5. 의의 (Significance)

• 재료 발견의 가속화: LLM 이 코드 생성과 과학적 해석을 신뢰할 수 있게 수행할 수 있게 되었으며, RAG 와 메모리 아키텍처를 결합함으로써 장기간의 복잡한 계산 워크플로우가 가능해졌습니다.
• 확장성: 에이전트는 인간이 수행하기에는 시간 소모가 너무 큰 체계적인 연구 (고처리량 스크리닝, 파라미터 공간 탐색) 에 특히 유용합니다.
• 오픈 소스: 모든 코드와 벤치마크는 오픈 소스로 공개되어 재현성과 후속 연구를 장려합니다.

결론적으로, MatClaw 는 계산 재료 과학 분야에서 LLM 에이전트가 단순한 보조 도구를 넘어, 연구자의 지시를 받아 복잡한 실험 설계와 실행을 주도할 수 있는 수준으로 발전했음을 입증했습니다.