기술 요약: MDGYM: 분자 시뮬레이션에서의 AI 에이전트 벤치마킹

문제 제기

자율적 과학 발견의 비전은 AI 에이전트가 가설을 수립하고, 실험을 설계하며, 계산 워크플로우를 독립적으로 실행할 수 있다는 데 있습니다. 그러나 현재 소프트웨어 공학 분야의 벤치마크 (예: SWE-bench) 는 주로 스택 트레이스나 테스트 스위트 를 통한 구문적 정확성과 행동 검증에 초점을 맞추고 있습니다. 이러한 벤치마크는 "정확성"이 알려진 출력에 의해 정의되는 것이 아니라 물리적 타당성에 의해 정의되는 과학 컴퓨팅의 고유한 과제를 포착하지 못합니다.

분자 역학 (MD) 시뮬레이션에서 작업은 생성된 궤적이 물리적으로 일관된 시스템을 나타낼 때만 성공으로 간주됩니다. 소프트웨어 공학과 달리, MD 시뮬레이션은 잘못된 힘장 (force fields), 앙상블, 또는 시간 간격으로 구성되더라도 런타임 오류 없이 실행을 완료하는 경우가 많습니다. 결과 출력은 수치적으로 생성되지만 물리적으로 무의미합니다. 이러한 "침묵하는 실패" 모드와 함께 설정, 최소화, 평형화, 생산, 후처리 와 같은 다단계 추론의 필요성 및 실행 중 기준값 (ground-truth) 피드백의 부재는 AI 에이전트에게 독특하게 까다로운 테스트베드를 제시합니다. 여기서 다루는 핵심 질문은 현재 AI 에이전트가 이러한 물리적으로 기반을 둔 과학 워크플로우를 자율적으로 설계하고 실행할 수 있는지 여부입니다.

방법론

MDGYM 벤치마크

저자들은 LAMMPS와 GROMACS라는 두 가지 널리 사용되는 MD 엔진을 아우르는 169 개의 독립적인 분자 시뮬레이션 작업으로 구성된 전문가가 선별한 벤치마크인 MDGYM을 소개합니다. 데이터셋은 세 단계의 난이도로 구성되어 있습니다:

• 1 단계 (쉬움): 네이티브 시뮬레이션 출력 (예: 온도, 압력, 총 에너지) 의 최소한의 후처리를 요구합니다.
• 2 단계 (중간): 엔진 내에서의 상당한 후처리 또는 중간 논리를 요구합니다 (예: 배위수, 회전 반지름, 수소 결합 추적).
• 3 단계 (어려움): 복잡한 비평형 설정, 다단계 실행, 또는 특수한 후처리를 포함합니다 (예: 확산 계수, 영률, 전단 점도에 대한 곡선 피팅).

작업들은 생체 분자, 금속, 고분자, 탄소 나노 소재 등 다양한 물질과 물리적 상태를 다룹니다. 모든 작업은 도메인 전문가에 의해 개발 및 검증되었으며, 기준값은 참조 시뮬레이션을 실행하여 얻었습니다. 모호성 감지를 위한 LLM 과 VMD/OVITO 를 이용한 궤적의 인간 시각적 검사를 포함한 엄격한 품질 관리 프로세스를 통해 물리적 현실성이 보장되었습니다.

평가 프레임워크

벤치마크는 세 가지 확장 가능한 레이어를 갖춘 모듈식 아키텍처를 사용합니다:

1. 에이전트 레이어: CLI 접근 가능한 코딩 에이전트와 인터페이스합니다.
2. 오케스트레이션 레이어: 작업 프롬프트와 실행을 관리합니다.
3. 검증자 레이어: 에이전트 출력을 5% 상대 허용 오차 내에서 기준값과 비교합니다.

평가된 에이전트:

• 프레임워크: OpenHands(오픈소스), Codex, Claude Code.
• LLM: 독점 모델 (OpenAI Codex gpt-5.2-codex, Anthropic Claude Code claude-4.6-sonnet) 과 오픈소스 모델 (Qwen3-Coder, GPT-OSS) 을 포함한 네 가지 백본이 테스트되었습니다.

지표:

• 완전 성공률: 모든 필수 지표가 5% 허용 오차 내에 들어간 작업의 비율.
• 부분 점수: 개별 지표가 올바르게 계산된 비율.
• 실패 분석: 구문 오류, fabrication(가짜 답변), 조기 종료, 물리적으로 일관되지 않은 구성 등을 포함하는 궤적 로그에서 도출된 실패 모드 분류.

주요 결과

성능 개요

평가 결과 모든 테스트된 에이전트 간에 상당한 성능 격차가 드러났습니다:

• 쉬운 작업: 가장 강력한 에이전트 (Claude Code 와 Codex) 조차도 완전 성공률이 **21%**에 불과합니다. OpenHands 를 통한 오픈소스 모델의 성능은 훨씬 더 낮습니다 (Qwen 2%, GPT-OSS 0%).
• 중간/어려운 작업: 성능이 급격히 저하됩니다. Claude Code 는 중간 7%, 어려움 4% 로 떨어지며, Codex 는 두 단계 모두에서 4% 로 하락합니다. 오픈소스 모델은 거의 0% 에 수렴합니다.
• 부분 점수: 에이전트가 때때로 개별 지표를 올바르게 계산하더라도, 전체 부분 점수는 낮게 유지되어 워크플로우의 일부가 성공하더라도 엔드투엔드 파이프라인은 실패함을 나타냅니다.

실패 모드 분석

궤적 분석은 일반 소프트웨어 공학 벤치마크와 구별되는 고유한 실패 패턴을 식별합니다:

1. 3 단계 하락: 에이전트는 시뮬레이션을 시작 (Simulation Ran) 하지만 유효한 답변 (Produced Answer) 이나 올바른 답변 (Correct Answer) 을 생성하지 못하는 경우가 많습니다. 예를 들어, 쉬운 작업에서 84-98% 의 궤적이 시뮬레이션을 실행했지만, 답변을 생성한 것은 33-37% 에 불과했으며, 정답은 21% 에 불과했습니다.
2. 물리적 비일관성 대 구문 오류:
   • 독점 에이전트 (Claude/Codex): 실패는 종종 단순한 구문 오류가 아닌 물리적으로 일관되지 않은 구성 (예: 잘못된 힘장, 호환되지 않는 열조절기) 으로 인해 발생합니다. 시뮬레이션 메커니즘을 성공적으로 호출하지만 불안정한 궤적을 생성합니다.
   • 오픈소스 에이전트: 가짜 답변(시뮬레이션을 실행하지 않고 값을 보고하는 경우) 과 조기 종료(오류를 만나면 작업을 포기하는 경우) 의 비율이 더 높습니다.
3. 파이프라인 취약성: 오류는 시뮬레이션 파이프라인을 통해 증폭됩니다. 에이전트는 초기화에는 성공하지만, 물리적 매개변수 선택 (예: 시간 간격, 결합 상수) 이 안정성을 결정하는 평형화 또는 생산 단계에서 실패하는 경우가 많습니다. 단일 물리적 오류는 하류의 전체 결과를 무효화합니다.
4. 후처리 오류: 시뮬레이션이 성공적으로 실행되더라도 에이전트는 종종 잘못된 분석 절차 (예: 확산 계수를 위한 잘못된 시간 창) 를 적용하여 수치적으로는 그럴듯하지만 물리적으로 잘못된 결과를 도출합니다.

중요성 및 주장

이 논문은 MDGYM 이 현재 AI 에이전트의 근본적인 결함을 드러내는 중요한 진단 도구로 작용한다고 주장합니다: 유창한 코드 생성을 물리적으로 기반을 둔 추론으로 전환하지 못하는 능력의 부재.

• 도메인 특화적 과제: MDGYM 에서 관찰된 실패 모드는 소프트웨어 공학의 실패 모드와 질적으로 다릅니다. 물리적 무효성에 대한 즉각적이고 해석 가능한 오류 신호 (예: 스택 트레이스) 가 부족하기 때문에 에이전트는 표준 디버깅 휴리스틱에 의존할 수 없습니다.
• 현재 벤치마크의 한계: 결과는 일반 코딩 벤치마크 (SWE-bench, HumanEval) 의 진전이 과학 컴퓨팅 능력으로 이어지지 않음을 시사합니다. 과학 시뮬레이션의 "침묵하는 실패" 특성은 에이전트가 기준값 피드백 없이 오류를 인식하고 복구하기 위해 도메인 지식을 갖추어야 함을 의미합니다.
• 미래 에이전트를 위한 로드맵: 저자들은 에이전트가 신뢰할 수 있는 과학 파트너가 되기 위해 해결해야 할 세 가지 능력 격차를 식별합니다:
  1. 물리적 기반: 실행 전에 구성의 물리적 일관성에 대한 추론.
  2. 도메인 인식 오류 복구: 시뮬레이션 특화 오류 메시지를 해석하여 물리적으로 의미 있는 수정안을 도출.
  3. 방법론적 정밀도: 특정 물리량에 대한 올바른 분석 절차 이해.

이 논문은 현재 에이전트가 구문 생성에서는 가능성을 보이지만, 분자 역학에서 엔드투엔드 과학 워크플로우를 자율적으로 실행할 능력은 아직 부족하다고 결론지었습니다. MDGYM 은 이 목표에 대한 진전을 추적하고 신뢰할 수 있는 AI 주도 과학 발견에 필요한 특정 능력을 강조하기 위해 공개되었습니다.