MLIPilot: LLM-Driven Auto-Research for Machine-Learned Interatomic Potentials

이 논문은 도구 호출(tool-calling) 기능이 있는 대규모 언어 모델이 엄격한 물리적 제약 조건 하에서 코드 변경을 제안하고 HPC 작업을 관리함으로써 머신러닝 기반 원자 간 포텐셜을 자율적으로 최적화하며, 초기 불안정한 베이스라인을 다양한 분자 및 주기적 벤치마크에 걸쳐 프로덕션 품질의 모델로 성공적으로 변환하는 자동 연구 프레임워크인 MLIPilot을 소개한다.

핵심

당신이 완벽한 요리를 만드는 로봇 셰프를 가르치려 한다고 상상해 보세요. 하지만 이것은 단순한 요리가 아닙니다. 온도가 단 1도만 어긋나도 주방 전체가 폭발할 정도로 복잡한 요리입니다.

과학의 세계에서 이 "로봇 셰프"는 원자들이 어떻게 행동하는지 예측하려는 컴퓨터 프로그램(기계 학습 기반 원자 간 포텐셜, MLIP)입니다. 이 "요리"는 물질의 시뮬레이션입니다. 문제는 이를 정확하게 해내는 것이 매우 어렵다는 점입니다. 시뮬레이션은 정확해야 하지만, 동시에 안정적이어야 하며(그래야 시스템이 붕괴하지 않습니다), 유용할 만큼 빨라야 합니다. 보통 과학자들은 무엇이 작동하고 무엇이 작동하지 않는지 추측하며 수년간 코드를 직접 수정하며 시간을 보냅니다.

여기에 MLIPilot이 등장합니다.

이 논문은 "매우 똑똑한" AI(대규모 언어 모델)가 자율적인 연구자 역할을 하는 새로운 시스템인 MLIPilot을 소개합니다. 인간 과학자가 추측하는 대신, AI에게 일련의 도구와 엄격한 규칙을 부여하고 다음과 같이 명령합니다. "이 레시피가 완벽해질 때까지 가서 수정해라."

이것이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. "엄격한 심판" (점수표)

대부분의 AI 실험에서는 컴퓨터가 단순히 높은 점수를 얻으려고 노력합니다. 하지만 과학에서 높은 점수는 결과가 위험하다면 충분하지 않습니다.

• 비유: 운전 면허 시험을 상상해 보세요. 당신은 매우 빠르게 운전할 수 있지만(높은 점수), 만약 빨간불에 진입한다면, 아무리 빨랐더라도 즉시 탈락입니다.
• 논문에서의 적용: MLIPilot은 "물리적으로 제약된 점수표"를 사용합니다. 여기에는 **하드 게이트(Hard Gates)**가 있습니다. 만약 AI가 정확하지만 원자들이 사방으로 튀어나가게 만드는(시뮬레이션에서의 "폭발") 모델을 만든다면, 시스템은 즉시 이를 거부합니다. AI는 시스템을 속일 수 없습니다. AI는 점수를 받기 전에 반드시 안전 규칙을 충족해야 합니다.

2. "자율적인 셰프" (AI 에이전트)

AI(GPT-5.5, GPT-4.1 및 오픈 소스인 Mistral과 같은 모델로 테스트됨)는 단순히 숫자를 추측하는 것이 아닙니다. AI는 코드를 읽고, 레시피를 편집하며, 시뮬레이션을 실행합니다.

• 과정:
  1. 제안(Propose): AI는 "에너지를 측정하는 방식을 바꾸면 더 잘 작동할 것 같습니다"라고 말합니다.
  2. 편집(Edit): 실제로 새로운 코드 줄을 작성합니다.
  3. 테스트(Test): 슈퍼컴퓨터에서 시뮬레이션을 실행합니다.
  4. 판정(Judge): "엄격한 심판"이 결과를 확인합니다.
  5. 결정(Decide): 만약 안전 게이트를 통과하고 점수가 향상되었다면, 그 변경 사항을 유지합니다. 그렇지 않다면, 시스템은 "실행 취소"를 누르고 이전 버전으로 돌아갑니다.

3. "아하!" 모먼트 (과학적 추론)

이 논문에서 가장 흥lı로운 부분은 AI가 단순히 노브(knob)를 돌린 것이 아니라, 인간이 놓쳤을 수도 있는 새로운 전략을 발견했다는 점입니다.

• QM7 챌린지 ("이상치" 문제): AI에게 매우 다양한 분자 데이터셋이 주어졌습니다. 표준 레시피는 실패했습니다.
  • 인간의 접근 방식: 학습률(learning rate)을 바꿔볼까?
  • AI의 접근 방식 (GPT-5.5): "이 데이터셋은 특이합니다. 모델의 형태 자체를 바꿔봅시다." AI는 ScaleShiftMACE라는 새로운 버전의 모델을 발명했고, 특이한 데이터를 더 잘 처리하기 위해 오차를 계산하는 수학적 방식( Huber loss로 전환)을 바꿨습니다. 이는 마치 셰프가 "이것은 수프가 아니라 스튜니까, 다른 냄비가 필요해"라고 깨닫는 것과 같습니다.
• Cu EMT 챌린지 ("인내심" 문제): 여기서 AI는 모델이 배우는 데 시간이 더 필요하다는 것을 깨달았습니다. AI는 학습 단계를 50단계에서 2,000단계로 점진적으로 늘려, 거의 완벽한 정확도에 도달할 때까지 모델을 미세하게 다듬었습니다.

4. 결과: 누가 승리했는가?

연구진은 네 가지 "셰프"(AI 모델)를 테스트했습니다.

• GPT-5.5: 명백한 승자입니다. 가장 창의적이었으며, 코드의 구조를 실제로 변경하고 새로운 수학적 트릭을 발견했습니다. 이 모델은 "틀 밖에서 생각하기"를 통해 가장 어려운 문제들을 해결했습니다.
• Mistral-24B: 더 작은 오픈 소스 모델입니다. 새로운 트릭을 발명하지는 못했지만, 믿을 수 없을 정도로 끈기 있었습니다. 하나의 전략(학 training을 길게 가져가는 것)을 성공할 때까지 계속 시도하여, 더 유명한 모델(GPT-4.1)을 특정 과제에서 이겼습니다.
• GPT-4.1 & Qwen3: 이 모델들은 주로 레시피 자체를 바꾸기보다는 숫자(예: 온도를 약간 조절하는 것)를 조정하는 데 그쳤습니다. 개선은 이루어졌지만, 상위 모델들만큼 극적이지는 않았습니다.

핵심 요약

이 논문은 AI가 이제 이 특정 유형의 물리 문제에 대해 "자율 주행 과학자" 역할을 할 수 있음을 주장합니다.

• AI는 단순히 명령을 따르는 것이 아니라, 가설을 세우고, 테스트하고, 실패하고, 배우고, 다시 시도합니다.
• AI는 **안전(안정성)**이 단순히 높은 점수를 얻는 것보다 더 중요하다는 것을 이해합니다.
• 이는 "최고의" AI가 항상 가장 큰 모델은 아니라는 것을 보여줍니다. 때로는 더 창의적으로 생각하거나 더 끈기 있는 모델이 승리합니다.

요약하자면, MLIPilot은 AI가 원자 시뮬레이션을 구축하는 지루하고 위험하며 반복적인 시행착오 작업을 수행할 수 있게 함으로써, 인간 과학자들이 더 큰 질문을 던지는 데 집중할 수 있도록 해주는 시스템입니다.

기술 요약

기술 요약: MLIPilot: 머신러닝 기반 원자간 포텐셜을 위한 LLM 주도 자동 연구

문제 정의

생산 수준의 머신러닝 기반 원자간 포텐셜(MLIP)을 개발하는 것은 단일 훈련 손실(loss) 최소화를 넘어선 다중 목적 제약 최적화 문제입니다. 실무자는 다음 세 가지를 동시에 균형 있게 조절해야 합니다:

1. 정확도(Accuracy): 에너지 및 힘 오차에 대한 애플리케이션별 임계값 충족.
2. 역학적 안정성(Dynamical Stability): NVE 분자 역학이 피코초(picosecond) 궤적 동안 에너지를 보존하도록 보장(파괴적인 드리프트 방지).
3. 처리량(Throughput): 실제 시뮬레이션 시간 규모에 충분한 추론 속도 유지.

이러한 목적들은 비선형적으로 결합되어 있습니다. 예를 들어, 공격적인 에너지 손실 가중치는 역학을 불안정하게 만들 수 있는 반면, 더 깊은 네트워크는 정확도를 개선할 수 있지만 처리량을 저하시킬 수 있습니다. 또한, 과적합(overfitting)은 검증 손실의 증가보다는 폭발적인 NVE 드리프트로 나타날 수 있어, 표준적인 지표만으로는 불충분합니다. 현재의 개발 방식은 인간 전문가가 느리고 재현 불가능한 시행착오를 통해 이 공간을 탐색하는 데 의존하고 있습니다.

방법론: MLIPilot 프레임워크

저자들은 도구 호출(tool-calling) 능력을 갖춘 대규모 언어 모델(LLM)이 자율적인 연구자 역할을 수행하는 자동 연구 프레임워크인 MLIPilot을 소개합니다. 이 시스템은 다섯 가지 핵심 구성 요소를 통합하여 폐쇄 루프(Algorithm 1)로 작동합니다:

1. 데이터 검사기(Data Inspector): 데이터셋을 파싱하고(ASE를 통해), 종(species)과 주기성을 식별하며, 훈련/검증/테스트 분할을 생성합니다.
2. 템플릿 생성기(Template Generator): 고정된 평가 하네스(harness)와 분리된 편집 가능한 "실험 표면(experiment surface)"을 가진 train.py 스크립트를 합성하며, 이때 # FIXED HARNESS 센티널(sentinel)을 사용합니다. 또한 자연어 프롬프트에서 파싱된 타겟을 포함하는 스코어카드(scorecard)를 생성합니다.
3. 에이전트 루프(Agent Loop): 재시도 로직, 컨텍스트 관리, 조기 종료 기능을 갖춘 LLM 도구 호출(파일 읽기/쓰기/편집, 작업 제출)을 오케스트레이션합니다.
4. HPC 실행기(HPC Executor): 지수적 백오프(exponential backoff) 및 로컬 GPU 폴백(fallback)을 관리하며 Slurm 작업 라이프사이클을 관리합니다.
5. 스코어카드 평가기(Scorecard Evaluator): 복합 점수를 계산하고 엄격한 물리적 제약을 강제합니다.

물리적 제약이 적용된 스코어카드

핵심적인 혁신은 스칼라 손실 최소화를 **하드 게이트(hard gate)**가 포함된 다중 목적 스코어카드로 대체한 것입니다. 후보 모델은 다음 조건을 만족할 때만 수용됩니다:

1. 개선(Improvement): 현재 최고 점수보다 복합 점수($S$)가 엄격히 더 나아야 합니다.
2. 물리적 타당성(Physical Feasibility): 모든 지표($x_i$)가 사용자가 지정한 타겟의 4배($g_i = 4t_i$)로 설정된 하드 게이트 내에 있어야 합니다.

복합 점수는 패널티 비율($p_i$)의 가중 평균으로 계산되며, 단일 지표가 전체를 지배하는 것을 방지하기 위해 캡(cap)이 씌워집니다. 결정적으로, 하드 게이트는 (예: 타겟이 1.0일 때 드리프트가 4 meV/atom/ps를 초과하는 경우처럼) 에너지 정확도는 뛰어나지만 치명적인 NVE 드리프트를 보이는 모델을 복합 점수와 관계없이 자동으로 거부합니다.

무결성 및 툴링

보상 해킹(reward hacking)을 방지하기 위해, 시스템은 매 제출 전마다 평가 하네스와 스코어카드에 대한 SHA-256 무결성 검사를 수행합니다. 에이전트는 여섯 가지 타입의 도구를 통해 상호작용하며, train.py에 대한 쓰기 권한은 편집 가능한 부분으로 제한됩니다. submit and wait 도구는 에이전트가 가설, 타겟 지표, 리스크 평가를 명시하도록 요구하여 과학적 규율을 강제합니다.

주요 기여

1. MLIPilot 프레임워크: 도구 호출 LLM을 Slurm HPC 실행, 무결성 강제, 가설 기반 로깅과 결속시킨 시스템.
2. 물리적 제약 스코어카드: 적응형 타겟과 하드 게이트(4× 타겟)를 갖춘 검증 메커니즘으로, 복합 점수를 개선하더라도 물리적 타당성을 통과하지 못하면 모델을 거부하여 역학적 안정성을 보장합니다.
3. 멀티 에이전트 벤치마크: 과학적 추론 품질이 모델 규모나 토큰 예산보다 최적화 성공을 결정한다는 것을 입증하는 종합적인 평가.

실험 결과

프레임워크는 두 가지 데이터셋에 대해 MACE 포텐셜 최적화를 대상으로 평가되었습니다:

• QM7 (B3LYB): B3LYP/6-31G(d) 레이블을 가진 유기 분자의 비주기적, 화학적으로 다양한 데이터셋.
• Cu EMT: ASE의 Effective Medium Theory 계산기로 레이벨링된 변형된 구리 슈퍼셀의 주기적 데이터셋.

네 가지 에이전트가 벤치마킹되었습니다: GPT-5.5, GPT-4.1, Mistral-24B, Qwen3-32B.

QM7 결과

• 베이스라인 실패: 모든 에이전트는 하드 게이트를 위반하는 베이스라인(에너지 MAE ~52 meV/atom vs. 40 meV 게이트)에서 시작했습니다.
• GPT-5.5 (최고 성능): 최종 점수 0.831 (에너지 MAE: 9.52 meV/atom, 힘 MAE: 9.83 meV/atom)을 달성했습니다. 이 모델은 독보적으로 구조적 변경을 수행하여, ScaleShiftMACE(명시적 출력 정규화)와 Huber loss(이상치에 대한 강건성)의 유용성을 발견했습니다. 또한 훈련 기간으로 인해 NVE 드리프트가 발생했을 때 하이퍼파라미터 튜닝에서 구조적 변화로 성공적으로 전환했습니다.
• Mistral-24B: 지속적으로 훈련 기간(최대 1000 에포크)과 용량을 탐색함으로써 두 번째로 좋은 점수(1.061)를 얻었으며, 이는 독점 모델인 GPT-4.1보다 우수한 성능입니다.
• GPT-4.1 & Qwen3-32B: 주로 파라미터 튜닝에 의존했습니다. Qwen3-32B는 훨씬 더 많은 토큰(486k)을 소비했음에도 불구하고 낮은 개선율(1.4×)을 보였으며 조기에 응답을 중단했습니다.

Cu EMT 결과

• GPT-5.5: 최종 점수 0.401을 달와, 에너지 MAE를 베이스라인 12.69 meV/atom에서 0.57 meV/atom(sub-meV 정확도)으로 감소시켰습니다. 이 모델은 점진적 에포크 스케일링(50 → 500 → 1000 → 2000) 전략과 세 번째 상호작용 레이어를 추가하는 창발적 전략을 발견했습니다.
• 비교: GPT-5.5는 베이스라인 대비 11.2배의 개선을 달성하여, GPT-4.1(6.9배) 및 오픈 웨이트 모델들을 크게 앞질렀습니다.

교차 데이터셋 분석

연구를 통해 네 가지 주요 패턴이 확인되었습니다:

1. 추론 > 규모: GPT-5.5의 질적 개입(아키텍처, 손실 함수)은 3.211.2배의 개선을 가져온 반면, 다른 모델들의 파라미터 튜닝은 1.46.9배의 개선에 그쳤습니다.
2. 토큰 효율성: 높은 토큰 수(예: Qwen3-32B)가 반드시 더 나은 결과로 이어지지는 않았습니다. GPT-5.5는 더 적은 토큰으로 더 우수한 결과를 냈습니다.
3. 오픈 웨이트의 생존력: Mistral-24B는 특정 지형에서 가능한 전략(연장된 훈련)을 완전히 소진함으로써 QM7에서 GPT-4.1보다 우수한 성과를 냈으며, 이는 끈기가 아키텍처 혁신을 보완할 수 있음을 시사합니다.
4. 타겟 민감도: 더 타이트한 타겟(Cu EMT sub-meV)은 에이전트 간의 성능 차이를 증폭시켰습니다.

의의 및 주장

논문은 MLIPilot이 MLIP 개발을 수동적인 시행착오에서 감사 가능하고 자동화된 실험으로 성공적으로 전환시켰다고 주장합니다.

• 자율적 과학적 추론: 본 시스템은 LLM 에이전트가 도메인 특화 검증 기준에 의해 제약될 때 자율적인 운영자로 기능할 수 있음을 보여줍니다. GPT-5.5가 ScaleShiftMACE와 Huber loss를 발견한 것은 단순한 하이퍼파라미터 최적화를 넘어선 질적 진보이며, 데이터셋의 통계적 구조에 대한 진정한 추론을 보여줍니다.
• 하드 게이트의 필요성: 저자들은 하드 게이트가 없다면 에이전트가 복합 점수를 개선하는 것처럼 보이는 역학적으로 불안정한 모델을 수용할 것이라고 강조합니다. 4배 게이트는 "타당성 우선" 필터 역할을 하여, 에이전트가 최적화 이전에 제약 조건 충족을 해결하도록 강제합니다.
• 향업 전망: LLM이 인과적 및 구성적 추론 능력이 향상됨에 따라, 원자 시뮬레이션의 병목 현상은 "포텐셜을 어떻게 훈련할 것인가"에서 "어떤 물리적 질문을 던질 것인가"로 이동할 것이며, 이는 도메인 과학자들을 훈련 파이프라인 엔지니어링으로부터 해방시킬 수 있습니다.

저자들은 홀드아웃 분할(held-out split)이 선택을 위해 사용되었음을 언급하며 일반화에 대해 신중한 태도를 유지하였으나, 확정적인 일반화 추정을 위해서는 별도의 격리된 테스트 세트가 필요하다고 밝혔습니다. 프레임워크는 아키텍처에 구애받지 않도록 설계되었으나(NequIP, Allegro 등 지원), 보고된 결과는 MACE에 집중되어 있습니다.