Evaluating LLM-generated code for domain-specific languages: molecular dynamics with LAMMPS

이 논문은 LLM 이 생성한 LAMMPS 입력 파일의 유효성을 도메인 전문가가 평가할 수 있는 정규화 및 파싱 기반 절차를 제안하여, 분자 동역학 분야에서 LLM 의 한계를 규명하고 도메인 전문가가 이를 효과적으로 활용할 수 있는 실용적인 방안을 제시합니다.

핵심

🎬 한 줄 요약: "AI 는 훌륭한 '초안 작가'지만, 아직 '검수관'이 필요합니다."

이 연구는 LAMMPS라는 과학용 소프트웨어를 사용하는 상황을 가정했습니다. LAMMPS 는 원자나 분자가 어떻게 움직이는지 시뮬레이션하는 프로그램인데, 이를 작동시키려면 매우 까다롭고 복잡한 **특수 언어 (DSL)**로 명령을 내려야 합니다. 마치 고전적인 오페라를 부를 때 정확한 발음과 호흡을 맞춰야 하는 것과 비슷하죠.

연구진은 최신 AI(대규모 언어 모델) 에게 "알루미늄 원자 한 덩어리를 가열해라" 같은 자연스러운 지시를 내렸을 때, AI 가 그걸 LAMMPS 가 알아듣는 정확한 코드로 바꿀 수 있는지 테스트했습니다.

🧪 실험 과정: 3 단계의 '안전 검사'

연구진은 AI 가 만든 코드가 실제로 작동할지 확인하기 위해 3 단계의 필터를 통과시키는 시스템을 만들었습니다.

1. 정리 단계 (Normalization):

   • 비유: AI 가 쓴 코드는 마치 친구가 보낸 편지처럼 문장 부호가 없거나, 줄바꿈이 엉망인 경우가 많습니다. 이 단계에서는 AI 가 쓴 코드를 공식적인 양식으로 깔끔하게 정리합니다.
   • 목적: "이 변수가 무슨 숫자인지"를 미리 계산해 두어, 나중에 코드가 깨지지 않게 합니다.

2. 문법 검사 (Parser):

   • 비유: 마치 국어 선생님이 학생의 글을 받아 "문법 오류가 있나?"를 체크하는 것과 같습니다.
   • 작동: LAMMPS 의 명령어 구조를 분석하는 전용 프로그램을 돌려, "이 명령은 존재하지 않아"나 "인자가 틀렸어" 같은 문법적 오류를 잡아냅니다.

3. 짧은 실험 (Execution & Accuracy):

   • 비유: 실제 장거리 마라톤을 뛰게 하기 전에, 100 미터만 뛰게 해보는 것입니다.
   • 작동: 코드가 실제로 실행되는지, 그리고 AI 가 지시한 대로 (예: 온도를 300 도에서 2500 도로 올리는지) 정확히 수행하는지 확인합니다.

📊 결과: AI 는 어떻게 했을까?

연구진은 5 가지 최신 AI 모델에게 3 가지 난이도 (쉬움, 보통, 어려움) 의 과제를 주었습니다.

• 쉬운 과제 (알루미늄 가열):

  • AI 들은 꽤 잘했습니다. 약 **66%**가 처음부터 완벽하게 작동했습니다.
  • 비유: "물 끓여줘"라고 하면, AI 는 대부분 냄비를 올리고 불을 켜는 법을 잘 알고 있습니다.

• 중간 난이도 (니켈 녹이기):

  • 실수가 늘기 시작했습니다. **14%**만 완벽했습니다.
  • 문제: "온도를 천천히 올리라"는 지시를 들었을 때, AI 가 온도 상승 속도를 계산하는 데서 수학적 실수를 하거나, 필요한 재료 (전위 함수) 를 잘못 선택했습니다.

• 어려운 과제 (고속 충돌 실험):

  • 대참사였습니다. 50 개의 시도 중 단 1 개만 완벽하게 작동했습니다.
  • 문제: AI 는 복잡한 기하학적 구조 (총알과 표적의 거리, 크기) 를 계산하는 데 완전히 막혔습니다. 마치 "총알을 쏘는데 표적은 1.5 미터 뒤에 있고, 총알은 초속 2 킬로미터로 날아가야 해"라고 했을 때, AI 가 **단위 (미터 vs 센티미터)**를 혼동하거나 공간 배치를 엉망으로 만든 것입니다.

🚨 AI 가 자주 하는 실수들 (핵심 통찰)

1. 가짜 명령어 (할루시네이션):

   • AI 는 존재하지 않는 명령어를 만들어냅니다. 마치 "이런 메뉴가 있어요"라고 거짓말을 하는 식당 종업원 같습니다. 실제로는 없는 기능을 코딩해버려 실행이 안 됩니다.

2. 단위 혼동:

   • 과학 실험에서는 '미터', '나노미터', '앙스트롬' 등 단위가 생명입니다. AI 는 "2000"이라고만 적고 단위를 생략하거나, 잘못된 단위 (미터/초) 를 써서 물리적으로 불가능한 시뮬레이션을 만들었습니다.

3. 맥락 무시:

   • "자유로운 경계 조건"이라고 했을 때, AI 는 단순히 문법만 맞춘 채 물리적으로 의미 없는 설정을 하곤 했습니다.

💡 결론 및 제언: "AI 는 조수일 뿐, 마법사가 아니다"

이 연구의 핵심 메시지는 다음과 같습니다.

• AI 는 완벽하지 않습니다: 복잡한 과학 시뮬레이션을 AI 가 혼자서 완벽하게 설계하는 것은 아직 불가능합니다.
• 하지만 유용한 '초안 작성자'입니다: AI 가 만든 코드는 100% 완벽하지 않아도, 기본 구조는 잘 잡혀 있는 경우가 많습니다.
• 해결책은 '검수 도구'입니다: AI 가 코드를 작성하게 하되, 우리가 만든 **자동 검사 도구 (파서)**를 통해 문법 오류를 먼저 잡아내고, 그다음에 실행해야 합니다.

마치 건축가 (AI) 가 설계도를 그릴 때, 구조 엔지니어 (검사 도구) 가 "이 기둥은 너무 약해요"라고 지적해 주는 것과 같습니다. AI 가 모든 것을 다 할 수는 없지만, 인간 전문가와 협력하면 과학 연구의 속도를 획기적으로 높일 수 있다는 희망을 제시합니다.

🌟 한 마디로 정리

"AI 는 과학 실험 코드를 작성할 때 훌륭한 초안을 내지만, 단위나 물리 법칙에서 실수를 자주 합니다. 그래서 AI 가 쓴 코드를 자동 검사 도구로 한 번 더 걸러내야만, 안전하고 정확한 과학 실험을 할 수 있습니다."

기술 요약

제공된 논문 "Evaluating LLM-generated code for domain-specific languages: molecular dynamics with LAMMPS"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 과학적 DSL 의 복잡성: 양자 역학, 분자 동역학 (MD) 등 물리 기반 시뮬레이션은 LAMMPS, VASP, Quantum Espresso 와 같은 도메인 특화 언어 (DSL) 를 사용합니다. 이러한 DSL 은 구문 (syntax) 이 복잡하고 명령어 순서나 구조의 작은 오류만으로도 시뮬레이션이 무효화되거나 비과학적인 결과를 낳을 수 있습니다.
• LLM 의 한계: 대규모 언어 모델 (LLM) 은 일반 목적의 코드를 생성하는 데 탁월하지만, 과학적 DSL 에 적용될 때의 유효성은 아직 충분히 평가되지 않았습니다. 특히, LAMMPS 와 같은 DSL 은 컴파일러나 린터 (linting) 와 같은 오류 탐지 인프라가 부족하여, AI 가 생성한 스크립트의 문법적 오류나 물리적 불일치를 사전에 찾기 어렵습니다.
• 핵심 문제: 연구자들은 시뮬레이션의 의도를 명확히 표현할 수 있지만, 이를 LAMMPS 의 엄격한 DSL 구문으로 정확하게 변환하는 데 어려움을 겪습니다. 현재 LLM 이 생성한 스크립트를 검증하고 수정하는 체계적인 절차가 부재합니다.

2. 방법론 (Methodology)

저자들은 LLM 이 생성한 LAMMPS 입력 스크립트의 유효성을 평가하기 위해 **다단계 평가 프로세스 (Multi-stage Evaluation Pipeline)**를 개발했습니다. 이 프로세스는 도메인 전문가가 DSL 전문가가 아니더라도 사용할 수 있도록 설계되었습니다.

• 평가 대상:
  • 모델: GPT-4o, GPT-4.1, GPT-o3, GPT-5, Claude 4 Opus 등 최신 5 가지 LLM.
  • 작업 (Prompts):
    1. Prompt 1: 단순한 알루미늄 단결정 평형화 (NPT 앙상블, 상온/상압).
    2. Prompt 2: 니켈 단결정의 300K 에서 2500K 까지의 연속 가열 (NPT).
    3. Prompt 3: 가장 복잡한 니오븀 (Nb) 스폴 (spall) 시뮬레이션 (충돌체 - 표적 구조).
• 평가 단계:
  1. 정규화 (Normalization): lammps-ast 패키지를 사용하여 주석 제거, 변수 해석 및 수치 치환, 루프 확장 등을 수행하여 '정규화된 (canonical)' 입력 파일을 생성합니다. 이는 변수 값의 불일치를 제거하고 파싱을 용이하게 합니다.
  2. 정적 파싱 (Static Parsing): Lark 기반의 커스텀 파서를 사용하여 스크립트를 추상 구문 트리 (AST) 로 변환합니다. 이를 통해 문법 오류, 잘못된 인자, 지역/그룹 정의 오류 등을 시뮬레이션 실행 전에 탐지합니다.
  3. 제한적 실행 (Reduced-step Execution): 파싱을 통과한 스크립트를 10 스텝만 실행하여 실행 가능성과 명령어 순서 오류를 확인합니다.
     • Pair Style Zero (PSZ) 대체: 상호작용 포텐셜 (pair style) 설정 오류가 다른 오류를 가리는 것을 방지하기 위해, 포텐셜 설정을 'zero'로 대체하여 문법/변수 오류와 포텐셜 오류를 분리 평가합니다.
  4. 정확도 평가 (Accuracy Check): 시뮬레이션이 성공적으로 실행된 경우, 프롬프트에 명시된 물리적 조건 (격자 상수, 경계 조건, 온도/압력, 시간 간격 등) 을 충족하는지 체크리스트를 통해 정량적으로 평가합니다.

3. 주요 기여 (Key Contributions)

• 새로운 평가 프레임워크: 과학적 DSL 에 대한 LLM 성능을 평가하기 위한 정규화, 정적 파싱, 제한적 실행, 물리적 정확도 검증을 포함한 통합 파이프라인을 처음 제안했습니다.
• LAMMPS 전용 AST 파서 개발: LAMMPS 입력 언어를 구문 트리 (AST) 로 변환하여 정적 분석이 가능하도록 하는 확장 가능한 파서를 개발했습니다. 이는 고비용의 시뮬레이션 실행 전에 오류를 선제적으로 발견할 수 있게 합니다.
• 비파인튜닝 (Non-fine-tuned) 벤치마크: 도메인 특화 학습 (fine-tuning) 없이 오프더셸 (off-the-shelf) LLM 들이 과학적 DSL 을 얼마나 잘 처리하는지에 대한 최초의 벤치마크 데이터를 제공합니다.
• 오류 패턴 분석: LLM 이 과학적 DSL 에서 겪는 구체적인 실패 모드 (Pair style 선택 오류, 단위 변환 실패, 기하학적 추론 부재 등) 를 체계적으로 분류하고 분석했습니다.

4. 결과 (Results)

• 전반적 성능: 총 150 개의 스크립트 (5 모델 × 3 프롬프트 × 10 회 샘플링) 를 평가한 결과, 약 74% 가 파싱을 통과했으나, **오류 없이 실행된 스크립트는 32%**에 불과했습니다. 물리적 조건을 모두 만족하는 '원샷 (one-shot)' 정확도는 **27.3%**로 낮았습니다.
• 복잡도에 따른 성능 저하:
  • Prompt 1 (단순): 66% 의 높은 원샷 정확도를 보였으나, eam 대 eam/alloy 와 같은 포텐셜 선택 오류가 흔했습니다.
  • Prompt 2 (중간): 실행 성공률은 68% 로 떨어졌으며, 가열 속도 계산 및 온도/압력 제어 관련 오류가 증가했습니다.
  • Prompt 3 (복잡): 성능이 급격히 저하되어 파싱 통과율 48%, 실행 성공률 8%, 원샷 정확도 **2% (50 개 중 1 개)**로 나타났습니다.
• 모델별 비교:
  • Claude 4 Opus: 파싱 통과율 (97%) 과 실행 성공률 (67%) 이 가장 높았으나, 복잡한 작업에서 포텐셜 선택 오류가 발생했습니다.
  • GPT-5: 가장 복잡한 Prompt 3 에서 유일하게 완전히 정확한 스크립트를 생성하여 원샷 정확도 (33%) 가 가장 높았으나, 변수 표현 오류로 인해 파싱 실패율이 높았습니다.
  • GPT-o3: 전반적으로 파싱 및 실행 성공률이 가장 낮았습니다.
• 주요 실패 모드:
  1. 잘못된 Pair Style 정의: EAM 포텐셜의 변형 (eam, eam/alloy 등) 을 혼동하거나 OpenKIM 포맷을 잘못 적용.
  2. 단위 및 물리량 오류: 프롬프트의 단위 (Å, nm, m/s 등) 를 LAMMPS 의 units metal 설정에 맞게 변환하지 못함 (예: 2000 m/s 를 Å/ps 로 변환하지 않음).
  3. 할루시네이션 (Hallucination): 존재하지 않는 명령어 (예: velocity groupID add 대신 set 사용) 를 생성하거나, 문서에 없는 문법을 추론.
  4. 다중 제약 추론 부족: 경계 조건, 기하학적 구조, 물리적 일관성을 동시에 고려하는 복잡한 논리 연결에서 실패.

5. 의의 및 결론 (Significance)

• LLM 의 현재 위치: 현재 LLM 은 과학적 시뮬레이션을 완전히 자율적으로 설계할 수 있는 수준이 아니며, 특히 복잡한 물리적 제약과 다단계 추론이 필요한 작업에서는 신뢰도가 낮습니다.
• 실용적 접근법: LLM 을 '자율 설계자'가 아닌, 검증 도구와 결합된 보조 도구로 활용해야 합니다. 제안된 AST 기반 파서와 같은 정적 검증 도구를 통해 문법 오류를 사전에 제거하고, 도메인 전문가의 감독 하에 반복적인 수정을 거치는 워크플로우가 필요합니다.
• 미래 전망: 이 연구는 과학적 DSL 에 LLM 을 통합하기 위한 표준 평가 프로토콜을 제시하며, 향후 문서 기반 검색 (RAG), 구조 인식 (Structure-aware) 사전 학습, 그리고 검증 - 실행 루프를 통한 자기 수정 시스템 개발의 기초를 마련했습니다.

요약하자면, 이 논문은 LLM 이 과학적 코드를 생성할 때 발생하는 오류의 본질을 규명하고, 고비용의 시뮬레이션 실행 전에 오류를 필터링할 수 있는 정형화된 평가 및 검증 프레임워크를 제시함으로써, AI 와 과학적 시뮬레이션의 안전한 통합을 위한 길을 열었습니다.