MOOSEnger -- a Domain-Specific AI Agent for the MOOSE Ecosystem

이 논문은 MOOSE 시뮬레이션 환경의 복잡한 입력 파일 설정과 디버깅을 자연어 기반 대화형 워크플로우, 검색 증강 생성 (RAG), 그리고 MOOSE 런타임 검증이 결합된 도구 기반 AI 에이전트 'MOOSEnger'를 통해 해결하여, 기존 LLM 단독 방식 대비 실행 성공률을 0.08 에서 0.93 으로 획기적으로 향상시켰음을 제시합니다.

핵심

🚀 MOOSEnger: 복잡한 시뮬레이션을 위한 'AI 비서'의 등장

이 논문은 MOOSE라는 매우 강력하지만, 사용하기엔 다소 까다로운 과학 시뮬레이션 프로그램을 더 쉽게 다룰 수 있게 해주는 **AI 에이전트 'MOOSEnger (무스엔저)'**를 소개합니다.

상상해 보세요. MOOSE 프로그램은 거대한 레고 조립 키트와 같습니다. 이 키트에는 수천 개의 부품 (물리 법칙, 경계 조건, 재료 등) 이 있고, 조립 방법 (입력 파일) 은 매우 엄격한 규칙을 따릅니다. 전문가가 아닌 일반인이 이 키트를 처음 접하면, "어떤 부품을 어디에 붙여야 할지" 모르고, "조립 설명서 (문서) 를 찾아보느라" 시간을 다 보내거나, "부품을 잘못 끼워" 조립이 실패하는 경우가 많습니다.

MOOSEnger는 바로 이 문제를 해결해 주는 현명한 AI 조립 도우미입니다.

---

🧩 1. MOOSEnger 는 어떻게 작동할까요? (세 가지 핵심 능력)

이 AI 비서는 단순히 "말을 들어주는" 챗봇이 아닙니다. 실제로 시뮬레이션을 실행하고 고칠 수 있는 실무 도구를 가지고 있습니다.

① "지식책"을 펼쳐서 답을 찾습니다 (RAG 기술)

• 비유: AI 가 모든 것을 기억하는 게 아니라, 가장 최신의 두꺼운 조립 설명서와 성공한 사례집을 옆에 두고 있습니다.
• 작동: 사용자가 "원자로의 열을 계산하는 시뮬레이션을 만들어줘"라고 말하면, AI 는 설명서에서 관련 예시를 찾아내고, 그 내용을 바탕으로 초안을 작성합니다.

② "실수"를 자동으로 고쳐줍니다 (검증 및 수리)

• 비유: 사용자가 레고 부품을 잘못 끼우거나, 설명서에서 철자를 틀리게 적으면, AI 가 **"잠깐, 이 부품은 여기 안 맞아요. 대신 저걸 끼우세요"**라고 바로 고쳐줍니다.
• 작동: AI 가 만든 파일에는 작은 실수 (문법 오류, 잘못된 부품 이름 등) 가 생기기 마련입니다. MOOSEnger 는 이를 자동으로 검사하고, 규칙에 맞게 수정합니다. 만약 "이 부품 이름이 틀렸어"라고 시뮬레이션 프로그램이 경고하면, AI 는 비슷한 이름의 올바른 부품을 찾아서 교체해 줍니다.

③ "테스트 주행"을 해봅니다 (실행 루프)

• 비유: 차를 만들기 전에 일단 시동을 걸어보는 것과 같습니다.
• 작동: AI 가 만든 파일이 실제로 작동하는지, 프로그램이 실행되는지 직접 테스트해 봅니다. 만약 오류가 발생하면, 그 오류 메시지를 보고 다시 고쳐서 다시 실행합니다. 이 과정을 반복하다가 finally 성공하면 사용자에게 완성된 파일을 줍니다.

---

📊 2. 얼마나 잘할까요? (결과 이야기)

논문에서는 125 가지의 다양한 시뮬레이션 요청 (열전달, 유체 흐름, 구조 역학 등) 을 테스트했습니다.

• 기존 방식 (AI 만 사용): AI 가 설명서만 보고 한 번에 파일을 만들어낸 경우, 성공률은 8% 에 불과했습니다. (100 개 중 92 개가 실패)
• MOOSEnger (AI + 도구 + 검증): AI 가 파일을 만들고, 고치고, 테스트하는 과정을 거친 결과, 성공률은 93% 로 폭풍 상승했습니다.

이는 마치 초보자가 혼자 조립하려다 실패하는 경우와 전문 도우미가 옆에서 계속 도와주며 완성하는 경우의 차이와 같습니다.

---

💡 3. 왜 이것이 중요한가요?

• 입문 장벽 낮추기: 복잡한 과학 코딩을 몰라도, "자연어 (일상 언어)"로만 요청하면 시뮬레이션을 만들 수 있습니다.
• 시간 절약: 전문가들도 설명서를 찾느라, 오류를 고치느라 많은 시간을 보냅니다. MOOSEnger 는 이 과정을 자동화해 줍니다.
• 신뢰성: AI 가 "환각 (허위 정보)"을 만들어내더라도, 실제 실행 도구로 검증하기 때문에 잘못된 결과가 나오지 않습니다.

🏁 결론

MOOSEnger는 과학자들이 복잡한 시뮬레이션 소프트웨어와 싸우지 않고, 자신의 아이디어와 물리 법칙에 집중할 수 있도록 돕는 똑똑한 파트너입니다. 마치 운전자가 복잡한 엔진 수리 대신, 목적지만 말하면 차가 알아서 준비하고 운전해 주는 것과 같습니다.

이 기술은 앞으로 더 많은 과학자와 엔지니어가 복잡한 문제를 해결하는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

MOOSE (Multiphysics Object-Oriented Simulation Environment) 는 Idaho National Laboratory 에서 개발한 고성능 다중 물리 시뮬레이션 프레임워크입니다. 사용자는 C++ 소스 코드를 수정하지 않고도 인간이 읽을 수 있는 입력 파일 (.i 확장자, HIT: Hierarchical Input Text 구문) 을 작성하여 시뮬레이션을 설정합니다.

그러나 MOOSE 사용에는 다음과 같은 주요 어려움이 존재합니다:

• 높은 진입 장벽: 방대한 수의 물리 객체 (Objects) 와 엄격한 구문 규칙 (Syntax) 으로 인해 초보자가 첫 번째 유효한 실행 파일을 작성하는 데 많은 시간이 소요됩니다.
• 디버깅의 복잡성: 작은 포맷팅 오류나 잘못된 객체 이름만으로도 실행이 실패하거나, 실행은 되지만 물리적으로 잘못된 결과가 나올 수 있습니다.
• 반복적인 작업: 모델 설정, 오류 수정, 문서 검색에 소요되는 시간이 시뮬레이션 자체의 분석 시간을 압도합니다.

기존의 LLM(대형 언어 모델) 기반 도구는 이러한 전문적인 도메인 지식과 엄격한 구문 제약을 충족시키지 못해, 생성된 입력 파일이 실행 가능한 경우가 드뭅니다.

2. 방법론 (Methodology)

MOOSEnger 는 자연어 요청을 실행 가능한 MOOSE 입력 파일로 변환하는 도구 기반 (Tool-enabled) 도메인 특화 AI 에이전트입니다. 핵심 아키텍처와 워크플로우는 다음과 같습니다.

A. 핵심 + 도메인 아키텍처 (Core-Plus-Domain Architecture)

• Core: 재사용 가능한 에이전트 인프라 (구성, 검색, 도구 디스패치, 메모리 관리 등) 를 제공합니다.
• Domain Plugin: MOOSE 특화 기능 (HIT 구문 파싱, 입력 파일 정제, 실행 도구 등) 을 플러그인 형태로 추가합니다. 이를 통해 새로운 도메인 에이전트 개발이 용이합니다.

B. 데이터 수집 및 검색 (RAG)

• MOOSE 인식 인제스션 (Ingestion): MOOSE 입력 파일 (.i) 은 단순 텍스트가 아닌 계층적 구조를 가집니다. MOOSEnger 는 pyhit 파서를 사용하여 블록 단위 (예: [Mesh], [Kernels]) 로 문서를 분할 (Chunking) 하여 구조적 의미를 보존합니다.
• 검색 증강 생성 (RAG): 문서, 예제, 커뮤니티 토론 등을 벡터 데이터베이스에 저장하고, 사용자의 질의에 맞춰 관련 컨텍스트를 검색하여 생성의 정확도를 높입니다.

C. 결정론적 입력 전처리 파이프라인 (Deterministic Input-Precheck Pipeline)

LLM 이 생성한 초기 입력 파일의 오류를 보정하기 위해 다음과 같은 자동화 단계를 거칩니다:

1. 정제 (Sanitization): 보이지 않는 포맷팅 오류 (스마트 쿼터, 비표준 줄바꿈 등) 를 제거하고 유니코드를 정규화합니다.
2. 구문 제약 기반 수리 (Grammar-constrained Repair): HIT 구문 트리를 파싱하여 블록 구조가 깨진 경우, 구문 규칙을 준수하는 범위 내에서 최소한의 수정을 가합니다.
3. 타입 유사성 검색 (Type Similarity Search): 존재하지 않는 객체 이름 (Hallucination) 이 발견되면, 애플리케이션 시맨틱 레지스트리와의 유사도 검색을 통해 올바른 객체 이름으로 자동 교정합니다.
4. 실행 루프 (Execution-in-the-Loop): --check-input 모드나 짧은 '스모크 테스트 (Smoke test)'를 통해 MOOSE 런타임을 직접 실행하여 솔버 진단 메시지를 확인하고, 이를 에이전트에게 피드백하여 반복적으로 수정합니다.

D. 평가 시스템

• RAG 평가: 회신 신뢰도 (Faithfulness), 관련성, 컨텍스트 정밀도/재현율 등을 측정합니다.
• 에이전트 평가: 생성된 입력 파일이 실제 MOOSE 실행기에서 exit_code=0 으로 성공적으로 실행되는지 여부를 최종 성공 기준으로 삼습니다.

3. 주요 기여 (Key Contributions)

1. MOOSE 인식 AI 어시스턴트: 자연어 요청을 RAG 기반의 컨텍스트와 결합하여 유효한 MOOSE 입력 파일을 생성합니다.
2. 결정론적 도구 체인: HIT 파싱, 정제, 구문 제약 수리, 시맨틱 검증 등을 포함한 자동화 파이프라인을 구축하여 LLM 의 할루시네이션을 보정합니다.
3. 런타임 피드백 루프: MOOSE 실행기를 에이전트 루프에 포함시켜, 솔버 오류 메시지를 기반으로 한 '검증 - 수정 (Verify-and-Correct)' 반복을 가능하게 합니다.
4. 확장 가능한 아키텍처: 핵심 인프라와 도메인 플러그인을 분리하여 다양한 MOOSE 기반 애플리케이션 (원자로 물리, 열유체 등) 에 쉽게 적용할 수 있는 프레임워크를 제공합니다.

4. 실험 결과 (Results)

5 가지 MOOSE 물리 계열 (확산, 비정상 열전도, 고체 역학, 다공성 유동, Navier-Stokes) 에 걸쳐 총 125 개의 프롬프트로 벤치마크를 수행했습니다.

테스트 문제	MOOSEnger (실행 성공률)	LLM 만의 베이스라인 (ChatGPT 5.2)
확산 (Diffusion)	100% (25/25)	36% (9/25)
비정상 열전도	92% (23/25)	0% (0/25)
고체 역학	96% (24/25)	0% (0/25)
다공성 유동	92% (23/25)	4% (1/25)
Navier-Stokes	84% (21/25)	0% (0/25)
전체 평균	93% (116/125)	8% (10/125)

• 성공률: MOOSEnger 는 **93%**의 실행 성공률을 기록한 반면, 도구 없이 LLM 만 사용한 베이스라인은 **8%**에 그쳤습니다.
• 향상 폭: 실행 가능성 측면에서 약 9.5 배의 개선을 보였습니다. 특히 복잡한 다중 물리 시뮬레이션 (열전도, 유체 역학 등) 에서 LLM 만으로는 실행이 불가능했던 경우가 MOOSEnger 를 통해 대부분 해결되었습니다.

5. 의의 및 결론 (Significance)

• 과학적 컴퓨팅의 접근성 향상: 복잡한 DSL(도메인 특화 언어) 의 세부 사항을 기억할 필요 없이, 사용자가 물리 의도 (Intent) 만 표현하면 에이전트가 설정, 검증, 디버깅을 수행하여 '첫 번째 유효한 실행 (First Valid Run)' 시간을 단축합니다.
• 신뢰성 있는 AI 에이전트: 단순한 텍스트 생성을 넘어, 도메인 지식 (RAG) 과 결정론적 도구 (구문 검사, 실행 검증) 를 결합함으로써 과학적 소프트웨어에서 AI 의 신뢰성을 확보하는 새로운 패러다임을 제시합니다.
• 지식 전파 및 표준화: MOOSEnger 는 조직 내 지식 (Best Practices, 예제 코드) 을 체계화하고 공유할 수 있는 플랫폼 역할을 하여, 신규 사용자의 온보딩과 기존 사용자의 생산성을 동시에 높입니다.

이 연구는 AI 에이전트가 단순한 보조 도구를 넘어, 복잡한 과학 시뮬레이션 워크플로우의 핵심 구성 요소로 통합될 수 있음을 입증했습니다.