Dr.Sai: An agentic AI for real-world physics analysis at BESIII

이 논문은 BESIII 고에너지 물리학 실험의 방대한 데이터를 처리하기 위해 자연어를 물리 분석 워크플로우로 변환하여 자율적인 데이터 재측정 및 분석을 수행하는 LLM 기반 멀티 에이전트 시스템인 'Dr.Sai'를 소개합니다.

핵심

🧪 제목: "물리학계의 '자율주행 로봇 요리사', Dr.Sai의 등장!"

1. 배경: 너무나 복잡한 '우주 레시피' (기존의 문제점)

우리가 우주의 비밀을 풀기 위해 '입자'라는 아주 작은 알갱이들을 관찰하는 것은, 마치 수조 개의 재료가 섞여 있는 거대한 주방에서 아주 미세한 맛의 차이를 찾아내는 것과 같습니다.

지금까지 과학자들은 이 작업을 직접 했습니다. 엄청나게 복잡한 요리 도구(소프트웨어)를 다루고, 수만 가지 재료(데이터)를 일일이 분류하며, 아주 작은 실수라도 하면 요리(실험 결과)를 망치기 일쑤였죠. 이 과정은 너무 힘들고 시간이 오래 걸려서, 과학자들이 진짜 중요한 '새로운 맛(새로운 물리 법칙)'을 연구할 시간을 뺏어갔습니다.

2. 해결사: Dr.Sai, "말만 하면 요리해 드립니다!" (Dr.Sai의 정체)

여기서 등장한 Dr.Sai는 단순한 계산기가 아닙니다. 마치 **"최첨단 자율주행 기능을 갖춘 로봇 요리사"**와 같습니다.

과학자가 "자, 이번에는 'J/ψ'라는 재료를 이용해서 이런 맛을 내는 요리를 해줘!"라고 **일상적인 언어(자연어)**로 명령만 내리면, Dr.Sai는 다음과 같이 스스로 움직입니다.

• 👨‍🍳 플래너(Planner): "음, 이 요리를 하려면 재료 손질부터 불 조절까지 총 12단계가 필요하겠군!" 하고 계획을 세웁니다.
• 💻 코더(Coder): 요리 도구(컴퓨터 코드)를 스스로 설계하고 만듭니다.
• 🔥 테스터(Tester): 실제로 불을 켜고 요리(데이터 처리)를 실행합니다.
• 🧐 리플렉터(Reflector): "잠깐, 간이 너무 센 것 같은데? 다시 확인해보자!"라며 스스로 실수를 검토합니다.

3. 실전 테스트: "10가지 요리 완벽 재현!" (연구 결과)

연구팀은 Dr.Sai가 정말 실력이 있는지 확인하기 위해, 이미 검증된 **10가지의 아주 까다로운 레시피(J/ψ 붕괴 채널)**를 주고 "똑같이 만들어봐!"라고 시켰습니다.

결과는 놀라웠습니다. Dr.Sai는 사람이 직접 코딩하지 않았음에도 불구하고, 기존의 베테랑 과학자들이 만든 결과와 거의 똑같은(매우 정확한) 결과물을 내놓았습니다. 마치 로봇 요리사가 유명 셰프의 맛을 완벽하게 재현해낸 것과 같습니다!

4. 한계와 미래: "더 똑똑한 셰프가 되기 위하여" (결론 및 전망)

물론 Dr.Sai도 아직 배우는 단계입니다. 어떤 AI 모델은 요리 도구를 잘못 집기도 하고, 어떤 모델은 레시피의 양념 비율(데이터 구조)을 맞추는 데 어려움을 겪기도 했습니다.

하지만 이 연구는 엄청난 의미가 있습니다. 이제 과학자들은 단순하고 반복적인 '재료 손질(데이터 노가다)'에서 벗어나, "우주는 어떤 맛일까?"라는 근본적인 질문에 더 집중할 수 있게 되었기 때문입니다.

---

💡 요약하자면?

이 논문은 **"복잡한 물리 실험 과정을 스스로 계획하고, 코드를 짜고, 실행해서 결과까지 뽑아내는 'AI 과학자 시스템'을 만들었고, 그것이 실제 실험 데이터에서도 매우 정확하게 작동함을 증명했다"**는 내용입니다.

이제 과학의 발견 속도는 AI라는 '슈퍼 엔진'을 달고 훨씬 더 빨라질 것입니다! 🚀

기술 요약

[기술 요약] Dr.Sai: BESIII 실험을 위한 실세계 물리 분석용 에이전트형 AI

1. 문제 배경 (Problem)

고에너지 물리(HEP) 실험, 특히 BESIII와 같은 대규모 실험에서는 페타바이트(PB) 및 엑사바이트(EB) 규모의 방대한 데이터를 처리해야 합니다. 현재의 물리 분석 워크플로우는 다음과 같은 한계가 있습니다.

• 높은 노동 집약성: 몬테카를로(MC) 시뮬레이션, 이벤트 선택, 신호 추출, 통계 분석, 계통 오차 평가 등 복잡한 과정을 전문가가 수개월에서 수년에 걸쳐 수동으로 수행해야 합니다.
• 확장성 부족: 수동 방식은 대규모의 체계적인 스캔을 수행하기 어렵고, 전문가의 시간을 반복적인 엔지니어링 작업에 소모하게 만들어 과학적 탐구의 속도를 늦춥니다.
• 소프트웨어 복잡성: CERN ROOT나 BESIII 전용 소프트웨어(BOSS)와 같은 전문 도구들은 사용법이 매우 까다롭고 복잡합니다.

2. 연구 방법론 (Methodology)

본 논문은 자연어 명령을 실행 가능한 물리 분석 워크플로우로 변환하는 **멀티 에이전트 시스템(Multi-Agent System, MAS)**인 Dr.Sai를 제안합니다.

A. 시스템 아키텍처

Dr.Sai는 AutoGen 프레임워크를 기반으로 하며, Talker-Reasoner 구조를 채택하여 6개의 전문 에이전트로 구성됩니다:

1. Host: 사용자 요청 라우팅 및 에이전트 간 협업 관리.
2. Planner: 복잡한 도메인 작업을 하위 작업으로 분해 및 구조화.
3. Coder: 전문 도구를 사용하여 분석 코드(C++, Python 등) 생성.
4. Tester: 원격 워커(Remote Worker)에서 코드를 실행하고 결과 수집.
5. Calculator: 붕괴 채널의 분기비(Branching Fraction) 계산.
6. Reflector: 결과의 합리성을 검증하고 오류를 수정.

B. 핵심 기술 요소

• RAG (Retrieval-Augmented Generation): 'HEP-RAG' 모듈을 통해 BESIII 관련 전문 지식과 문서를 에이전트에게 제공하여 환각(Hallucination)을 방지합니다.
• HepScript: 전문가의 분석 논리를 정형화된 규칙으로 표현한 도메인 특화 언어(DSL)로, 물리적 의도를 표준화된 실행 시퀀스로 변환합니다.
• Configuration-Driven Code Generation: LLM이 처음부터 코드를 짜는 대신, 표준화된 템플릿에 JSON 설정값을 채워 넣는 방식을 사용하여 코드 생성의 정확도를 높였습니다.
• Daemon-based Management: 장시간 실행되는 HPC(고성능 컴퓨팅) 작업의 연결 끊김을 방지하기 위해 메시지 관리 데몬을 구현했습니다.

3. 주요 기여 (Key Contributions)

• 엔드 투 엔드(End-to-End) 자동화: 자연어 입력부터 데이터 전처리, 이벤트 선택, 신호 추출, 통계 계산 및 시각화까지의 전 과정을 자동화하는 프레임워크를 구축했습니다.
• 실제 실험 환경 통합: 단순한 챗봇을 넘어, 실제 BESIII의 소프트웨어 스택(BOSS) 및 HPC 환경(HTCondor)과 직접 연동되는 실행 시스템을 구현했습니다.
• 도메인 지식의 정형화: 물리 분석의 휴리스틱(경험적) 논리를 HepScript와 같은 구조적 형태로 변환하여 AI가 학습하고 실행할 수 있는 기반을 마련했습니다.

4. 실험 결과 (Results)

Dr.Sai의 성능을 검증하기 위해 $J/\psi$ 붕괴 채널 10종에 대한 분기비(Branching Fraction) 재측정을 수행했습니다.

• 정확도: Dr.Sai가 도출한 결과는 몬테카를로(MC) 시뮬레이션 및 기존의 물리적 벤치마크 값과 매우 잘 일치했습니다. (그림 3의 상대적 차이 및 Pull 분포 참조)
• 모델 성능 비교:
  • Qwen3-max, DeepSeek-v3.2, GLM-4.7 모델이 도구 호출(Tool-calling) 및 구조화된 데이터 생성 능력에서 가장 뛰어난 성능을 보였습니다.
  • GPT-4o는 도구 호출은 잘 수행하지만, HEP 특유의 복잡한 데이터 스키마(JSON 등)를 생성하는 데 한계를 보였습니다.
  • DeepSeek-R1은 추론 능력은 높으나 도구 호출 기능 자체의 한계로 인해 반복적인 수정(Reflection)의 효과가 낮았습니다.
• 효율성: 성공적인 모델들은 적절한 토큰 소비량을 유지하며 안정적으로 작업을 완수했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 과학적 발견의 가속화: Dr.Sai는 반복적이고 엔지니어링 중심적인 작업을 자동화함으로써 물리학자가 더 고차원적인 과학적 질문에 집중할 수 있는 환경을 제공합니다.
• AI4S(AI for Science)의 이정표: 본 연구는 AI 에이전트가 단순히 정보를 요약하는 수준을 넘어, 복잡한 전문 소프트웨어와 물리 법칙을 준수하며 실제 연구를 수행할 수 있음을 입증했습니다.
• 향후 과제: 향후 연구는 모델이 전문적인 도구 호출 및 코드 생성에서 보여주는 '마지막 1마일(Last Mile)'의 정밀도를 높이고, 전문가의 암묵적 경험(Heuristics)을 더욱 깊게 임베딩하는 데 집중될 것입니다.