AgentRivet: an automated system for producing Rivet routines from journal publications

본 논문은 거대 언어 모델을 활용하여 학술 논문으로부터 물리 분석 세부 사항을 추출하고 Rivet 루틴을 생성함으로써, 입자 물리학 분야의 모델 독립적 측정에 대한 커버리지 공백 문제를 해결하는 자동화된 워크플로인 AgentRivet을 제시한다.

핵심

입자 물리학의 세계를 거대하고 판돈이 큰 요리 경연 대회라고 상상해 보세요. 거대한 기계(거대 강입자 충돌기 같은)를 다루는 과학자들은 복잡한 "요리"(입자의 충돌)를 만들어내고, 과학 논문에 상세한 레시피를 작성합니다. 또한 다른 요리사들이 그 요리를 재현해 볼 수 있도록 재료 목록(데이터)도 제공합니다.

하지만 문제가 하나 있습니다. 이 요리들을 진정으로 맛보고 비교하기 위해서, 과학자들에게는 Rivet라고 불리는 특수한 표준화된 주방 도구가 필요합니다. Rivet를 아주 정밀한 고성능 계량컵이라고 생각하면 됩니다. 이 계량컵은 모든 사람이 정확히 같은 방식으로 수프를 측정하도록 보장합니다. 이 도구가 없다면, 당신의 수프를 다른 사람의 수프와 공정하게 비교할 수 없습니다.

문제는, 출판된 레시피 중 이 특별한 계량컵을 함께 제공하는 비율이 약 **40%**에 불과하다는 점입니다. 나머지 레시피들은 그저 텍스트로 된 설명일 뿐이며, 이는 도구에 필요한 정밀한 코드로 변환하기가 매우 어렵습니다.

AgentRivet의 등장: AI 수셰프(부주방장)

이 논문의 저자들은 AgentRivet라는 새로운 시스템을 구축했습니다. AgentRivet를 그 복잡한 텍스트 형태의 레시피를 읽고 누락된 Rivet 계량컵(컴퓨터 코드)을 자동으로 만들어내는 AI 로봇 팀이라고 생각하세요.

이들의 "주방 팀"은 다음과 같은 간단한 워크플로를 통해 작동합니다:

1. 분석가 (독자): 이 AI 로봇은 과학 논문을 읽으며 매우 세심한 수셰프 역할을 수행합니다. 단순히 읽는 것에 그치지 않고, "레몬 2개를 사용하라", "양파를 이런 방식으로 다지라", "10분 동안 요리하라"와 같은 정확한 지침을 추출합니다. 즉, 엉망인 텍스트를 깔끔하고 구조화된 쇼핑 리스트로 바꿉니다.
2. 코더 (제조자): 이 로봇은 쇼핑 리스트를 바탕으로 실제 Rivet 도구(C++라는 특정 컴퓨터 언어로 작성됨)를 제작하려고 시도합니다. 이는 마치 로봇 팔이 복잡한 기계 조립 지침에 따라 기계를 조립하는 것과 같습니다.
3. 검토자 (검사관): 도구가 완성되기 전, 두 명의 검사관이 작업을 확인합니다.
   • 코드 검토자는 잘못된 나사를 사용하거나 부품이 부러진 것과 같은 기술적 오류(구문 오류)를 확인합니다.
   • 물리학 검토자는 지침이 레시피와 실제로 일치하는지 확인합니다. 로봇이 양파를 올바르게 측정했나요? 요리 시간을 제대로 지켰나요?

"맛 테스트" (결과)

연구팀은 이 AI 팀을 ATLAS와 CMS 실험(두 개의 주요 입자 물리학 연구소)에서 나온 최근의 복잡한 레시피 두 가지로 테스트했습니다. 그들은 AI에게 처음부터 Rivet 도구를 구축하도록 요청했습니다.

• 좋은 소식: AI 팀은 예상외로 업무를 잘 수행했습니다. 기술적인 결함이 거의 없는 작동하는 도구들을 만들어냈습니다. 이 도구들을 사용하여 시뮬레이션된 입자 충돌을 측정했을 때, 결과는 인간 과학자들이 기대했던 것과 매우 유사하게 나타났습니다.
• 나쁜 소식 ("환각 현상"): 때때로 AI는 모호한 레시피 부분 때문에 혼란을 겪었습니다.
  • 만약 논문에 "소스에 특별한 처리를 하시오"라고 적혀 있지만 그 방법이 정확히 설명되지 않았다면, AI는 추측을 했습니다. 어떤 경우에는 맞게 추측했고, 어떤 경우에는 틀렸습니다.
  • 한 AI 모델(Gemini)은 "중성미자"(보이지 않는 입자의 일종)에 대한 특정 지침을 따르는 것을 가끔 잊어버렸고, 다른 모델(Claude)은 루프에 빠지거나 단순히 코드가 아닌 자신의 "생각"을 적어 내려가기도 했습니다.
  • AI는 레시피의 가장 복잡하고 추상적인 부분, 예를 들어 사건의 "형태"를 측정하거나 명확하게 정의되지 않은 복잡한 수학 공식을 사용하는 부분에서 가장 큰 어려움을 겪었습니다.

결론

논문은 AgentRivet가 유망한 새로운 도구라고 결론짓습니다. 이 시스템은 누락된 레시피의 약 40%를 작동하는 코드로 성공적으로 변환할 수 있으며, 이는 물리학계에 큰 도움이 됩니다.

하지만 아직 완벽하지는 않습니다. 특히 원본 레시피가 모호할 때는 여전히 인간이 옆에서 지켜봐야 합니다. 저자들은 향-후 더 많은 사례로 AI를 훈련시키고, 인간이 오류를 발견하기 전에 자동으로 체크할 수 있는 기능을 추가하여 AI를 더 잘 가르칠 것이라고 제안합니다.

요약하자면: AgentRivet는 과학 논문을 읽고 과학자들이 데이터를 비교하는 데 필요한 누락된 소프트웨어 도구를 구축하는 자동화된 팀입니다. 이 시스템은 잘 작동하지만, 지침이 불분류할 경우 여전히 실수를 저지르기 때문에 작업을 재확인할 인간 전문가가 여전히 필요합니다.

기술 요약

기술 요약: AgentRivet: 학술 출판물로부터 Rivet 루틴을 생성하기 위한 자동화 시스템

문제 정의
입자 물리학 충돌 실험은 분석 정의를 보존하고 이론적 예측과 실험 데이터 간의 모델 독립적인 비교를 가능하게 하는 C++ 툴킷인 Rivet(Robust Independent Validation of Event Generators)에 의존한다. 이러한 보존 전략의 명확한 이점에도 불구하고, 분석 커버리지는 심각하게 불완전하다. 현재 측정값 중 Rivet 루틴이 문서화되어 공개적으로 사용 가능한 비율은 39%에 불과하며, ATLAS의 경우 49%, ALICE의 경우 16%로 커버리지가 다양하게 나타난다. 이러한 루틴의 생성은 흔히 노동 집약적인 작업으로 간주되며, 커뮤니티 내에서 충분히 인정받거나 보상받지 못하고 있어, 충돌 데이터 보존의 병목 현상을 야기하고 있다.

방법론: AgentRivet 워크플로우
이 격차를 해소하기 위해 저자들은 대규모 언어 모델(LLM)에 기반한 자율적 다단계 워크플로우인 AgentRivet을 설계하고 구현하였다. 이 시스템은 학술 출판물로부터 물리 정보를 추출하고 그에 상응하는 Rivet 루틴을 생성하도록 전문화된 AI 에이전트들을 조율하는 모듈형, 프로바이더 불가지론적(provider-agnostic) 파이썬 프레임워크로 구축되었다.

워크플로우는 다음과 같은 핵심 구성 요소로 이루어진다:

1. 모듈형 에이전트 아키텍처: 시스템은 고수준의 오케스트레이션과 특정 LLM 프로바이더(OpenAI, Anthropic, Google)를 분리하여, 모델 간의 동적 전환을 허용한다.
2. 전문화된 에이전트:
   • 분석가(Analyst): 출판물로부터 피듀셜 위상 공간(fiducial phase-space) 정의, 객체 구성(예: 드레스드 레프톤, 제트), 이벤트 선택 기준, 히스토그램 사양을 포함한 구조화된 물리 정보를 추출한다. 구조화된 출력 스키마를 강제하기 위해 Pydantic 모델을 활용한다.
   • 코더(Coder): 분석가가 제공한 구조화된 요약을 바탕으로 Rivet 호환 C++ 코드를 생성한다. 이는 Rivet4 구문을 사용하도록 제한되며 특정 수정 정책을 준수한다.
   • 코드 검토자(Code Reviewer): 생성된 코드를 구문 오류, 폐기된 Rivet3 사용, 잠재적인 컴파일 타임 이슈에 대해 평가한다.
   • 물리 검토자(Physics Reviewer): 객체 정의, 컷(cut), 관측량의 불일치를 확인하여 생성된 코드가 분석가의 추출된 사양과 물리적 충실도를 유지하는지 검증한다.
3. 반복적 검토 루프: 워크플로우의 핵심 기능은 코더가 두 검토자의 피드백을 바탕으로 코드를 개선하는 반복 루프이다. 이 루프는 승인이 부여되거나, 주요 문제가 남지 않거나, 설정된 반복 횟수 제한에 도달할 때까지 계속된다.
4. 공유 메모리 및 아티팩트: 추출된 메타데이터, 코드 초안, 검토 의견을 포함한 모든 중간 단계는 공유 상태에 저장된다. 이를 통해 프로세스의 감사 가능성과 재현성을 보장하며, 비용이 많이 드는 LLM 유도 산출물의 캐싱을 가능하게 한다.

벤치마킹 및 실험 설정
AgentRivet의 성능은 기존 Rivet 루틴이 없는 최근의 공개된 두 가지 측정값을 사용하여 평가되었다:

1. ATLAS: 복잡한 각도 관측량, 부스트 비대칭성, 신경망 기반 관측량을 특징으로 하는 포괄적 $W\gamma \to \ell\nu\gamma$ 생성.
2. CMS: 제트 내부의 전하 입자를 포함하는 이벤트 형상 관측량으로, 제트 질량, 스러스트(thrust), 브로드닝(broadening)의 비자명한 정의를 포함함.

시스템은 세 가지 상용 LLM인 Gpt-5.5 (OpenAI), Gemini-3.5-Flash (Google), Claude-Opus-4.6 (Anthropic)를 사용하여 테스트되었다. 일관성을 평가하기 위해 각 설정에 대해 세 번의 독립적인 실행이 수행되었다. 생성된 루틴은 Rivet-4.1.2로 컴파일되었으며, 물리 출력을 검증하기 위해 몬테카를로 이벤트 샘플(MadGraph5_aMC@NLO 및 Pythia8)에 적용되었다.

주요 결과

• 코드 품질: AgentRivet은 구문 오류가 거의 없는 유능한 Rivet 루틴을 생성했다.
  • Gpt-5.5와 Claude-Opus-4.6은 일반적으로 성공적으로 컴파일되는 루틴을 생성했으나, Claude-Opus-4.6은 차단 요소(blocker)가 발견되지 않았음에도 불구하고 루틴을 공식적으로 승인하는 경우가 드물었다.
  • Gemini-3.5-Flash는 폐기된 Rivet3 구문을 제거하기 위해 2~3회의 반복이 필요했으며, 때때로 환각(hallucination)된 구문을 도입했다.
  • 모든 루틴은 최소한의 인간 개입(필요한 오류만 수정)만으로 컴파일될 수 있었다.
• 물리적 충실도:
  • 객체 재구성: 대부분의 모델은 표준 객체(전자, 뮤온, 광자, 제트)를 올바르게 재구성했다. 그러나 원문 논문의 모호한 표현으로 인해 "드레스드(dressed)" 레프톤의 잘못된 제외나 프롬프트 뉴트리노의 제트 탐색 포함과 같은 미묘한 문제가 발생했다.
  • 복잡한 관측량: 시스템은 가장 복잡한 정의를 다루는 데 어려움을 겪었다. ATLAS 분석의 경우, Gemini-3.5-Flash는 분석가의 불완전한 정보 추출로 인해 각도 관측량을 구성하는 데 실패했다. Claude-Opus-4.6은 가끔 잘못된 계통에 제약을 적용했다 (예: $\ell\nu$ 대신 $\ell\nu\gamma$ 계통에 제약 적용).
  • 신경망 관측량: 예상대로, 어떤 모델도 밑바탕이 되는 모델 파일 없이는 신경망 기반 관측량을 구축할 수 없었으며, 이는 "블랙박스" 정의를 처리하는 데 있어 한계를 보여준다.
  • 히스토그램 빈닝(Binning): HepData 기록을 사용할 수 없을 때, 모델은 플롯으로부터 빈닝을 추론해야 했으며, 이로 인해 수동 수정이 필요한 미세한 불일치가 발생했다.
• 비용 및 신뢰성: 루틴 하나를 생성하는 비용은 $1.20에서$2.20 사이였다. 프레임워크는 재시도 로직을 통해 API 실패에 대한 견고함을 입증했으나, 프로바이더와 시간대에 따라 액세스 안정성이 크게 달랐다.

의의 및 주장
본 논문은 AgentRivet가 현대의 LLM이 과학 문헌으로부터 상세한 분석 정의를 추출하고 이를 실행 가능한 과학 소프트웨어로 변환할 수 있는 능력을 갖추었음을 입증한다고 주장한다. 이 시스템은 출판물과 구현 사이의 간극을 성공적으로 메우며, 불완전한 Rivet 루틴 커버리지에 대한 잠재적인 해결책을 제시한다.

저자들은 반복적 검토 프로세스가 코드 품질과 원래 분석과의 일관성을 개선하는 데 필수적임을 강조한다. 또한 시스템이 아직 완벽하지는 않지만, 대부분의 물리-구현 문제는 근본적인 워크플로우의 결함보다는 원래 출판물의 미묘하고 모호한 정의에서 기인한다는 점을 언급한다. 따라서 본 논문은 생성된 아티팩트가 기술된 품질 관리 루프를 거친다는 전제하에, AgentRivet가 분석 보존을 증가시키기 위한 실행 가능한 자동화 경로를 제공한다고 주장한다. 이 연구는 엄격하고 도메인 특화된 과학적 맥락에서 AI 에이전트의 성능을 기록함으로써 성장하는 AI 에이전트 관련 문헌에 기여한다.