기술 요약: HEPTAPOD – 자율적 에이전시를 향한 고에너지 물리학 워크플로의 오케스트레이션

문제 정의

고에너지 물리학(HEP) 연구는 심볼릭 대수, 매트릭스 요소 생성, 파톤 샤워링, 하드로니제이션, 검출기 시뮬레이션 및 수치 분석을 포함하는 복잡하고 다단계적인 계산 파이프라인에 의존한다. FeynRules, MadGraph5_aMC@NLO, Pythia, FastJet과 같은 개별 소프트웨어 구성 요소들은 성숙하고 견고하지만, 이러한 도구들을 조정하는 과정은 여전히 주로 수동으로 이루어진다. 연구자들은 러ン 카드(run cards)를 수동으로 작성하고, 중간 파일 경로를 관리하며, 도구 간의 파라미터 일관성을 보장하고, 여러 단계에서 발생하는 실패를 디버깅해야 한다. 이러한 수동 오케스트레이션은 시간이 많이 소요되고 오류가 발생하기 쉬우며, 파라미터 스캔이나 대규모 모델 공간 전반에 걸쳐 확장하기 어렵다.

대규모 언어 모델(LLM)이 계획 및 실행 가능한 다단계 워크플로를 수행할 수 있는 범용 계산 인터페이스로 진화했음에도 불구하고, HEP 분야에서의 적용은 제한적이었다. 초기 응용 사례들은 코드 생성이나 문서화에 집중되었다. 기존의 HEP 에이전트 프레임워크(예: ArgoLOOM, Agents of Discovery, LLM4HEP)가 등장하기 시작했으나, 외부 과학 코드를 통합할 때 재현성, 투명성 및 인간의 감독을 보장하기 위한 구조화된 메커니는 부족하다. 핵심 과제는 LLM이 구조화되지 않거나 검증되지 않은 코드를 생성하거나 긴 실행 체인 전반에서 상태를 놓치지 않으면서, 신뢰할 수 있게 이 워크플로를 조정할 수 있도록 하는 것이다.

방법론

저자들은 HEP 이론 파이프라인에 LLM을 통합하기 위해 설계된 오케스트레이션 프레임워크인 HEPTAPOD(HEP Toolkit for Agentic Planning, Orchestration, and Deployment)를 소개한다. 이 프레임워크는 Orchestral AI 엔진—범용 소프트웨어 엔지니어링이 아닌 과학적 도구에 특화되도록 구성된 프로바이더 불가지론적(provider-agnostic) 에이전트 오케스트레이션 하네스—을 기반으로 구축되었다.

본 방법론은 네 가지 핵심 아키텍처 기둥에 의존한다:

1. 스키마 검증 도구 (Schema-Validated Tools):
   모든 작업에 대해 자유 형식의 코드 생성을 사용하는 대신, HEPTAPOD는 과학적 역량을 구조화된 JSON 스키마를 가진 Python 클래스로 노출한다. 이 도구들은 엄격한 입력 및 출력 타입(사용자 제공 인자를 위한 RuntimeField와 주입된 환경 데이터를 위한 StateField 사용)을 정의한다.

   • 검증: 인자는 실행 전 스키마에 따라 검증된다.
   • 오류 처리: 도구는 실패 시 원시 로그 대신 구조화된 오류 메시지를 반환하여, 에이전트가 오류를 해석하고 결정론적으로 복구할 수 있도록 한다.
   • Docstrings: 각 도구에는 과학적 목적과 의미론을 설명하는 상세한 자연어 docstring이 포함되어 있으며, 이는 에이전트의 의사결정을 가이드하기 위해 LLM의 컨텍스트에 주입된다.

2. LLM 호환 이벤트 데이터 구조 (evtjsonl):
   전통적인 HEP 형식(ROOT, HepMC, LHE)은 LLM에게 불투명하다. HEPTAPOD는 중간 이벤트 데이터를 위한 텍스트 기반의 라인 구분 JSON 형식(evtjsonl)을 도입한다. 이 형식은 입자 4-벡터, ID 및 상태 코드를 자기 완결적인 레코드로 인코딩하여 에이전트가 대화 컨텍스트 내에서 직접 검사할 수 있게 한다. 이를 통해 에이전트는 외부 역직렬화 도구 없이도 의미론적 검증(예: 비정상적인 다중도 확인)을 수행할 수 있다.

3. 러ン 카드 기반 오케스트레이션 (Run-Card-Driven Orchestration):
   이 프레임워크는 인간이 읽을 수 있는 러ン 카드(예: .mg5, .cmnd)를 에이전트와 외부 코드 사이의 정형 인터페이스로 사용한다.

   • 플레이스홀더: 시스템은 템플릿 기반의 러-카드 실행 시 플레이스홀더(예: [[UFO_PATH]])가 실제 파일 경로로 자동 치환되는 기능을 지원한다.
   • 감사 가능성: 모든 구성 결정은 영구적이고 버전 관리가 가능한 아티팩트로 캡처되어, 실행 전 인간의 승인 체크포인트를 허용한다.

4. 상태 유지 컨텍스트 전파 (Stateful Context Propagation):
   오케스트레이션 레이어는 구조화된 대화 상태를 유지한다. 도구가 파라미터 스캔(예: 여러 질량 지점)을 감지하면, 각 실행 ID를 특정 파라미터 및 파일 경로와 연관 짓는 구조화된 메타데이터를 반환한다. 이 메타데이터는 에이전트가 디렉토리 이름을 파싱하거나 파일명을 기억할 필요 없이 후속 단계(예: MadGraph에서 Pythia로)로 전파된다.

주요 기여

본 논문은 다음과 같은 구체적인 기여를 제시한다:

• HEPTAPOD 프레임워크: LLM의 추론과 도메인 특화 HEP 소프트웨어를 연결하는 완전한 오케스트레이션 인프라를 제공한다. 이는 이론적 과업을 모듈화되고 스키마가 검증된 도구로 추상화한다.
• 대표 사례 연구: 초월 표준 모델(BSM) 스칼라 레프토쿼크($S_1$) 분석에 대한 전체 엔드 투 엔드 시연을 보여준다. 워크플로는 다음을 포함한다:
  1. 모델 생성 (FeynRules $\to$ UFO).
  2. 파라미터 스캔을 포함한 파톤 수준 이벤트 생성 (MadGraph).
  3. 샤워링 및 하드로니제이션 (Pythia).
  4. 제트 클러스터링 (FastJet/SlowJet).
  5. 객체 선택 및 공명 재구성.
  6. 재구성된 레프토쿼크 질량 분포($m_{LQ}^{min}$)의 시각화.
• 정량적 벤치마킹: "코어 전용(core-only)" 베이스라인(에이전트가 도메인 도구 없이 쉘/Python 기능만 가진 경우)과의 성능 비교를 수행한다.
  • 도구 지원(Tool-Assisted): 에이전트는 10번의 시도 중 7번의 성공($pass@1 = 0.70$)을 거두었으며, 몇 번의 시도 내에 100% 성공률에 도달했다.
  • 코어 전용(Core-Only): 에이전트는 10번의 시도 중 단 한 번도 워크플로를 완료하지 못했다 ($pass@1 = 0$). 실패의 주요 원인은 대규모 스크립트를 생성할 때 발생하는 JSON 직렬화 오류와 물리적 관측량의 잘못된 재구성 때문이었다.
• 오류 복구 메커니션: 프레임워크는 구조화된 오류(예: 특정 스캔 지점에 대한 제트 클러스터링 누락)를 감지하고, 필요한 도구를 다시 호출하여 인간의 개입 없이 워크플로를 재개하는 에이전트의 능력을 입증한다.

결과

벤치마크 결과는 오케스트레이션 레이어의 결정적인 역할을 강조한다:

• 신뢰성: 스키마 검증 도구는 LLM의 직렬화 부담을 줄였다. 도구가 없으면 모델은 전체 스크립트나 러-카드를 유효한 JSON으로 직렬화하는 데 자주 실패하여 치명적인 크래시를 일으켰다.
• 물리적 정확성: 도구 지원을 통해 에이전트는 주입된 질량 지점(1.0, 1.5, 2.0 TeV)에서 공명 피크를 정확하게 재구성했다. 도구가 없을 때는 파이프라인이 실행되더라도 결과 질량 분포가 비어 있거나 0으로 수렴했는데, 이는 물리 로직을 올바르게 구현하지 못했음을 나타낸다.
• 효율성: 도구 지원 에이전트는 코어 전용 변체에 비해 성공을 달성하기 위해 더 적은 토큰과 도구 호출을 필요로 했으며, 코어 전용 모델은 조기에 종료되거나 과도한 재시도를 요구하는 경우가 많았다.

의의 및 주장

저자들은 HEPTAPOD를 인간 연구자를 대체하는 완전 자율 시스템이 아니라, 과학적 추론을 증강하는 인간 참여형(human-in-the-loop) 시스템으로 정의한다.

• 재현성을 위한 토대: 스키마 검증과 러-카드 기반 구성을 강제함으로써, HEPTAPOD는 투명하고 감사 가능하며 재현 가능한 AI 지원 연구의 토대를 마련한다.
• 안전 및 감독: 프레임워크는 LLM이 확립된 계산 워크플로 내에서 작동하도록 보장하며, 결정적인 지점(예: 러-카드 승인)에서 인간의 감독을 유지한다.
• 확장성: 도구 세트의 모듈형 구조 덕분에 단일 BaseTool 서브클래스를 구현함으로써 새로운 능력(예: 새로운 생성기 또는 분석 기법)을 쉽게 추가할 수 있으며, 오케스트레이션 레이어가 이를 자동으로 조정한다.
• 미래 전망: 본 논문은 이 인프라가 이론적 확장과 현상론적 타당성을 위해 여러 에이전트가 협력할 수 있는 자동 배경 모델링, 생성기 튜닝, 반복적 모델 정교화와 같은 미래 응용 분야를 가능하게 한다고 제안한다.

결론적으로 HEPTAPOD는 HEP 워크플로를 수동적이고 오류가 발생하기 쉬운 스크립팅에서 신뢰할 수 있고 적응 가능하며 해석 가능한 에이전트 지원 파이프라인으로 전환하는 데 필요한 인프라를 제공하며, 심볼릭 이론 입력과 측정 가능한 데이터 사이의 간극을 메운다.