\textsc{RooAgent}: An LLM Agent for \textsc{Root}-Based High Energy Physics Analysis

본 논문은 다양한 신호-배경 워크플로우와 ATLAS 오픈 데이터 적용을 통해 입증된 바와 같이, 여러 LLM 백엔드에서 \textsc{PyRoot} 도구를 사용하여 대규모 언어 모델이 복잡한 고에너지 물리 데이터 분석 작업을 수행할 수 있도록 지원하는 자연어 인터페이스인 \textsc{RooAgent}를 소개합니다.

핵심

거대한 과학 데이터의 도서관을 상상해 보세요. 입자 물리학 세계에서는 이 도서관을 Root라고 부르며, 수십억 개의 입자 충돌에 대한 '영수증'들을 담고 있습니다. 특정 정보, 예를 들어 특정 입자 유형이나 데이터 내의 패턴을 찾으려면 보통 매우 어렵고 기술적인 언어(프로그래밍 코드)를 구사하는 사서가 되어야 합니다. 정확한 코드를 모르면 책을 빌릴 수 없습니다.

RooAgent는 당신의 언어(일반 영어)를 구사하고 도서관의 비밀 코드를 완벽히 아는 초지능적인 다국어 사서 보조를 고용하는 것과 같습니다.

다음은 이를 간단한 개념으로 나누어 설명한 작동 원리입니다:

1. 문제: "외국어" 장벽

고에너지 물리학자들은 데이터 분석을 위해 PyRoot라는 도구를 사용합니다. 이는 강력하지만, 당신이 모르는 언어로 쓰인 메뉴판에서 복잡한 식사를 주문하려는 것과 같습니다. "전자 운동량의 히스토그램"이나 "제트가 무거운 사건들의 개수"를 요청하려면 정확한 구문을 알아야 합니다. 오타를 내거나 잘못된 단어를 사용하면 컴퓨터는 단순히 "오류"라고만 말합니다.

2. 해결책: "번역기" 에이전트

RooAgent는 번역기 역할을 합니다. 코드를 배울 필요가 없습니다. 일반 영어로 에이전트에게 원하는 것을 말하면 됩니다. 예를 들어:

• "바텀 쿼크의 질량 그래프를 보여줘."
• "50 GeV 보다 빠르게 움직이는 입자만 고려할 때 발생하는 사건이 몇 개인지 세어줘."
• "신호와 배경 잡음을 분리하는 최적의 컷 (cut) 을 찾아줘."

에이전트 (대규모 언어 모델, LLM 기반) 는 요청을 듣고, 이를 올바른 기술 명령어로 번역한 후 분석을 실행하여 결과를 반환합니다. 결과는 보통 그래프, 숫자 표, 또는 요약문입니다.

3. 작동 방식: "공구 상자"

에이전트를 특정 공구 상자를 가진 건설 노동자로 생각하세요. 논문은 이 노동자를 고용하는 두 가지 방법을 설명합니다:

• LangGraph 모드: 노동자는 LangGraph라는 "반장"을 통해 AI 모델들 (GPT-4.1 또는 DeepSeek-V3 등) 팀을 관리합니다. 반장은 큰 요청을 작은 단계로 나누고, AI 가 올바른 도구를 선택하도록 요청한 후 실행합니다.
• MCP 모드: 노동자는 표준 프로토콜 (Model Context Protocol) 을 사용하여 다른 AI 상사 (Anthropic 의 Claude) 와 직접 대화합니다.

두 경우 모두 공구 상자의 "도구"들은 무거운 작업을 대신 수행하는 사전 작성된 컴퓨터 함수들입니다:

• 검사 (Inspecting): 데이터 파일 내부에 무엇이 있는지 확인합니다.
• 계산 (Counting): 특정 규칙을 통과하는 사건 수를 집계합니다.
• 플롯팅 (Plotting): 그래프와 차트를 그립니다.
• 피팅 (Fitting): 데이터 포인트를 통해 부드러운 곡선을 그려 모양을 파악합니다.
• 계산 (Calculating): 발견이 통계적으로 유의미한지 수학적으로 계산합니다.

4. "테스트 드라이브"

저자들은 이 보조가 업무를 처리할 수 있는지 확인하기 위해 여러 시나리오로 테스트했습니다:

• "ZH" 시뮬레이션: 특정 입자 충돌 (Z 보손과 힉스 보손) 을 시뮬레이션했습니다. 에이전트는 성공적으로 파일을 찾고, 그래프를 그리며, 사건을 세었고, 심지어 신호와 배경 잡음을 분리하는 "최적 지점 (최적의 컷)"까지 찾았습니다.
• "멀티태스크" 도전: 에이전트에게 한 번에 여섯 가지 다른 작업을 하라는 길고 복잡한 지시를 주었습니다 (곡선 피팅, 비교 차트 작성, 컷 - 플로우 실행, 컷 최적화, 질량 창 스캔, 결과 순위 매기기). 에이전트는 인간의 도움 없이 여섯 단계를 연속으로 수행했습니다.
• "장난감" 통계 테스트: 숨겨진 신호가 포함된 가짜 데이터 세트를 만들었습니다. 에이전트는 다양한 질량 값을 스캔하여 숨겨진 신호를 올바른 위치 (250 GeV) 에서 성공적으로 발견하고, 그것이 단순히 우연이 아닐 확률을 계산했습니다.
• "실제 세계" 테스트: CERN(대형 강입자 충돌기) 의 ATLAS 실험에서 나온 실제 공개 데이터를 사용했습니다. 에이전트는 4 개의 렙톤으로 붕괴하는 힉스 보손에 대한 데이터를 성공적으로 분석하여, 인간 전문가가 만들었을 것과 일치하는 스택된 그래프를 생성했습니다.

5. 결과

논문은 RooAgent가 작동한다고 주장합니다. 이는 일반 영어 질문을 복잡한 물리 답변으로 성공적으로 변환했습니다.

• 20 개 중 19 개의 단일 작업 테스트를 정확하게 처리했습니다.
• 6 단계 멀티태스크 워크플로우를 중단 없이 완료했습니다.
• OpenAI 의 GPT-4.1 이나 Anthropic 의 Sonnet 4.6 을 사용하든 동일한 수치 결과를 산출했습니다.

주의점:
에이전트는 완벽하지 않습니다. 한 테스트에서 사용자가 파일 이름에 "Events"(대문자 E) 대신 "events"(소문자 e) 를 입력하자 에이전트는 추측하기보다 명확화를 요청하며 멈췄습니다. 또한 때로는 다른 AI 모델이 그래프의 범위를 약간 다르게 선택할 수 있습니다 (예: 0–100 GeV 대 0–200 GeV), 하지만 핵심 수학은 동일하게 유지됩니다.

요약

RooAgent는 다리입니다. 이는 물리학자들 (및 잠재적으로 학생이나 새로운 연구자들) 이 인간 언어로 데이터와 대화하게 해주며, 컴퓨터는 실제 분석을 수행하는 데 필요한 복잡하고 기술적인 언어를 처리합니다. 이는 물리학자의 물리학적 이해를 대체하지는 않지만, 작업을 수행하기 위해 복잡한 코드 구문을 암기해야 한다는 장벽을 제거합니다.

기술 요약

"RooAgent: ROOT 기반 고에너지 물리 분석을 위한 LLM 에이전트"의 기술적 요약

문제 제기
고에너지 물리 (HEP) 데이터 분석은 이벤트 선택 및 히스토그램 작성부터 통계적 추론에 이르기까지 다양한 작업에 ROOT 프레임워크와 그 Python 인터페이스인 PyROOT 에 크게 의존합니다. 그러나 이러한 도구를 활용하려면 특정 API 관례, 데이터 구조 (예: TTree 브랜치), 입력 샘플의 내부 구성에 대한 상당한 친숙함이 필요합니다. 이러한 진입 장벽은 새로운 사용자를 저해하고 일상적인 작업을 비효율적으로 만들 수 있습니다. 대형 언어 모델 (LLM) 이 '도구 호출'을 통해 다단계 워크플로우를 자동화하는 데 유망한 성과를 보여주고 있지만, ROOT 기반 분석에 필요한 특정 함수 호출을 자연어 목표와 직접 매핑하는 전문화된 인터페이스의 필요성이 있습니다.

방법론
저자들은 ROOT 기반 분석을 위한 자연어 인터페이스인 RooAgent라는 Python 패키지를 제시합니다. 이 시스템은 PyROOT 함수를 LLM 에이전트가 실행 가능한 도구로 감쌉니다. 아키텍처는 동일한 기본 PyROOT 구현을 활용하는 두 가지 구별된 운영 모드를 지원합니다:

1. LangGraph 에이전트 모드: GitHub Copilot 을 통한 OpenAI 의 GPT-4.1 과 Ollama 를 통한 DeepSeek-V3 와 호환됩니다. 이 모드에서 LLM 은 사용자 프롬프트를 추론하고, 도구를 선택하며, 인수를 구성하고, 사용자의 목표가 달성될 때까지 PyROOT 함수를 반복적으로 호출합니다.
2. 모델 컨텍스트 프로토콜 (MCP) 모드: Anthropic Claude CLI(특히 Sonnet 4.6 으로 테스트됨) 와의 통합을 위해 설계되었습니다. 이 모드는 MCP 서버로 작동하며, Claude CLI 가 LLM 이자 오케스트레이션 레이어 역할을 하여 LangChain 또는 LangGraph 종속성이 필요하지 않습니다.

도구 세트는 모듈식이며 다음을 포함한 일반적인 ROOT 분석 작업의 전체 스펙트럼을 다룹니다:

• 검사: 파일 내용, TTree 구조, 브랜치 데이터 유형 나열.
• 계수 및 선택: 부울 컷 적용, 커프로우 생성, 이벤트 수율 계산.
• 히스토그램 및 통계: TTree 브랜치에서 히스토그램 채우기, 적분, 평균, RMS 계산, 그리고 유의성 ($S/\sqrt{S+B}$) 계산.
• 시각화: 1 차원 및 2 차원 플롯 생성, 분포 오버레이, 로그 스케일 적용.
• 피팅: 분포에 대한 가우스, 지수, 또는 다항식 피팅 수행.
• 최적화: 유의성을 극대화하기 위해 컷 임계값 스캔.
• 내보내기: TTree 브랜치를 CSV 파일로 변환.

이 시스템은 반복적 추론을 위해 설계되어 에이전트가 결과를 정교화하거나 오류를 수정하기 위해 여러 번 도구를 호출할 수 있습니다 (예: 트리 이름 명확화 또는 플롯 범위 조정).

주요 기여

• 통합 인터페이스: RooAgent 는 기본 분석 코드 변경 없이 다양한 LLM 백엔드 (OpenAI, Ollama, Anthropic) 에서 자연어를 통해 접근 가능한 일관된 분석 도구 세트를 제공합니다.
• 도구 레지스트리: 이 패키지는 유의성 계산, 커프로우 생성, 매개변수 피팅을 포함하여 HEP 워크플로우에 맞게 특별히 조정된 PyROOT 래핑 함수의 포괄적인 라이브러리를 노출합니다.
• 이중 모드 아키텍처: LangGraph 기반 에이전트와 MCP 서버를 모두 지원함으로써, 이 패키지는 서로 다른 LLM 생태계와 배포 방법 (로컬 대 클라우드) 을 선호하는 사용자에게 유연성을 제공합니다.

결과
저자들은 $pp \to ZH$ ($Z \to \ell^+\ell^-, H \to b\bar{b}$) 및 배경 과정에 대한 몬테카를로 시뮬레이션과 $H \to ZZ^* \to 4\ell$ 채널에 대한 ATLAS 오픈 데이터를 사용하여 RooAgent 를 평가했습니다.

• 벤치마크 성능: 20 개의 단일 작업 테스트 시리즈에서 에이전트는 19 개 작업에 대한 결과를 성공적으로 생성했습니다. 작업에는 파일 검사, 히스토그램 플롯팅, 이벤트 카운팅, 변수 정의, 가우스 피팅, 그리고 유의성 스캔이 포함되었습니다. 하나의 실패는 트리 이름 조회 시 대소문자 민감도 문제로 인해 발생했는데, 에이전트는 잘못된 결과를 생성하는 대신 이를 올바르게 식별하고 명확화를 위해 플래그를 지정했습니다.
• 다중 작업 워크플로우: 피팅, 운동학적 비교, 커프로우 생성, 컷 최적화, 질량 창 스캔, 컷 순위 매기기의 6 가지 순차적 작업을 요구하는 복잡한 프롬프트가 약 225 초 동안 인간 개입 없이 성공적으로 실행되었습니다.
• 통계적 분석: 질량 가설의 그리드가 포함된 토이 통계 분석에서 에이전트는 히스토그램을 정확하게 일치시키고, 관측 및 기대 유의성, p-값, $CL_s$ 값을 계산하며, 주입된 신호 질량 (250 GeV) 을 가장 강력한 후보로 식별했습니다.
• 오픈 데이터 적용: ATLAS 오픈 데이터에 적용된 에이전트는 여러 ROOT 파일을 성공적으로 처리하고, 순차적 렙톤 선택 컷을 적용하며, 커프로우를 생성하고, 데이터와 오버레이된 신호 및 배경의 스택된 플롯을 생성했습니다. 결과는 GPT-4.1 과 Sonnet 4.6 에서 일관되었습니다.
• 모델 변이: 논문은 핵심 로직이 일관되게 유지되지만, 명시적으로 제한되지 않을 때 GPT-4.1 과 DeepSeek-V3 와 같은 서로 다른 LLM 들이 플롯 범위나 정규화에 대해 서로 다른 선택을 할 수 있음을 지적하며 프롬프트의 구체성의 중요성을 강조합니다.

의의
이 논문은 RooAgent 가 자연어 프롬프트와 ROOT 기반 HEP 분석의 기술적 요구 사항 사이의 간극을 성공적으로 메웠다고 주장합니다. 도구와 인수 선택을 자동화함으로써 이 시스템은 일상적인 작업을 간소화하고 ROOT API 의 미묘한 차이에 익숙하지 않은 사용자의 진입 장벽을 낮춥니다. 저자들은 이 작업을 보다 접근 가능한 HEP 데이터 분석을 향한 한 걸음으로 위치시키며, LLM 에이전트가 파일 검사, 통계적 추론, 시각화를 포함하는 복잡하고 다단계의 워크플로우를 효과적으로 오케스트레이션할 수 있음을 입증했습니다. 이 패키지는 모듈식이며, 호출 가능한 도구로서 머신러닝 알고리즘 통합이나 최적 이벤트 선택 변수 식별과 같은 향후 확장을 허용합니다.