기술 요약: 작업 분해를 통한 AI 생성 과학적 분석의 가정 명시화

문제 정의

대규모 언어 모델(LLM)을 과학 계산에 통합하는 것은 자연어 사양으로부터 실행 가능한 분석 코드를 자동 생성할 수 있는 잠재력을 제공한다. 그러나 이러한 능력은 과학적 결과의 이해 가능성 및 재현성과 관련된 상당한 위험을 초도한다. 두 가지 주요 불확실성 원인이 존재한다:

1. 사양의 모호성: 자연어 요청은 종종 계산에 필요한 엄격한 절차적 정의가 부족하여, 핵심적인 측면(예: 객체 선택 기준, 집계 단위, 유도 규칙)이 해석의 여지를 남긴다.
2. 확률적 가변성: LLM은 동일한 프롬프트에 대해 서로 다르거나, 불완전하거나, 의미론적으로 잘못된 코드를 생성할 수 있다.

결과적으로, 생성된 코드가 오류 없이 실행된다 하더라도, 그것이 연구자의 의도된 물리학을 반영한다는 보장은 없다. 코드의 "실행 가능성"이 그 밑바탕이 되는 가정, 객체 정의 또는 계산 경로가 명시적이거나 정확하다는 것을 보장하지는 않는다. 이는 입자 집합, 복합 관측량, 선택 컷(selection cuts)의 정밀한 정의에 결과가 의존하는 고에너지 물리학(HEP)에서 특히 중요하다.

방법론: 다중 에이전트 프레임워크

저자들은 과학적 분석 워크플로우를 구별되고 감사 가능한 단계로 분해하는 다중 에이전트 프레임워크를 제안한다. 단일 프롬프트에 의존하여 코드를 생성하는 대신, 이 시스템은 코드 생성, 실행, 추적 및 비판을 관리하기 위해 특화된 에이전트들을 조율한다. 이 워크플로우는 도메인별 지식이 교체 가능한 패키지에 캡슐화되어 있어 도메인 불가지론적(domain-agnostic)으로 설계되었다.

핵심 워크플로우는 다음 단계들로 구성된다:

1. 도메인 초기화: 도메인 패키지(예: LHC Olympics 데이터용)는 생성 프로필, 헬퍼 레지스트리, 선택 정책 및 비판 컨텍스트를 제공한다. 이는 일반적인 오케스트레이션 로직과 도메인 특화 리소스를 분리한다.
2. 헬퍼 선택: 전담 에이전트가 사용자의 태스크 카드와 사전 정의된 헬퍼 함수(예: 운동학적 재구성, 객체 선택)의 레지스트리를 분석하여 가장 관련성이 높은 유틸리티를 식이어낸다. 이 단계는 후속 코드 생성을 제한하여, 모델이 함수를 발명하거나 도메인 도구를 오용하는 것을 방지한다.
3. 코드 생성: 에이전트는 풍부해진 태스크 카드(원래의 요청 + 선택된 헬퍼)와 도메인 생성 프로필을 사용하여 파이썬 스크립트를 생성한다.
4. 실행 및 반복적 수선: 생성된 코드는 샌드박스에서 실행된다. 오류가 발생하면, Fixer 에이전트가 런타임 진단을 바탕으로 코드를 패치하려고 시도한다. 수선에 실패하면, Regenerator 에이전트가 새로운 구현체를 생성한다.
5. 구현 추적: 실행 가능한 코드를 얻고 나면, Tracer 에이전트가 "구현된 사양"을 재구성한다. 이 에이전트는 각 태스크 카드의 항목에 대응하는 코드 조각을 추출하여, 이를 변수 정의, 의존성 체인 및 소스 라인 참조와 매핑한다. 이를 통해 원본 코드의 가공되지 않은 텍스트와 독립적으로, 코드가 실제로 무엇을 수행하는지에 대한 구조화된 표현을 생성한다.
6. 생성 후 비판: Critique 에이전트는 원래의 태스크 카드와 재구성된 사양을 비교한다. 이 에이전트는 불일치, 누락된 요구사항, 숨겨진 가정 또는 의미론적 위반(예: 재구성된 객체가 아닌 원시 입자로부터 직접 복합 관측량을 계산하는 경우)을 식별한다.
7. 모호성 탐지 (Golden Axe Oracle): 코드 생성 전, Oracle 모듈이 사용자의 자연어 입력에서 위험도가 높은 모호성을 검사한다. 이 모듈은 여러 유효한 구현으로 이어질 수 있는 문구(예: "leading jet" 대 "cuts 이후의 leading jet")를 식별하고, 사용자에게 명확한 질문을 제안하며, "Golden"(권장) 및 "Silver"(대안) 해석을 제공한다.

주요 기여

1. 소형 모델을 위한 작업 분해

중심적인 발견은 생성 작업을 분해함으로써 훨씬 더 작은 LLM이 복잡한 과학적 워크플로우를 수행할 수 있다는 것이다. 이전의 접근 방식(예: CoLLM)은 신뢰할 수 있는 결과를 위해 약 70B 파라미터 모델을 필요로 했으나, 이 프레임워크는 14B 파라미터(예: Qwen2.5-14B, Qwen3-14B) 수준의 모델이 전체 파이프라인을 성공적으로 완료할 수 있게 한다. Helper Selector는 모델에 관련 도메인 유틸리티를 주입하여 인지 부하를 줄임으로써 생성자를 안내하는 데 결정적인 역할을 한다.

2. 의미론적 재구성 및 추적

Tracer 모듈의 도입은 생성된 코드의 "블랙박스" 특성을 해결한다. 코도로부터 구현 사양을 재구성함으로써, 선택된 컬렉션, 이벤트 선택 및 복합 양의 정의를 명시적으로 만든다. 이를 통해 사용자의 의도와 코드의 동작 사이의 단순한 구문 체크가 아닌 의미론적 비교가 가능해진다.

3. 명시적 모호성 해소

Golden Axe Oracle 모듈은 모호성 해결의 부담을 LLM에서 인간 연구자에게로 전환한다. 코드 생성 전에 모호한 문구를 탐지하고 대안적 해석을 제시함으로써, 시스템이 잘못된 가정을 암묵적으로 수행하는 것을 방지한다.

4. 모듈형 도메인 적응성

이 프레임워크는 도메인 자산에 대한 고정된 인터페이스를 갖도록 설계되었다. 현재 구현은 고에너지 물리학(특히 LHC Olympics 형식)에 집중하고 있지만, 핵심 오케스트레이션 로직을 변경하지 않고도 도메인 패키지(생성 프로필, 헬퍼 레지스트리, 비판 컨텍스트)를 교체함으로써 다른 과학 분야로 적응할 수 있는 구조를 갖추고 있다.

결과 및 검증

본 프레임워크는 LHC Olympics 이벤 형식을 사용하여 다섯 가지 대표적인 충돌 물리학 분석($W^+W^-$, $t\bar{t}$, $H \to \gamma\gamma$ 등)을 통해 검증되었다.

• 헬퍼 선택 안정성: Helper Selector는 안정성을 크게 향상시켰다. 70B 모델은 높은 일관성을 보였으나, 14B 모델 또한 레지스트리에 의해 가이드될 때 신뢰할 수 있는 헬퍼 선택을 달성했다. 반면 이전의 단일 에이전트 방식은 이 정도 크기의 모델로는 실패했다.
• 코드 품질 및 의미론적 충실도:
  • 14B 모델이 생성한 코드는 종종 "부분적으로 성공적"이었는데, 핵심 선택 로직은 구현하지만 복잡한 복합 관측량(예: 개별 제트 대 디제트 시스템 사이의 $\Delta\phi$ 계산)에서는 실패하는 모습을 보였다.
  • Critique 단계는 이러한 의미론적 불일치를 성공적으로 식별해냈다. 예를 들어, $b$-제트 베토(veto)를 잘못 적용하거나(선택된 제트가 아닌 원시 제트에 적용), 히스토그램 채우기 순서가 잘못된 경우 등을 찾아냈다.
• 모호성 탐지:
  • 더 큰 모델(72B)이 더 많은 모호성을 탐지했다(30개 중 28개). 14B 모델은 13/30개를 탐지했다.
  • 모호성 탐색 범위를 특정 카테고리(Collection Scope, Multi-part Object, Output Timing)로 제한하는 **Oracle-templated (oraclet)**를 도입한 결과, 작은 모델들의 성능이 크게 향상되었다(예: 7B 모델이 템플릿 접근법을 통해 30개 중 27개의 유용한 모호성을 탐지함).
• 태스크 카드 정교화: 태스크 카드 내에 복합 객체 구축을 명시적으로 정의하는 것이(모델의 암묵적 관례에 의존하는 대신) 생성 안정성과 반복 실행 간의 일관성을 극적으로 향고시킨다는 점을 입증했다.

의의 및 주장

본 논문은 AI가 생성한 과학의 재현성과 투명성을 위해서는 단순히 실행 가능한 코드 이상의 것, 즉 사용된 가정과 계산 경로에 대한 명시적인 설명이 필요하다고 주장한다.

• 패러다임의 전환: 본 연구는 코드 생성을 단일 추론 단계로 취급하는 것에서 벗어나, 여러 검사 지점을 가진 구조화된 프로세스로 이동시킨다.
• 접근성: 14B 모델의 사용을 가능하게 함으로써, 이 프레임워크는 거대 독점 모델의 값비싼 API 접근에 대한 의존도를 낮추고, 로컬 컴퓨팅 자원에서 고급 AI 지원 분석을 수행할 수 있게 한다.
• 인간 참여형(Human-in-the-Loop): 이 프레임워크는 완전한 자율성을 목표로 하지 않는다. 대신, LLM을 후보를 생성하는 도구로 배치하고, Tracer와 Critique 에이전트, 그리고 Oracle이 인간의 검사와 검증을 용이하게 하는 역할을 한다. 중간 산출물(헬퍼 리스트, 재구성된 사양, 비판 보고서)은 연구자가 결과가 어떻게 도출되었는지 감사할 수 있도록 하는 프로비넌스(provenance) 기록 역할을 한다.

결론적으로, 저자들은 이러한 모듈형 다중 에이전트 접근 방식이 암묵적인 가정을 명시적으로 만들고, 과학적 발견에 필요한 엄격함을 유지하면서도 더 작고 접근 가능한 모델을 사용할 수 있게 함으로써 LLM 생성 과학 분석의 신뢰성을 높인다고 주장한다.