HepScript: A Dual-Use DSL for Human-AI Collaborative Data Analysis Workflows in High-Energy Physics

본 논문은 고에너지 물리학을 위한 이중 용도 도메인 특화 언어인 HepScript 를 소개하며, 이는 복잡한 분석 논리를 추상화하는 공식 인터페이스 역할을 하여 인간 전문가가 간결한 코드를 작성할 수 있게 하고 AI 에이전트가 문헌에서 실행 가능한 명세를 신뢰성 있게 생성할 수 있도록 함으로써 수동 작업을 크게 줄이고 이전에는 해결 불가능했던 자동화 과제를 해결합니다.

핵심

다음은 고에너지 물리학 분야에서 인간과 인공지능이 협력하는 데이터 분석 워크플로우를 위한 듀얼 유스 DSL 인 'HepScript'에 대한 논문을, 비유를 사용하여 쉽고 일상적인 언어로 번역한 설명입니다.

큰 그림: '번역기' 문제

고에너지 물리학 (HEP) 을 거대하고 고도의 stakes 가 걸린 요리 대회라고 상상해 보세요. 매년 베이징 스펙트로미터 III(BESIII) 실험에 있는 요리사들 (물리학자들) 은 산더미 같은 재료 (페타바이트 규모의 데이터) 를 만들어냅니다. 우승하기 위해서는 특정 요리를 만들어야 합니다 (데이터 분석). 이를 통해 새로운 맛 (과학적 발견) 을 찾아내야 합니다.

하지만 문제가 하나 있습니다:

1. 레시피가 복잡합니다: '부엌' (컴퓨터 소프트웨어) 이 매우 복잡합니다. 구식 도구와 현대식 gadgets 가 섞여 있습니다. 이 부엌에서 작동하는 레시피를 작성하려면 머리 요리사들만이 가진 깊고 비밀스러운 지식이 필요합니다.
2. AI 조수는 똑똑하지만 무지합니다: 우리는 어떤 요리책도 읽고 레시피를 작성할 수 있는 새로운 AI 조수 (대규모 언어 모델) 를 가지고 있습니다. 하지만 이 특정 부엌에서 요리하라고 요청하면 종종 실패합니다. 비밀 도구를 모르고, 복잡한 기계에 혼란을 느끼며, 사소한 실수 하나만 해도 전체 요리가 타버립니다.

이 논문은 이 문제에 대한 해결책인 HepScript를 소개합니다.

해결책: HepScript ('만능 번역기')

저자들은 HepScript라는 새로운 언어를 만들었습니다. 이를 인간 요리사와 AI 조수 사이에 있는 만능 번역기나 전문 메뉴라고 생각하세요.

AI 에게 복잡한 부엌 언어로 직접 코드를 작성하라고 요청하는 대신 (이는 프랑스어와 독일어를 동시에 유창하게 말하면서 저글링을 하라고 요청하는 것과 같습니다), HepScript 주문을 작성하라고 요청합니다.

작동 방식:

1. 인간을 위해: HepScript 는 간단하고 명확한 지시 목록처럼 보입니다. "빨간 사과를 고르세요", "설탕과 섞으세요", "350 도에서 구우세요". 모든 무서운 복잡한 기계는 그 아래에 숨겨져 있습니다.
2. AI 를 위해: HepScript 는 엄격하고 제한된 언어 (도메인 특화 언어 또는 DSL) 이기 때문에 AI 에게 작고 안전한 놀이터를 제공합니다. AI 는 부엌 사용법을 추측할 필요가 없습니다. 메뉴의 빈칸을 채우기만 하면 됩니다.
3. 마법 같은 단계: HepScript 메뉴가 작성되면, 특별한 '프로세서' (번역 로봇) 가 이를 읽어서 실제 부엌에서 실험을 수행하는 데 필요한 복잡하고 기술적인 코드를 자동으로 작성합니다.

'듀얼 유스' 초능력

이 논문은 HepScript 를 '듀얼 유스'라고 부릅니다. 두 가지 다른 사람에게 완벽하게 작동하기 때문입니다:

• 인간 전문가: HepScript 를 읽으면 기술적 세부 사항에 매몰되지 않고 물리학 논리를 즉시 이해할 수 있습니다.
• AI 에이전트: 언어가 엄격하고 제한적이기 때문에 AI 는 매우 높은 정확도로 이를 생성할 수 있습니다. AI 에게 소설을 쓰는 것보다 엄격한 양식을 채우는 것이 훨씬 쉽습니다.

결과: 실험실에서 일어난 일

이 팀은 BESIII 실험의 실제 물리학 논문으로 이 시스템을 테스트했습니다. 그들이 발견한 내용은 다음과 같습니다:

• 인간의 작업 감소: HepScript 를 사용하면 인간이 작성해야 하는 코드의 양이 93% 감소했습니다. 100 페이지 분량의 매뉴얼을 작성하는 것에서 7 페이지 분량의 체크리스트를 작성하는 것으로 바뀐 것과 같습니다.
• AI 의 성능 대폭 향상: AI 모델에게 출판된 물리학 논문을 읽고 그에 대한 HepScript 지시를 작성하라고 요청했을 때:
  • 첫 시도에서 AI 는 약 **47%**의 확률로 정확했습니다.
  • 하지만 여기가 핵심입니다: AI 가 실수하면 다시 시도하게 했습니다 ('에이전틱 루프'를 사용). AI 는 오류를 보고 수정한 후 다시 시도했습니다.
  • 단 세 번의 시도 후, AI 는 **95%**의 확률로 성공했습니다.
• 작동 증명: 그들은 AI 가 생성한 지시를 가져와 시스템에 통과시켰고, 컴퓨터는 원래 물리학 논문에서 나온 정확한 그래프와 결과를 성공적으로 재현했습니다.

'가드레일' 비유

왜 이것이 이렇게 잘 작동할까요?
AI 를 자동차라고 상상해 보세요.

• HepScript 없이: AI 는 차선이 없고, 표지판이 없으며, 속도 제한이 없는 열린 고속도로를 운전합니다. 추락하거나 길을 잃기 쉽습니다.
• HepScript 로: AI 는 모노레일을 운전합니다. 레일 (HepScript 의 문법) 이 차가 올바른 경로에 머물도록 강제합니다. 오프로드로 갈 수 없습니다. 풍경에 부딪힐 수 없습니다. 단지 레일을 따라 앞으로 이동하기만 하면 됩니다. 이로 인해 여정이 안전하고 예측 가능해집니다.

요약

이 논문은 간단하고 엄격한 '중간 언어'(HepScript) 를 생성함으로써, AI 가 이전에 처리하지 못했던 복잡한 과학 작업을 수행하도록 가르칠 수 있음을 보여줍니다. 이는 혼란스럽고 개방적인 코딩 문제를 구조화되고 해결 가능한 퍼즐로 바꿉니다. 이를 통해 인간과 AI 가 협력할 수 있습니다: 인간은 과학적 의도를 제공하고, AI 는 HepScript 의 안전하고 구조화된 규칙에 따라 코드 작성이라는 무거운 작업을 처리합니다.

기술 요약

"High-Energy Physics(High-Energy Physics) 의 인간-AI 협업 데이터 분석 워크플로우를 위한 이중 용도 DSL 인 HepScript"에 대한 상세한 기술 요약입니다.

1. 문제 제기

고에너지 물리학 (HEP) 은 데이터의 기하급수적 증가 (페타바이트에서 엑사바이트 규모) 로 인해 데이터 분석 효율성 측면에서 치명적인 병목 현상에 직면해 있습니다. 대규모 언어 모델 (LLM) 은 자동화 가능성을 제시하지만, 다음과 같은 세 가지 주요 이유로 복잡한 과학적 워크플로우를 자율적으로 관리하는 데 어려움을 겪습니다:

• 도메인 지식 격차: LLM 은 입자 재구성, 운동학적 피팅과 같은 복잡하고 다단계적인 물리 워크플로우를 구성하는 데 필요한 심층적이고 암묵적인 지식이 부족합니다.
• 의미론적 격차: "분기비를 측정한다"와 같은 고수준 분석 목표와 이를 실행하는 데 필요한 BOSS 의 C++ 나 ROOT 스크립트와 같은 저수준 프레임워크별 코드 사이에 단절이 존재합니다.
• 무제한 행동 공간: LLM 에 의한 개방형 코드 생성은 가능한 코드 변형의 공간이 너무 광활하기 때문에, 종종 환각, 논리적 불일치, 또는 프로덕션 환경에서 컴파일에 실패하는 코드로 이어집니다.

2. 방법론: HepScript

저자들은 인간 전문가와 AI 에이전트 간의 공유된 형식 인터페이스로 기능하도록 설계된 이중 용도 도메인 특화 언어 (DSL) 인 HepScript를 제안합니다.

• 핵심 개념: HepScript 는 HEP 분석 논리를 제약된 고수준 구문으로 추상화합니다. 이는 개방형 코드 생성을 처리 가능한 시퀀스 예측 작업으로 변환하는 '그라운딩 (grounding) 메커니즘' 역할을 합니다.
• 아키텍처:
  • 임베디드 DSL: Ruby 의 가독성, 메타프로그래밍 기능, 플루언트 인터페이스를 활용하기 위해 Ruby 에 임베디드된 DSL 로 구현되었습니다.
  • 코드 생성 파이프라인: HepScript 는 직접 실행되지 않습니다. 전용 DSL 프로세서가 HepScript 명세를 BESIII 소프트웨어 스택의 타겟 코드로 변환합니다:
    • BOSS (C++): 시뮬레이션, 재구성 및 기본 선택을 위해.
    • ROOT (C++/Python): 고급 선택, 시각화 및 통계적 추론을 위해.
    • 보조 스크립트: 작업 구성을 위한 Bash/Python.
  • 하이브리드 변환 전략: 프로세서는 세 가지 방법을 사용합니다:
    1. 템플릿 생성: 정적 구조를 위해.
    2. 변환기 기반 생성: 커스텀 Ruby 클래스를 통한 복잡한 구문을 위해.
    3. LLM 지원 생성: 입자를 공명 (resonance) 에 매핑하는 캐스케이드 붕괴 논리와 같은 모호한 작업과 특정 ROOT 스크립트 생성에 특히 사용됩니다.
• 설계 원칙:
  • 가독성: 물리학자에게 직관적이어야 함.
  • 모듈성: 분석 단계 (데이터셋 준비, 기본 선택, 고급 선택, 시각화, 통계 분석) 를 위한 이산적인 블록.
  • 제약된 문법: 생성된 코드가 논리적으로 일관되고 실행 가능하도록 LLM 의 행동 공간을 제한.

3. 주요 기여

1. 이론적 통찰: 잘 설계된 DSL 이 프레임워크별 코드의 무제한 행동 공간을 축소하여 LLM 생성을 신뢰 가능하고 검증 가능하게 만든다는 것을 입증했습니다.
2. HepScript 구체화: LLM 지원을 통해 공동 설계된 구체적인 Ruby 임베디드 DSL 로, 특히 BESIII(베이징 분광기 3) 실험에 맞춰 제작되었습니다.
3. 실증적 검증:
   • 인간 효율성: 보일러플레이트와 반복적 루틴을 제거함으로써 인간이 작성한 코드 양을 93% 줄였습니다.
   • AI 자율성: LLM 이 반복적인 에이전트 재시도 후 95% 성공률로 출판된 문헌에서 정확하고 실행 가능한 HepScript 명세를 자율적으로 생성할 수 있게 했습니다.
4. 일반화 가능한 프레임워크: 다른 데이터 집약적 과학 분야에 적용할 수 있는 DSL 설계, 구현 및 평가에 대한 방법론을 제공합니다.

4. 평가 결과

이 시스템은 데이터셋 준비 및 기본 선택을 다루는 arXiv 의 첫 50 편 중 선별된 45 편의 BESIII 논문에 대해 평가되었습니다.

• LLM 성능:
  • LLM 에 의해 생성된 명세의 초기 성공률은 모델에 따라 (예: GLM-4.7 대 DeepSeek-R1) 43% 에서 47% 사이였습니다.
  • 실패는 주로 구문 오류 (76%) 와 물리학적 오해석 (24%) 으로 인해 발생했습니다.
  • 에이전트 루프: 컴파일러/프로세서로부터 LLM 이 오류 피드백을 받는 반복적 루프를 구현함으로써, 3 번의 재시도 후 성공률은 약 95% 로 급증했습니다.
• 코드 실행:
  • 생성된 BOSS 코드는 인간이 작성한 모든 사례에서 오류 없이 컴파일되었습니다.
  • 생성된 ROOT 스크립트는 사례 연구에서 원래 논문 (예: 불변 질량 분포) 의 그림을 성공적으로 재현하여 엔드 - 투 - 엔드 파이프라인을 검증했습니다.
• 효율성: 추상화는 필요한 코드의 문자 수를 평균 93% 줄여 인간 프로토타이핑과 AI 작업 정의의 장벽을 크게 낮췄습니다.

5. 중요성 및 향후 작업

• 패러다임 전환: HepScript 는 자동화의 병목 현상을 "분석을 어떻게 실행할 것인가 (코딩)"에서 "무엇을 지정할 것인가 (의도)"로 전환하여 확장 가능한 인간-AI 협업 시스템을 가능하게 합니다.
• 신뢰 및 안전: DSL 은 가드레일 역할을 하여 AI 에이전트가 검증되고 제약된 환경 내에서 작동하도록 보장하며, 이는 과학적 엄밀성에 필수적입니다.
• 향후 방향:
  • 자기 진화 메커니즘: 새로운 도메인 문헌과 사용 격차에 기반하여 DSL 문법이 자율적으로 확장되는 시스템 개발.
  • 구조 인식 검색: LLM 그라운딩을 개선하기 위해 의미적 텍스트 유사성 (RAG) 을 넘어 입자 붕괴 사슬의 형식적 토폴로지에 기반한 검색으로 전환.
  • 에이전트 메모리: 성공적인 워크플로우를 미래 에이전트를 위한 '기술'로 저장하는 동적 지식베이스 생성.

결론:
이 논문은 이중 용도 DSL 이 복잡한 과학적 워크플로우 자동화를 위한 실현 가능하고 강력한 전략임을 확립합니다. 인간 전문성, AI 생성, 프로덕션 소프트웨어 간의 간극을 해소함으로써 HepScript 는 고에너지 물리학 분석이 효과적으로 자동화될 수 있음을 보여주며, AI 가 자율적인 연구 협력자가 되는 길을 열었습니다.