HEPTABench: A framework for portable and controlled agentic evaluations in high energy physics

현대 물리학의 광활하고 정적에 잠긴 복도에서, 과학자들은 더 이상 단순히 새로운 입자를 찾는 데 그치지 않고, 그들을 찾아내는 작업의 새로운 방식을 찾고 있습니다. 수십 년 동안 고에너지 물리학 분야는 추상적인 이론을 구체적인 계산으로 변환하기 위해 인간 연구원에게 의존해 왔으며, 이들은 거대한 검출기 내에서 입자가 어떻게 행동할지 시뮬레이션하거나 충돌 결과를 예측하기 위해 복잡한 컴퓨터 코드를 작성해 왔습니다. 오늘날, 새로운 종류의 일꾼이 실험실에 들어섰습니다. 바로 인공지능 에이전트입니다. 이들은 단순히 경직된 명령 목록을 따르는 프로그램이 아니라, 다단계 과제를 계획하고, 스스로 코드를 작성하며, 시뮬레이션을 실행하고, 문제가 생겼을 때 스스로 오류를 수정할 수 있는 정교한 시스템입니다. 이들은 발견의 속도를 가속화할 것을 약속하지만, 동시에 새로운 질문을 던집니다. 우리가 이들에게 섬세하고 정밀한 과학적 업무를 맡길 수 있을 만큼 신뢰할 수 있는가 하는 점입니다. 이에 답하기 위해, 연구자들은 단순한 테스트를 넘어, 이 디지털 조수들이 정확히 어떻게 수행하는지, 어떤 도구가 필요한지, 그리고 어디에서 실패할 수 있는지를 명확히 볼 수 있는 통제된 환경을 구축해야 합니다.

물리학자와 컴퓨터 과학자들로 구성된 한 팀은 이러한 환경, 즉 고에너지 물리학의 특수한 세계에서 AI 에이전트의 역량을 시험하도록 설계된 HEPTABench라고 불리는 프레임워크를 구축했습니다. 그들의 목표는 단지 AI가 문제를 해결할 수 있는지 보는 것이 아니라, AI가 사용하는 도구가 결과에 어떻게 영향을 미치는지 이해하는 것이었습니다. 그들은 동일한 과학적 과제를 서로 다른 AI 시스템에 부여하되, 한 가지 결정적인 변수를 변경하여 일련의 실험을 설정했습니다. 어떤 실험에서는 AI가 기초적인 수학적 도구를 처음부터 직접 구축해야 했고, 다른 실험에서는 이미 만들어진 검증된 전문 도구 세트가 제공되었습니다. 결과는 명확하고 일관되었습니다. AI 에이전트가 이러한 전문적이고 도메인 특화된 도구를 사용할 수 있게 되었을 때, 그들의 작업은 현저히 더 정확해졌고 훨씬 더 신뢰할 수 있게 되었습니다. 그들이 만들어낸 결과는 알려진 진실에 더 가까웠으며, 그들이 내놓은 답변은 시도할 때마다 훨씬 더 일관되었습니다.

연구진은 두 가지 매우 다른 유형의 물리학 문제로 이 아이디어를 테스트했습니다. 첫 번째는 긴 수명을 가진 가상의 입자가 붕괴하기 전까지의 과정을 포함한 복잡한 계산이었습니다. 이러한 종류의 계산은 입자가 어떻게 생성되는지, 어떻게 검출기를 통과하는지, 그리고 관측될 확률이 얼마나 되는지를 예측하는 일련의 단계를 포함하며, 이는 이 분야의 핵심적인 부분입니다. 연구팀은 네 가지 서로 다른 첨단 AI 시스템에 이 계산을 수행하도록 요청했습니다. 첫 번째 라운드에서 시스템들은 오직 기초적인 물리 법칙과 실험 설정만을 부여받았으며, 이로 인해 입자의 여정을 시뮬레이션하는 데 필요한 모든 코드를 직접 작성해야 했습니다. 두 번째 라운드에서 동일한 시스템들은 동일한 과제를 부여받았으나, 입자 스트림을 생성하거나 붕괴 확률을 계산하는 것과 같은 특정 계산 부분을 처리할 수 있는 전문 도구 세트가 함께 제공되었습니다. 차이는 극명했습니다. 기반 구조에 관계없이 모든 시스템은 전문 도구에 접근할 수 있을 때 더 나은 결과를 냈습니다. 그들이 계산한 수치는 정확한 값에 더 가까웠고, 동일한 시스템의 반복된 시도 사이의 변동성은 급격히 줄어들었습니다. AI 에이전트들은 매번 바퀴를 새로 발명하는 대신 신뢰할 수 있는 도구에 의존함으로써 훨씬 적은 양의 코드를 작성했습니다.

두 번째 실험은 다른 종류의 도전 과제인 기호 수학(symbolic mathematics)에 초점을 맞췄습니다 입자가 붕계하는 공식을 유도하는 작업으로, 이는 단순히 숫자를 계산하는 것이 아니라 복잡한 대수적 표현을 조작하는 과정을 요구합니다. 연구진은 특정 AI 모델을 여덟 가지 서로 다른 붕괴 시나리오에 대해 테스트했습니다. 전문 도구 없이는 해당 모델은 엄청난 어려움을 겪었으며, 시도의 아주 작은 부분에서만 성공했습니다. 모델은 종종 불완전한 답을 내놓거나 물리학과 일치하지 않는 공식을 생성했습니다. 그러나 동일한 모델에 기호 물리학 계산을 위해 특별히 설계된 툴킷이 제공되었을 때, 그 성능은 급등했습니다. 성공적인 시도의 비율은 고작 8%에서 거의 80%로 뛰어올랐습니다. 이는 적절한 도구를 제공하는 것이 어떻게 간신히 작동하던 시스템을 매우 효과적인 시스템으로 변화시킬 수 있는지를 보여주었습니다. 흥내롭게도, 더 강력한 다른 AI 모델은 내장된 능력만으로 이러한 문제들을 완벽하게 해결할 수 있었는데, 이는 특정 시스템에는 도구가 필수적이지만 가장 발전된 모델들은 결국 이러한 과제들을 스스로 처리할 수 있게 될 것임을 시사합니다.

이 연구는 단순히 도구가 도움이 된다는 것을 보여주는 것을 넘어, 그것을 증명하는 방법론을 확립합니다. 과제, AI 모델, 컴퓨터 환경 등 다른 모든 요인을 일정하게 유지함으로써, 연구진은 도구 자체의 효과를 분리해 낼 수 있었습니다. 그들은 개선이 단지 한 번의 정답을 맞히는 문제가 아니라, 일관성에 관한 문제라는 것을 발견했습니다. AI 에이전트들은 더 신뢰할 수 있게 되었으며, 실험을 실행할 때마다 진실에 근접한 결과를 지속적으로 만들어냈습니다. 단 한 번의 운 좋은 추측만으로는 부족한 과학 분야에서 이러한 신뢰성은 매우 중요합니다. 연구자들은 결과가 검증을 견뎌낼 수 있다는 확신이 필요합니다. 그들이 구축한 프레임워크는 이러한 상세한 검사를 가능하게 하여, AI가 취한 모든 단계, 생성한 모든 파일, 그리고 내린 모든 결정을 기록합니다. 이러한 투명성 덕분에 결과에 의문이 제기될 경우, 과학자들은 단순히 최종 수치를 받아들이는 대신 AI가 그곳에 도달하기 위해 거친 정확한 경로를 되짚어 볼 수 있습니다.

이 작업의 함의는 테스트된 특정 입자나 계산을 넘어 확장됩니다. 이는 인공지능이 과학에서 어떻게 사용될지에 대한 새로운 사고방식을 제시합니다. 단일한, 모든 것을 아는 AI가 모든 것을 하기를 기대하기보다는, 미래는 이러한 지능형 시스템을 전문화되고 인간에 의해 검증된 툴킷과 결합하는 데 있을 수 있습니다. 인간 물리학자가 자신의 작업을 수행하기 위해 확립된 공식과 소프트웨어 패키지 라이브러리에 의존하는 것처럼, AI 에이전트 또한 동일한 자원에 접근할 수 있게 함으로써 더 유능하고 신뢰할 수 있게 만들 수 있습니다. 연구진은 이 접근 방식이 입자 충돌 시뮬레이션부터 수학 공식 유도에 이르기까지, 서로 다른 유형의 AI와 다양한 종류의 물리학 문제 전반에 걸쳐 작동함을 입증했습니다. 이는 AI의 속도와 적응성이 인간이 설계한 도구의 정밀함 및 신류성과 결합되는 앞길을 제시합니다.

궁극적으로, 이 논문에서 제시된 작업은 신뢰를 구축하는 것에 관한 것입니다. 인공지능이 과학적 과정에 통합됨에 따라, 학계는 이를 다른 과학적 도구와 동일한 엄격함으로 그 능력과 한계를 측정할 방법을 필요로 합니다. HEPTABench는 그 측정 기준을 제공합니다. 적절한 설정이 있다면 AI 에이전트가 고품질의 재현 가능한 과학적 성과를 내도록 유도할 수 있음을 보여줍니다. 연구 결과는 향-미래에 이러한 시스템을 배치하는 가장 효과적인 방법은 그들을 자유롭게 풀어두는 것이 아니라, 성공에 필요한 구체적이고 검증된 도구를 갖추어 주는 것임을 시사합니다. 이 접근 방식은 그들이 만들어내는 결과가 단순히 영리한 추측이 아니라, 우주에 대한 우리의 이해를 높이는 신뢰할 수 있는 기여가 되도록 보장합니다.