LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory

우주의 가장 작은 규모는 작고 단단한 공들의 집합이 아니라, 모든 공간과 시간에 걸쳐 뻗어 있는 장(field)의 복잡한 태피스트리입니다. 전자나 쿼크와 같은 입자들이 어떻게 상호작나를 이해하기 위해, 물리학자들은 양자장론(quantum field theory)이라 불리는 틀을 사용합니다. 이는 자연의 근본적인 구성 요소들에 대한 우리의 가장 최신 지도인 표준 모델을 설명하는 수학적 언어입니다. 하지만 이 언어를 다루는 것은 매우 어렵기로 유명합니다. 이는 계산 과정에서의 단 한 번의 작은 실수만으로도 최종 결과가 완전히 바뀔 수 있는 긴 논리의 사슬을 헤쳐 나가야 함을 의미합니다. 수십 년 동안 이러한 문제들을 푸는 것은 복잡한 규칙들을 익히기 위해 수년간을 바친 고도로 훈련된 인간 전문가들의 전유물이었습니다.

최근, 새로운 종류의 도구가 등장했습니다. 바로 거대 언어 모델(large language models)입니다. 이들은 방대한 양의 텍스트를 학습하여 읽고, 쓰고, 추론할 수 있는 인공지능 시스템입니다. 이들은 이미 복잡한 수학 문제를 풀고 컴퓨터 코드를 작성하는 능력을 보여주었으며, 종종 인간 전문가에 필적하는 속도와 정확성을 보여주기도 했습니다. 이는 흥미로운 질문을 던집니다. 이 모델들이 이론 물리학에 필요한 깊고 추상적인 추론에서도 이와 같은 능력을 발휘할 수 있을까요? 이들은 양자장론이라는 험난한 파도를 헤쳐 나갈 수 있을까요, 아니면 그저 이해하는 것처럼 흉내만 내는 것일까요?

그 답을 찾기 위해 유럽과 아시아 전역의 연구 기관들로 구성된 연구팀이 이 목적을 위해 특별히 설계된 새로운 테스트를 만들었습니다. 그들은 고급 대학원 과정부터 초기 단계의 연구 주제에 이르기까지 75개의 도전적인 문제들을 구축했습니다. 이 질문들은 빛과 물질의 거동부터 모든 힘을 통합하려는 이색적인 이론에 이르기까지, 해당 분야의 핵심 영역들을 포괄합니다. 결정적으로, 이 테스트의 모든 질문은 수학적 정밀함으로 검증 가능한 단 하나의 정답을 가지고 있습니다. 연구진은 39개의 서로 다른 인공지능 모델에게 이 문제들을 풀도록 요청했습니다. 이 모델들에는 주요 기술 기업들의 가장 강력한 시스템뿐만 아니라, 연구 커뮤니티에서 개발한 여러 오픈 소스 대안들도 포함되었습니다.

결과는 놀라운 능력과 지속적인 한계가 공존하는 풍경을 보여줍니다. 현존하는 가장 진보된 시스템인 매우 강력한 모델들은 놀라운 수준의 숙련도를 보여주었습니다. 이들은 대다수의 문제를 올바르게 해결했으며, 상위 성과자들은 95% 이상의 정확도를 달al했습니다. 이는 이러한 시스템들이 실제로 양자장론의 복잡한 규칙을 탐색하는 법을 배웠으며, 과거에 수년간의 인간 연구를 필요로 했던 복잡한 유도 과정을 수행할 수 있음을 시사합니다. 그러나 최고 모델과 나머지 모델 사이의 격차는 상당합니다. 오래된 모델들과 많은 오픈 소스 시스템들은 기초적인 물리 개념 수준에서 실패하거나 유도 과정의 세부 사항에서 길을 잃으며 상당히 고전했습니다.

하지만 정답을 맞히는 것이 이야기의 절반에 불과합니다. 연구진은 모델이 결론에 도달하는 과정을 면밀히 조사하며, 그들이 제공한 단계별 추론을 검토했습니다. 그들은 미묘하지만 중요한 결함을 발견했습니다. 모델이 올러바른 최종 답안을 도출했을 때조차, 그 과정에서 설명한 경로가 틀린 경우가 있었습니다. 어떤 경우에는 모델이 중간 단계에서 실수를 저질렀음에도 불구하고, 마치 계산을 새로 하는 대신 학습 데이터에서 답을 기억해 낸 것처럼 어찌 되었든 정답에 도달하기도 했습니다. 이러한 '불성실함(unfaithfulness)'은 모델의 설명이 자신이 제시한 답을 실제로 뒷받침하지 못한다는 것을 의미합니다. 가장 유능한 모델들이 이러한 행동을 가장 적게 보였지만, 여전히 존재했기에 이 시스템들이 추론에 있어 완전히 신뢰할 수 있는 단계는 아님을 나타냈습니다.

연구는 또한 이 모델들이 실패하는 구체적인 방식들을 조명했습니다. 때때로 그들은 게임의 규칙을 혼동하여, 특정하고 특이한 변형이 필요한 문제에 일반적인 공식을 적용하기도 했습니다. 또 다른 경우에는 단순히 산술 오류를 범하거나 프롬프트에 주어진 구체적인 지시사항을 따르지 못하기도 했습니다. 이러한 오류들은 모델들이 주제의 일반적인 형태는 학습했을지라도, 작지만 치명적인 실수를 피하기 위해 요구되는 엄격한 규율은 아직 마스터하지 못했음을 시사합니다. 이 연구는 인공지능이 한때 이론 물리학자들의 독점적 영역이었던 문제들을 다루기 시작했음을 확인시켜 주지만, 동시에 우리가 이 도구들을 전적으로 자율적으로 신뢰할 수 있는 단계에 도달하지 못했음을 보여줍니다. 진정한 새로운 물리학을 발견할 수 있는 인공지능을 향한 여정은 진행 중이지만, 이 시스템들이 진정한 과학적 발견의 파트너로 간주되기 위해서는 아직 메워야 할 명확한 간극이 남아 있습니다.