Reimagining computational quantum research with AI scientists

과학은 오랫동안 단순하고 인간적인 의례에 의존해 왔습니다. 한 연구자가 발견을 발표하면, 다른 연구자가 그 실험을 반복하여 그것이 사실인지 확인하는 과정입니다. 이러한 검증 과정은 의학에서 물리학에 이르기까지 모든 분야에서 신뢰의 근간이 됩니다. 그러나 우리가 던지는 질문이 더 복잡해짐에 따라, 그 질문에 답하기 위해 필요한 실험들은 거대하고 복잡한 디지털 구조물로 성장했습니다. 물질의 가장 작은 규모를 연구하는 양자 과학의 영역에서, 이러한 구조물들은 가장 강력한 슈퍼컴퓨터조차 직접 처리하기에는 너무 어려운 시스템을 시뮬레이션하는 것을 포함합니다. 이 복잡성을 헤쳐 나가기 위해, 과학자들은 논문을 읽고, 방법론을 이해하며, 스스로 코드를 실행할 수 있는 디지털 연구자를 구축하기를 희망하며 인공지능에 점점 더 의존하고 있습니다. 하지만 이러한 자율적 발견의 비전이 실현되려면, 이 AI 시스템들이 먼저 인간 과학자의 작업을 충실히 재현할 수 있음을 증명해야 합니다. 만약 AI가 발표된 결과를 안정적으로 재현할 수 없다면, 새로운 결과를 생성하도록 신뢰받을 수 없습니다.

한 연구팀은 이제 이 과제에 대해 엄격한 질문을 던지며 정면으로 도전했습니다. 즉, 현재의 인공지능 과학자들이 실제로 발표된 양자 연구 논문의 결과들을 재현할 수 있는가 하는 근본적인 질문입니다. 이를 알아내기 위해 그들은 OmniQ라고 불리는 엄격한 테스트 환경을 구축했습니다. 이는 팀이 양자 시스템을 고전 컴퓨터로 시뮬레이션하는 것, 새로운 양자 알고리즘을 설계하는 것, 그리고 양자 시스템의 특성을 측정하는 것 등 양자 과학의 세 가지 주요 분야를 다루는 60편의 발표된 연구를 가져온 가상 실험실입니다. 그들은 이 논문들과 대상 도표 및 데이터를 거대 언어 모델 기반의 다섯 가지 서로 다른 첨단 AI 시스템에 입력했습니다. 목표는 단순하지만 까다로웠습니다. AI가 논문을 읽고, 필요한 코드를 작성하고, 계산을 실행하여 원래의 발표 내용과 일치하는 결과를 산출하는 것이었습니다.

결과는 시사하는 바가 컸습니다. AI 과학자들은 고도의 추론 능력을 갖추었음에도 불구하고, 발표된 결과를 재현하는 데 자주 실패했습니다. 많은 경우, 실패의 원인은 지능의 부족 때문이 아니라 과학적 기록 자체에 제공된 정보의 공백 때문이었습니다. 연구진은 60편의 연구 중 18편에서 발표된 논문, 공개된 코드, 그리고 보고된 결과가 서로 일的一치하지 않는다는 것을 발견했습니다. 때로는 논문이 설명하는 방법과 실제 코드가 사용하는 방법이 달랐고, 어떤 경우에는 코드가 생성한 숫자가 논문의 그래프와 일치하지 않았습니다. 이러한 불일치는 AI를 혼란스럽게 만드는 모호함의 안개를 만들어냈으며, 어떤 진실의 버전을 따라야 할지 알 수 없게 만들었습니다. 과학적 기록이 명확할 때조차도, AI는 측정이 어떻게 이루어져야 하는지 또는 복잡한 수학적 연산이 어떻게 구조화되어야 하는지와 같은 양자 연구의 구체적이고 미묘한 요구 사항을 해석하는 데 어려움을 겪었습니다.

그러나 이야기는 실패로 끝나지 않았습니다. 연구진은 인간 전문가가 개입하여 이러한 모호함을 명확히 하거나 불일치를 수정했을 때, AI가 결과를 성공적으로 재현할 수 있다는 것을 발견했습니다. 이 관찰은 중요한 통찰로 이어졌습니다. 즉, 성공에 필요한 누락된 정보는 식별될 수 있고, 수정될 수 있으며, 재사용 가능한 지식으로 전환될 수 있다는 것입니다. 이를 바탕으로 연구팀은 '잔여 에이전트(Residual Agents)'라는 새로운 유형의 AI 과학자를 개발했습니다. 매번 문제를 처음부터 해결하려고 시도하는 일반적인 AI와 달리, 이 시스템은 자신의 실수를 통해 배우도록 설계되었습니다. 결과 재현에 실패하면 인간 전문가가 실패 원인을 검토하고 특정 오류를 식별하며, 시스템은 그 수정을 하나의 교훈으로 추출합니다. 이 교훈은 메모리 뱅크에 저장되어 향후의 시도를 안내하는 데 사용됩니다.

이러한 자기 개선 접근 방식의 영향은 상당했습니다. 추출된 교훈을 사용함으로써, 잔여 에이전트 시스템은 성능을 극적으로 향상시켰습니다. 예를 들어, 초기에는 작업 성공률이 68%에 불과했던 특정 베이스 모델을 사용할 때, 잔여 에이전트는 그 성공률을 85%까지 끌어올렸습니다. 놀랍게도, 이 시스템은 유사한 결과를 얻기 위해 훨씬 더 많은 컴퓨팅 파워와 비용이 필요한 다른 최상위 AI 시스템들의 비용 중 아주 적은 부분만으로 이 높은 수준의 성능을 달}{성했습니다. 연구진은 재현된 모든 결과를 개방형 플랫폼에 통합하여, 다른 AI 시스템이 접근하고 사용할 수 있는 검증된 과학적 워크플로우의 성장하는 라이브러리를 구축했습니다.

이 연구는 계산 과학의 새로운 길을 제시합니다. 현재의 AI 시스템이 복잡한 양자 실험을 검증하는 데 있어 인간 연구자를 완전히 대체할 수는 없지만, 유도된 학습 과정을 통해 신뢰성을 확보할 수 있음을 보여줍니다. 과학 논문을 재현하는 어려운 과제를 구조화된 학습 경험으로 전환함으로써, 연구진은 AI 과학자가 과거의 불일치에 걸려 넘어지는 대신, 검증되고 재사용 가능한 지식이라는 토대 위에서 양자의 세계를 자율적으로 탐구할 수 있는 기반을 마련했습니다.