Autonomous Research Agents: A Survey of AI Scientists and the Verification Gap

과학자들이 컴퓨터를 단순히 계산기로 사용하는 것을 넘어, 생각하고 계획하며 심지어 최종 보고서까지 작성할 수 있는 파트너로 사용하는 세상을 상상해 보십시오. 이것이 바로 "자율 연구 에이전트(autonomous research-agents)"의 최전선입니다. 이들은 새로운 아이디어를 내고, 다른 사람들이 쓴 글을 읽고, 실험을 수행하고, 데이터를 분석하며, 논문을 초안하는 과학의 전 과정을 수행하도록 설계된 AI 시스템입니다. 오랫동안 핵심적인 질문은 단순했습니다: "이 AI 로봇들이 실제로 일을 끝마칠 수 있는가?" 하지만 이러한 시스템들이 논문을 쏟아내는 능력이 좋아짐에 따라, 질문은 바뀌었습니다. 이제 우리는 이렇게 물어야 합니다: "우리는 그들이 하는 말을 믿을 수 있는가?"

이 문제를 이해하기 위해, 수학 에세이를 쓰는 학생을 떠올려 보십시오. 만약 학생이 정답인 "42"만 적힌 최종 페이지를 건네준다면, 당신은 그 말을 그대로 믿을 수밖에 없습니다. 하지만 만약 학생이 모든 낙서 같은 계산 과정, 사용한 구체적인 숫자, 그리고 취한 정확한 단계들을 보여주는 전체 노트를 건네준다면, 당신은 그 과정을 검증할 수 있습니다. AI 과학의 세계에서 "노트"는 코드와 데이터 로그입니다. 우리가 다루고 있는 이 논문은 이러한 AI 과학자들을 조사하여, 그들이 자신의 노트를 넘겨주고 있는지 아니면 단지 최종 답안지만 던져주고 있는지를 살펴봅니다. 결과적으로, 많은 시스템이 에세이를 완성하는 데는 능숙하지만, 다른 사람이 수학 문제를 검증할 수 있도록 자신의 풀이 과정을 보여주는 데는 매우 서투른 것으로 나타났습니다.

---

거대한 "풀이 과정 제시"의 부족

이 논문은 새로운 세대의 "AI 과학자"들에 대한 거대하고 상세한 감사 보고서와 같습니다. 저자들은 스스로 연구를 수행한다고 주장하는 24개의 서로 다른 시스템을 모아, 그들이 실제로 대중에게 무엇을 공개했는지 면밀히 조사했습니다. 그들은 기이하고 우려스러운 패턴을 발견했습니다: 코드는 흔하지만, 증명은 드뭅니다.

모든 제빵사가 맛있는 케이크(코드)를 건네주는 빵집을 상상해 보십시오. 당신은 케이크를 볼 수 있고, 그것은 진짜처럼 보입니다. 하지만 이 제빵사들의 **83%**가 레시피(코드)를 건네주는 반면, **62%**는 당신이 직접 케이크를 구울 수 있게 해주는 정확한 시작 숫자, 타이머 설정, 또는 단계별 로그(시드 및 실행 추적)를 제공하기를 거부합니다. 이러한 세부 정보가 없다면, 당신은 케이크가 똑같은 맛이 나는지 확인하기 위해 직접 구워볼 수 없습니다. 논문에 따르면, 시스템의 **83%**가 코드를 공개했지만, 실험을 완벽하게 재현하는 데 필요한 특정 "시드(seeds)"나 "추적(traces)"을 공개한 비율은 **38%**에 불과했습니다. 이는 마술사가 어떻게 마술을 부렸는지에 대한 설명 없이 마술 장면의 사진만 받는 것과 같습니다.

"자기 채점"의 함정

논문은 또한 이러한 AI 시스템들이 자신의 아이디어가 좋은지 어떻게 결정하는지 조사했습니다. 건강한 과학 실험실에서는 과학자가 아이디어를 제안하면, 다른 독립적인 사람이 그것이 사실인지 확인합니다. 하지만 많은 AI 시스템은 스스로 시험 문제를 만들고 스스로 채점하는 학생과 같습니다.

저자들은 이러한 "폐쇄 루프(closed-loop)" 시스템(AI가 처음부터 끝까지 실험을 수행하는 시스템) 중 상당수가 실제로는 **기계적 루프(mechanical loops)**라는 것을 발견했습니다. 이들은 테스트를 실행하고 점수를 얻은 뒤, 점수가 충분히 높으면 "훌륭해, 내가 무언가를 발견했어!"라고 말합니다. 하지만 그 "점수"는 종-종 AI가 스스로 계산한 내부적인 숫자에 불과하며, 실제 세상과 대조하여 검증된 것이 아닙니다. 완전히 자율적(레벨 4)이라고 주장하는 9개의 시스템 중, 7개는 단순히 이러한 내부 기계적 루프를 돌리고 있었고, 1개는 증거를 보여주지 않은 채 저자가 "작동한다"라고 말하는 것에 불과했습니다. 전체 그룹 중 오직 단 하나의 시스템만이 외부의 물리적 확인(예: 실제 실험실에서 화학 물질을 섞는 로봇)에 의해 검증되었는데, 그 시스템은 현재의 AI 열풍이 시작되기 전에 만들어진 것이었습니다.

"새로움"이라는 환상

또 다른 중요한 발견은 "새로움"에 관한 것입니다. 과학은 아무도 몰랐던 것을 찾아내는 작업입니다. 논문은 이 AI 시스템들이 자신의 아이디어가 정말로 새로운지 어떻게 확인하는지 살펴보았습니다. 그 결과, 단 **38%**의 시스템만이 자신의 아이디어가 실제로 새로운지 검증하는 방법을 갖추고 있었습니다.

이는 마치 자신의 이야기가 완전히 새로운 줄거리라고 주장하는 작가와 같습니다. 만약 그가 도서관을 확인하여 누군가 이미 그 이야기를 썼는지 체크하지 않는다면, 그는 실수로 오래된 책을 베끼고 있는 것일지도 모릅니다. 논문은 많은 AI 시스템이 실제 세상에서는 새롭지 않을 수도 있음에도 불구하고, AI에게는 새롭게 보이는 아이디어를 생성하고 있다고 시사합니다. 왜냐하면 아무도 도서관 선반을 실제로 확인하지 않기 때문입니다.

신뢰의 "블랙박스"

저자들은 우리가 현재 "검증의 격차(verification gap)"에 있다고 주장합니다. 우리는 논문을 쓰고 코드를 실행할 수 있는 AI 시스템을 보유하고 있지만, 그 논문들이 참인지 검증할 도구는 부족합니다. 그들은 다음과 같이 지적합니다:

• 코드 공개율은 높지만 (83%), 재현 가능성은 낮습니다 (38%).
• 새로움 검증이 드뭅니다 (38%).
• 외부 검증은 거의 존재하지 않습니다.

이 논문은 이 AI 과학자들이 쓸모없다고 말하는 것이 아닙니다. 이들은 마치 일기를 제대로 쓰는 법을 배우지 못한, 매우 빠르고 자신감 넘치는 작가들과 같다고 말합니다. 이들이 (시드, 추적, 독립적 검증과 같은) 전체 노트를 건네주기 전까지, 우리는 그들의 "발견"이 실제인지 아니면 그저 매우 설득력 있는 환각(hallucination)인지 확신할 수 없습니다.

결론: 미래를 위한 체크리스트

논문은 마지막으로 이 AI 과학자들을 검토하는 모든 이들을 위한 "보고 체크리스트"를 제안하며 끝을 맺습니다. 이는 AI가 단순히 "내가 해냈다"라고 말하는 것이 아니라, 그것을 증명하도록 만드는 규칙들의 집합입니다. 규칙에는 다음이 포함됩니다:

• 시드를 보여라: 다른 이들이 실험을 재현할 수 있도록 정확한 시작 숫자를 제공하십시오.
• 선택 정책을 보여라: 시도했던 여러 결과 중 왜 그 결과가 "최선"인지 설명하십시오.
• 새로움을 증명하라: 당신의 아이디어가 이미 알려진 것이 아님을 어떻게 확인했는지 보여주십시오.
• 외부인이 판단하게 하라: AI가 스스로 숙제를 채점하게 두지 말고, 독립적인 검증자를 사용하십시오.

요약하자면, 이 논문은 AI가 과학을 수행하는 데는 뛰어나지고 있지만, 과학을 증명하는 데는 여전히 서투르다는 점을 시사합니다. 다음 단계는 더 똑똑한 AI를 만드는 것이 아니라, 그들의 작업을 검증하는 더 나은 방법을 만드는 것입니다. 그때까지 우리는 그들이 "풀이 과정을 보여주기" 전까지는 AI가 생성한 논문을 건강한 회의론을 가지고 대해야 합니다.