Towards Autonomous Mathematics Research

이 논문은 자연어 기반의 반복적 생성·검증·수정 과정을 통해 수학 연구 전 과정을 자율적으로 수행하는 에이전트 'Aletheia'를 소개하고, 이를 통해 무인 자동 생성 논문, 인간-AI 협업 증명, 그리고 오픈 문제 해결 등 AI 와 수학 연구의 새로운 지평을 열었음을 보여줍니다.

핵심

1. 배경: 수학 올림피아드 vs 수학 연구

과거 AI 는 '수학 올림피아드' 같은 시험 문제에서 금메달을 땄습니다. 이는 마치 고등학교 수학 경시대회에서 최상위권 성적을 낸 것과 같습니다. 문제는 정해져 있고, 답도 이미 존재하며, 해결책은 몇 페이지 안에 끝납니다.

하지만 진짜 수학 연구는 다릅니다.

• 비유: 경시대회 문제가 "주어진 레시피로 케이크를 만드는 것"이라면, 연구는 "전 세계에 없는 새로운 맛의 케이크를 발명하는 것"입니다.
• 난이도: 연구 문제는 답이 정해져 있지 않고, 수천 편의 논문과 복잡한 이론을 뒤져야 합니다. AI 는 여기서 종종 **환각 (Hallucination)**을 일으켜, 존재하지 않는 논문을 인용하거나 엉뚱한 주장을 합니다.

2. 주인공: 알레테아 (Aletheia)

이 문제를 해결하기 위해 구글은 **'알레테아'**라는 AI 에이전트를 만들었습니다. 알레테아는 단순히 문제를 풀기만 하는 게 아니라, 세 명의 가상 인격이 팀을 이뤄 일합니다.

• 생성자 (Generator): "이런 식으로 증명해 볼까?"라고 아이디어를 냅니다. (창의적인 작가)
• 검증자 (Verifier): "잠깐, 이 부분 논리가 맞나? 인용한 논문이 진짜 있나?"라고 꼼꼼히 따집니다. (엄격한 편집자)
• 수정자 (Reviser): "아, 틀렸네. 다시 고쳐보자."라고 수정합니다. (교정 작가)

이 세 명이 자연어로 끊임없이 대화하며, 검증자가 "이제 OK"라고 할 때까지 반복합니다. 또한, 구글 검색과 웹 브라우징을 통해 실제 존재하는 논문을 찾아내어 거짓 정보를 막습니다.

3. 주요 성과: AI 가 뭘 했나?

알레테아는 인간과 함께, 혹은 혼자서 몇 가지 중요한 일을 해냈습니다.

A. 완전히 혼자 쓴 논문 (Level A)

• 이유: "수학의 구조 상수 (Eigenweights)"를 계산하는 문제를 AI 가 인간의 개입 없이 완전히 해결했습니다.
• 비유: 인간이 "이런 케이크를 만들어줘"라고 주문만 했을 뿐, 반죽부터 굽기까지, 그리고 포장까지 AI 가 혼자 해낸 것입니다. 이는 AI 가 복잡한 추론을 스스로 할 수 있음을 보여준 중요한 이정표입니다.

B. 인간과 AI 의 협업 (Level C)

• 이유: "독립 집합 (Independent Sets)"이라는 물리학과 수학의 교차 문제를 풀 때, AI 가 **큰 그림 (전략)**을 제시했고, 인간이 그 전략을 바탕으로 엄밀한 증명을 완성했습니다.
• 비유: AI 가 "우리는 저 산 정상에 올라가야 해. 저쪽 길로 가자"라고 지도를 그려주면, 인간이 그 길을 따라가며 발걸음을 옮기는 것입니다.

C. 에르되시 (Erdős) 의 미해결 문제 해결

• 이유: 전설적인 수학자 에르되시가 남긴 700 개의 미해결 문제를 AI 가 대량으로 풀어보았습니다.
• 결과: 700 개 중 13 개는 AI 가 의미 있게 해결했습니다. 하지만 흥미로운 점은, 대부분의 문제는 사실 매우 단순해서 인간이 풀지 않았을 뿐, AI 가 찾아낸 것입니다.
• 교훈: AI 는 인간이 "너무 귀찮아서" 혹은 "주목하지 않아서" 놓친 단순한 문제들을 찾아내는 초고속 검색기 역할을 합니다.

4. 새로운 기준: "자율성 등급"과 "카드"

논문은 AI 가 수학에 기여한 정도를 명확히 구분하기 위해 새로운 기준을 제안합니다.

• 자율성 등급 (Autonomy Levels):

  • Level 0: AI 가 거의 안 함 (단순 계산).
  • Level 1: AI 가 보조함 (인간이 주도).
  • Level 2: 인간과 AI 가 동등하게 협업.
  • Level 3: AI 가 거의 혼자 해결 (인간은 검토만).
  • Level 4: AI 가 완전히 혼자 해결 (인간은 질문만).
  • 이것은 자율주행차의 레벨 (L1~L5) 과 비슷합니다.

• 인간-AI 상호작용 카드 (Human-AI Interaction Card):

  • AI 가 어떤 역할을 했는지 투명하게 공개하기 위해, "누가 무엇을 했는지"를 카드 형태로 기록하자는 제안입니다.
  • 비유: 요리 레시피에 "주방장이 30%, AI 로봇이 70% 의 재료를 다듬었다"라고 적는 것과 같습니다.

5. 결론: AI 는 수학자를 대체할까?

논문의 결론은 **"아니요, 대체하지 않습니다. 대신 강력한 도구가 됩니다."**입니다.

• AI 의 강점: 방대한 지식, 피로하지 않는 계산, 인간이 생각하지 못한 연결고리 찾기.
• AI 의 약점: 깊은 통찰력, 진정한 창의성, 논리의 엄밀함 (여전히 실수함).
• 미래: AI 는 수학자가 "어떤 문제를 풀지 고민하는 시간"을 줄여주고, "어떻게 증명할지 아이디어를 내는 것"을 도와줄 것입니다.

한 줄 요약:

"AI 는 이제 수학 경시대회 금메달을 땄을 뿐만 아니라, 진짜 연구실에서도 인간 연구자의 '초인간 비서'이자 '창의적인 파트너'로 자리 잡기 시작했다는 것을 보여주는 보고서입니다. 아직은 완벽하지 않지만, 앞으로 수학의 지평을 넓히는 데 큰 역할을 할 것입니다."

기술 요약

논문 개요

이 논문은 Google DeepMind 가 개발한 수학 연구 에이전트 **'Aletheia'**를 통해 인공지능이 수학 올림피아드 (IMO) 수준을 넘어 전문적인 수학 연구 (Ph.D. 수준 및 연구실 문제 해결) 로 확장된 성과를 보고합니다. 저자들은 AI 가 단순히 문제를 푸는 것을 넘어, 새로운 정리 증명, 오픈 문제 해결, 그리고 인간 연구자와의 협업을 통해 실제 학술 논문을 생성하는 단계에 도달했음을 보여줍니다.

1. 문제 정의 및 배경 (Problem & Background)

• 전환의 필요성: 최근 AI 모델들은 국제 수학 올림피아드 (IMO) 에서 금메달 수준의 성과를 거두었습니다. 그러나 이는 제한된 범위와 표준화된 지식을 요구하는 '경쟁 문제'에 국한된 것입니다. 진정한 '수학 연구'는 방대한 문헌을 종합하고, 새로운 아이디어를 창출하며, 긴 증명을 구성해야 하는 훨씬 더 복잡한 과제입니다.
• 기존 한계: 기초 모델 (Foundation Models) 은 전문적인 수학 주제에 대한 이해가 피상적이며, 환각 (Hallucination, 잘못된 인용이나 사실 왜곡) 이 빈번하게 발생합니다. 또한, 연구 수준의 문제는 단순히 계산 능력이 아닌 문맥 이해와 창의적 추론이 필요하므로 기존 모델로는 해결이 어렵습니다.
• 목표: 경쟁 문제 해결에서 벗어나, 인간 개입 없이 또는 최소한의 개입으로 연구 수준의 수학 논문을 생성하고 오픈 문제를 해결하는 자율 에이전트 개발.

2. 방법론 (Methodology)

2.1 Aletheia 에이전트 아키텍처

Aletheia 는 자연어 (Natural Language) 로 끝에서 끝까지 (End-to-End) 작동하는 반복적 연구 에이전트입니다.

• 핵심 구성 요소:
  1. Generator (생성기): 해결책을 제안합니다.
  2. Verifier (검증기): 제안된 해결책의 논리적 오류를 찾습니다.
  3. Reviser (수정기): 검증된 오류를 수정하여 해결책을 개선합니다.
• 작동 방식: 이 세 가지 서브 에이전트가 해결책이 검증기를 통과하거나 최대 시도 횟수에 도달할 때까지 순환적으로 상호작용합니다.
• Gemini Deep Think 기반: 최첨단 추론 모델인 'Gemini Deep Think'를 기반으로 하며, 추론 시간 (Inference-time) 에 따른 확장 법칙 (Scaling Law) 을 적용하여 계산 자원을 동적으로 할당합니다.

2.2 도구 활용 (Tool Use)

• 웹 검색 및 브라우징: 수학 연구는 방대한 문헌을 참조해야 하므로, Google Search 와 웹 브라우징 도구를 적극 활용합니다. 이는 허위 인용 (Fabricated citations) 을 줄이고 실제 문헌을 정확히 찾아내는 데 필수적입니다.
• Python 실행: 계산 오류를 줄이기 위해 Python 을 사용하지만, 연구의 핵심은 주로 논리적 추론과 문헌 분석에 있으므로 계산 도구의 효과는 상대적으로 제한적이었습니다.

2.3 추론 시간 확장 법칙 (Inference-time Scaling Law)

• IMO 문제와 박사 과정 수준의 문제 (Ph.D. level) 에 대해 추론 시 계산량 (Compute) 을 증가시키면 정확도가 비례하여 향상되는 현상을 확인했습니다.
• 특히 Aletheia 는 단순한 모델 확장보다 검증 및 수정 프로세스를 도입함으로써 동일한 계산량 대비 훨씬 높은 정확도를 달성했습니다.

3. 주요 기여 및 성과 (Key Contributions & Results)

3.1 자율 연구의 마일스톤 (Milestones)

논문은 Aletheia 가 달성한 네 가지 주요 성과를 제시합니다:

1. 완전 자율 논문 (Level A): 인간 개입 없이 AI 가 생성한 논문 "(Feng26)". 대수기하학의 '고유 가중치 (Eigenweights)' 구조 상수를 계산하여 기존 논문의 증명을 대체하고 새로운 결과를 도출했습니다.
2. 인간-AI 협업 논문 (Level C): 인간 연구자가 AI 의 전략적 아이디어 (예: '이중 집합' 사용) 를 바탕으로 증명을 완성한 논문 "(LeeSeo26)" 및 "(BKKKZ26)".
3. Erdős 오픈 문제 대량 평가: Bloom 의 Erdős Conjectures 데이터베이스의 700 개 오픈 문제에 대한 체계적 평가 (Feng et al., 2026b).
   • 700 개 중 212 개가 잠재적 정답으로筛选되었고, 최종적으로 4 개의 오픈 문제 (Erdős-652, 654, 1040, 1051) 를 자율적으로 해결했습니다.
   • 특히 Erdős-1051 의 해결은 일반화되어 새로운 연구 논문으로 이어졌습니다.
4. FirstProof 벤치마크: 수학자들이 제안한 10 개의 연구 수준 문제 (FirstProof) 에서 가장 높은 성능을 기록했습니다. Aletheia 는 10 문제 중 6 개에 대해 정답을 도출했으며, 그중 1 개 (Problem 7) 는 출판 가능한 수준의 해결책을 제시했습니다.

3.2 정확도 및 한계 분석

• 성공률: Erdős 문제 700 개 중 200 개의 후보를 분석한 결과, 기술적으로 올바른 답은 31.5% 였으나, 의도된 문제 (Erdős 의 의도) 를 올바르게 해결한 의미 있는 성공은 **6.5% (13 개)**에 불과했습니다.
• 실패 원인: 많은 경우 AI 는 문제를 오해하여 단순한 해를 찾거나, 문헌을 잘못 인용하는 환각 현상이 발생했습니다.
• FirstProof 결과: 전문가 평가에 따르면 Aletheia 는 10 문제 중 6 개를 해결했으나, 나머지 4 개는 해결책을 찾지 못했습니다. 이는 AI 가 여전히 연구 수준의 모든 문제에 대해 일관되게 작동하지 않음을 시사합니다.

4. 제안된 프레임워크: 자율 수학 연구 수준 (Autonomous Mathematics Levels)

AI 가 생성한 수학 결과의 투명성을 높이기 위해, 자율 주행 등급 (SAE Levels) 과 유사한 분류 체계를 제안합니다.

• 자율성 수준 (Autonomy Axis):
  • Level H (Primarily Human): 인간이 핵심을 작성하고 AI 는 보조 역할.
  • Level C (Human-AI Collaboration): 인간과 AI 가 모두 핵심 기여를 함.
  • Level A (Essentially Autonomous): 핵심 수학 내용이 AI 에 의해 완전히 생성됨 (인간은 최종 책임만 짐).
• 수학적 중요도 수준 (Significance Axis):
  • Level 0-1: 올림피아드 문제 또는 minor novelty.
  • Level 2 (Publication Grade): 전문 학술지에 게재 가능한 연구.
  • Level 3-4: 주요 진전 또는 획기적 돌파구 (Landmark Breakthrough).

이 분류에 따르면, Aletheia 의 성과는 대부분 Level A2 (자율적 생성, 출판 가능) 또는 Level C2 (협업, 출판 가능) 에 해당하며, 아직 Level 3(주요 진전) 이상은 달성하지 못했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• AI 의 고유한 강점: AI 는 인간 전문가보다 지식이 얕을 수 있지만, **압도적인 지식의 폭 (Breadth)**과 제한 없는 계산/기억 능력을 통해 인간이 간과했던 오픈 문제 (특히 Erdős 문제처럼 복잡하지는 않지만 방치된 문제) 를 해결할 수 있습니다.
• 인간-AI 협업의 미래: AI 는 수학자를 대체하기보다, 인간 연구자의 능력을 확장하는 도구로 자리 잡을 것입니다. 특히 아이디어 생성, 문헌 탐색, 초기 증명 검증 등에서 인간 연구자의 효율성을 극대화할 것입니다.
• 책임 있는 소통: AI 생성 수학 결과에 대한 과장된 보도를 막기 위해, **'Human-AI Interaction Cards'**를 통해 AI 의 기여도와 인간 연구자의 역할을 투명하게 문서화할 것을 제안합니다.

요약하자면, 이 논문은 AI 가 수학 연구의 최전선에 진입하여 실제 논문을 생산하고 오픈 문제를 해결할 수 있는 능력을 입증했으나, 여전히 환각과 오해의 문제가 존재하며 인간 전문가의 검증과 협업이 필수적임을 강조합니다.