🤖 AI

ProofCouncil: An LLM Agent for Solving Open Mathematical Problems

이 논문은 저자-비평가(author-critic) 아키텍처를 활용하여 FirstProof 챌린지에서 10개의 실제 수학 문제 중 6개를 자율적으로 해결하고 더 광범위한 오픈 문제 세트에서 상당한 진전을 보여줌으로써 최고 수준의 성능을 달성한 오픈 소스 LLM 에이전트인 ProofCouncil을 소개한다.

원저자: Johannes Schmitt, Tim Gehrunger, Jasper Dekoninck, Gergely Bérczi, Uri Kreitner, Liam Price, David Holmes

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Johannes Schmitt, Tim Gehrunger, Jasper Dekoninck, Gergely Bérczi, Uri Kreitner, Liam Price, David Holmes

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 갓 태어난, 매우 똑똑한 로봇에게 세상에서 가장 난해한 수학 퍼즐 더미를 건네주었다고 상상해 보십시오. 이 퍼즐들은 단순히 "빈 숫자를 찾아라"와 같은 수수께끼가 아닙니다. 이것들은 실제 수학자들이 수년간 머리를 싸매고 고민해 왔으나 아직 아무도 답을 모르는 미해결 문제들입니다.

여기에 ProofCouncil이 있습니다. 이것은 단일 로봇이 아니라, 작지만 치열한 수학 워크숍이라고 생각하십시오.

워크숍 팀 구성: 저자, 비평가, 그리고 스쿼드

이 시스템의 핵심은 두 명의 주요 캐릭터, **저자(Author)**와 **비평가(Critic)**가 벌이는 영리한 "뜨거운 감자 놀이"입니다.

저자는 꿈꾸는 자입니다. 이 AI는 완벽한 증명(단계별 수학적 논증)을 작성하기 위해 자리에 앉습니다. 이들에게는 마법의 노트가 있어서 아이디어를 적고, 코드를 시험해 보며, 단서를 찾기 위해 웹을 검색하기도 합니다.
비평가는 엄격한 편집자입니다. 저자가 쓴 글을 읽고 "잠깐, 이 단계는 말이 안 되는데," 또는 "이 부분을 증명하는 걸 잊었잖아!"라고 말합니다. 단순히 틀렸다고 말하는 것이 아니라, 빈틈을 어떻게 메워야 하는지에 대한 구체적인 피드백을 제공합니다.

여기에는 반전이 있습니다. 저자는 단 한 번만 쓰는 것이 아닙니다. 저자는 쓰고, 비평을 받고, 다시 쓰고, 또 비평을 받으며 계속해서 나아갑니다. 마치 작가와 편집자가 이야기를 완벽하게 다듬기 위해 한 방에 갇혀 있는 것과 같습니다.

하지만 때때로 저자가 막힐 때가 있습니다. 그때 그들은 **의회(Council)**와 **컴퓨트 노드(Compute Node)**를 호출합니다.

의회는 다른 초지능 AI 모델들(게스트 전문가 팀 같은 존재)로 구성된 패널입니다. 저자는 의회에 "이봐요, 제가 이 특정 부분에서 막혔는데, 이걸 바라보는 다른 관점이 있을까요?"라고 묻습니다.
컴퓨트 노드는 강력한 힘을 가진 조력자입니다. 만약 문제가 거대한 계산이나 저자 혼자서는 실행할 수 없는 특화된 수학 소프트웨어 도구를 필요로 한다면, 이 노드가 직접 코드를 실행하고 숫자를 계산하며 직관이 맞는지 확인하는 중노동을 수행합니다.

몇 라운드마다 비평가는 정신을 가다듬기 위해 백지 상태에서 새로 시작합니다. 이것은 매우 중요한데, 만약 비평가가 저자의 실수에 너무 익숙해지면 실수를 보지 못할 수도 있기 때문입니다. 새로운 시각은 증명이 실제로 견고한지 보장합니다.

대규모 테스트: FirstProof 챌린지

팀은 FirstProof라는 챌린지를 통해 ProofCouncil을 궁극의 시험대에 올렸습니다. 규칙은 간단하지만 가혹했습니다. 공개된 도구만을 사용하여 24시간 안에 10개의 실제 미해결 수학 문제를 해결하는 것이었습니다.

결과는 어땠을까요? ProofCouncil은 이 경연의 스타였습니다. 10개의 문제 중, 이 팀은 인간 심사위원들이 (아주 미세한 수정만 거치면 될 정도로) 정답이라고 판정한 6개의 솔루션을 만들어냈습니다. 이는 모든 팀 중 가장 뛰어난 성적이었습니다.

그들은 또한 실제 수학자들이 보낸 30개의 다른 미해결 문제에도 도전했습니다. 피드백을 받은 21개의 문제 중:

5개는 완전히 정확한 솔루션으로 판정되었습니다.
2개는 최종 검토만을 기다리는 매우 유망한 상태였습니다.
8개는 작업을 완수하지는 못했지만 유용한 진전을 보였습니다.
4개는 오류는 없었지만 큰 진전을 이루지는 못했습니다.
2개는 문제를 오해하여 더 쉬운 버전을 풀었습니다.

중요한 점은, 어떤 전문가도 출력값이 논리를 깨뜨리는 방식으로 수학적으로 틀렸다고 지적하지 않았다는 것입니다. 주요 실패 원인은 잘못된 수학이 아니라, 때때로 문제의 문구 자체를 잘못 읽은 것이었습니다.

천재성의 비용

문제는, 이 정도로 똑똑해지는 데는 비용이 많이 든다는 점입니다. 단일 문제에 대해 ProofCouncil을 실행하는 데 컴퓨터 시간과 모델 호출 비용이 약 350달러 정도 들었습니다. 단판 승부 방식인 단순한 AI 시도가 단 12달러였지만 더 적은 문제를 해결했던 것과 비교해 보십시오. 논문은 "팀 접근 방식"이 더 효과적이지만, 현재로서는 사치품이라는 점을 시사합니다. 저자들은 아직 이를 더 저렴하게 만드는 방법을 시도하지 않았으며, 이를 미래 연구자들의 과제로 남겨두었습니다.

하지 못한 것 (그리고 주장하지 않은 것)

이 로봇이 하지 못한 일을 아는 것도 중요합니다.

이 로봇은 10개의 문제를 모두 해결하지 못했습니다 (4개를 놓쳤습니다).
이 로봇은 세련되고 바로 출판 가능한 연구 논문을 만들어내지 못했습니다. 작업을 검토한 수학자들은 글이 매우 밀도가 높으며, 비전문가들이 읽을 수 있도록 인간의 편집이 필요하다고 언급했습니다.
이 로봇이 AI가 모든 수학 문제를 풀 수 있다는 것을 "증명"한 것은 아닙니다. 그것은 어떤 어려운 문제들에 대해서는, AI들이 함께 협력하는 것이 혼자 일하는 것보다 낫다는 것을 보여주었을 뿐입니다.

결론

ProofCouncil은 만약 당신이 정말 어렵고 열려 있는 수학 문제를 풀고 싶다면, 단 하나의 AI에게 "알아서 풀어봐"라고 요청해서는 안 된다는 점을 시사합니다. 대신, 한 AI가 쓰고, 다른 AI가 그것을 파헤치며, 세 번째 AI가 새로운 관점을 제공하고, 네 번째 AI가 무거운 수학 계산을 수행하는 시스템이 필요합니다.

FirstProof 챌렉의 세계에서, 이 "저자-비평가-의회" 팀은 지금까지 테스트된 가장 성공적인 전략이었습니다. 이들은 산 전체를 정복하지는 못했지만, 다른 누구보다 높이 올라갔으며, AI 에이전트들이 인간 연구팀처럼 협력할 때 이전에는 도달 불가능하다고 여겨졌던 문제들을 다룰 수 있음을 입증했습니다.

기술 요약: ProofCouncil

문제 정의
대규모 언어 모델(LLM)은 공개된 수학적 난제를 해결하는 데 있어 점점 더 높은 능력을 보여주고 있으나, 그 성능은 실제 수학 연구의 특징인 엄밀함과 반복적인 정교화 과정이 부족한 경우가 많습니다. 과제는 제약된 환경(예: 24시간 시간 제한, 고정된 예산) 내에서 공공 도구만을 사용하여 공개된 해법이 없는 오픈 문제(open problems)를 해결할 수 있는 자율 에이전트를 구축하는 것입니다. 10개의 미해결 문제를 포함한 벤치마크인 FirstProof 챌린지는 이 연구의 주요 평가 기반입니다. 또한, 저자들은 수학 연구자들로부터 직접 수집한 30개의 광범ル 오픈 문제 세트에서도 성능을 평가하고자 했습니다.

방법론: ProofCouncil 아키텍처
저자들은 수학 연구의 반복적인 과정을 시뮬레이션하기 위해 저자-비평가(author-critic) 아키텍처를 중심으로 설계된 에이전트 시스템인 ProofCouncil을 소개합니다. 이 시스템은 다음 구성 요소들을 통해 작동합니다:

저자 에이전트(Author Agent): 증명을 생성하고 수정하는 역할을 담당합니다. 이 에이전트는 코드 실행 및 웹 검색 권한을 가진 **GPT-5.5-Pro (xhigh)**를 사용합니다. 저자는 세 가지 정형 파일(canonical files)을 유지합니다:
- answer.tex: 메인 LaTeX 증명 문서.
- research notes.tex: 아이디어, 실패한 시도, 부분적 결과 등을 기록하는 지속적인 스크래치패드.
- references.bib: 인용을 위한 BibTeX 파일.
  저자는 피드백에 따라 이 파일들을 반복적으로 업데이트하며, 보조적인 도움을 요청하기 위해 구조화된 XML 태그를 생성할 수 있습니다.
비평가 에이전트(Critic Agent): 역시 **GPT-5.5-Pro (xhigh)**를 사용하며, 현재 증명의 정확성을 평가하고 간극, 오류 또는 누락된 정당성을 식려냅니다.
- 상태 유지 vs. 신선함(Stateful vs. Fresh): 비평가는 일관된 피드백을 제공하기 위해 대화 이력을 유지하는 상태 유지(stateful) 방식을 주로 사용합니다. 그러나 경로 의존성(path dependence)을 줄이기 위해, 비평가의 이력은 $k$ 라운드마다(실험에서는 $k=3$ ) 초기화됩니다.
- 검증 프로토콜: 상태 유지 비평가가 증명을 수락하면, 새로운 대화로 초기화된 "신선한(fresh)" 비평가가 독립적인 감사를 수행합니다. 솔루션은 저자가 준비되었다고 표시하고 신선한 비평가가 수락했을 때만 반환됩니다.
보조 구성 요소(Auxiliary Components):
- LLM 카운슬(LLM Council): 저자의 요청이 있을 때 특정 하위 질문에 대해 표적화된 피드백을 제공하는 독립적인 모델 그룹(Gemini 3.1 Pro, Claude Opus 4.7, GPT-5.5-Pro)입니다.
- 컴퓨트 노드(Compute Node): SageMath, GAP, Singular, Pari와 같은 컴퓨터 대수 시스템(CAS)에 접근할 수 있는 특화된 에이전트(GPT-5.5 기반의 Codex)입니다. 이 노드는 고도의 연산, 문헌 검색 및 주장(claims)의 독립적 검증을 처리합니다.
기저 라이브러리 (DAG로서의 에이전트):
ProofCouncil은 에이전트 시스템을 **조건부 유향 비순환 그래프(conditional Directed Acyclic Graphs, DAGs)**로 표현하는 오픈 소스 라이브러리를 기반으로 구축되었습니다.
- 구조: 노드는 LLM 호출, 파이썬 블록, CLI 에이전트 또는 제어 흐름 게이트를 나타냅니다. 엣지(edge)는 의존성을 인코딩합니다.
- 조건성: 엣지는 조건을 가질 수 있어, 중간 출력값에 따라 다운스트림 노드의 실행 여부가 결정될 수 있습니다 (예: 저자가 특정 태그를 생성했을 때만 카운슬을 호출).
- 루프 언롤링(Loop Unrolling): 워크플로우에 피드백 루프가 포함되어 있지만, 라이브러리는 이를 유한한 반복 블록으로 표현하여 실행 가능한 유한 조건부 DAG로 효과적으로 언롤링합니다.
- Human-in-the-Loop: 라이브러리는 DAG 내에 인간 노드를 삽로할 수 있도록 지원하여, 연구자가 실행 중간에 증명을 검토하거나 질문에 답할 수 있게 합니다.

주요 기여

ProofCouncil 시스템: 저자-비고 루프와 보조 지원을 통해 복잡한 오픈 문제를 해결하도록 설계된 수학 에이전트.
오픈 소스 라이브러리: 에이전트 시스템을 조건부 DAG로 구축할 수 있는 라이브러리로, 워크플로우, 프롬프트 및 실행 로직을 정의하기 위한 유연한 인터페이스를 제공합니다.
경험적 평가: FirstProof 챌린지와 연구자 제공 데이터셋 모두에 대한 시스템의 포괄적인 평가.

결과

FirstProof 챌 Challenge:
- ProofCouncil은 FirstProof 챌린지의 두 번째 배치(10개 문제)에 제출되었습니다.
- 성능: 10개 문제 중 6개 문제(P1, P2, P3, P5, P7, P9)에 대한 제출물이 심사위원들로부터 최소한 사소한 수정만 거치면 되는 수준의 정답으로 판정받았습니다. 이는 참여 팀 중 최고의 성적이었습니다.
- 비용: 실행 비용은 문제당 약 ** $350**(분석된 9개 문제 기준 총 ~$ 3,186)가 소요되었으며, 이는 단일 쿼리 베이스라인(문제당 ~$12)보다 현저히 높지만 더 높은 해결률(9개 중 4개 vs 9개 중 6개)을 달랬습니다.
- 실패 모드: 한 문제(P6)는 API 타임아웃으로 인해 실패했습니다. P4와 P8은 거절되었습니다. P8은 지원되지 않는 기술적 주장을 포함하여 거절되었고, P4는 다른 이유로 거절되었습니다.
연구자 제공 문제:
- 시스템은 수학 연구자들로부터 수집한 30개의 오픈 문제(및 3개의 공개된 Erdős 문제)에 대해 테스트되었습니다.
- 피드백: 21개의 인간 리뷰 중:
  - 5개는 완전하고 정확한 솔루션으로 판정되었습니다.
  - 2개는 최종 검증을 앞두고 유망한 것으로 간주되었습니다.
  - 8개는 유용한 부분적 진전을 포함했습니다.
  - 4개는 오류는 없었으나 실질적인 진전이 거의 없었습니다.
  - 2개는 명시된 문제보다 쉬운 버전을 해결한 것으로 판정되었습니다(오해).
- 주요 관찰 사항: 전문가 중 어떤 이도 문제를 해결했다고 주장하는 출력이 수학적으로 거짓이라고 보고하지 않았습니다. 주요 실패 모드는 **문제 해석(problem interpretation)**이었으며, 에이전트가 문제의 더 쉽고 다른 버전을 해결하는 현상이 나타났습니다.
- 비용: 시도된 문제당 약 $213가 소요되었습니다.
구성 요소 효용성:
- **컴퓨트 노드(Compute Node)**는 구체적인 주장을 검증하고 반례를 찾는 데 가장 유용했습니다.
- **LLM 카운슬(LLM Council)**은 다양한 관점을 제공했으며, GPT-5.5-Pro가 가장 결정적인 기여를 했습니다.
- **비평가(Critic)**는 잘못된 솔루션이 수락되는 것을 방지하는 데 중요했으나, 때때로 거짓 양성(잘못된 솔루션을 수락)이나 거짓 음성(정확한 솔루션을 거절) 문제를 보였습니다.

의의 및 한계점
본 논문은 ProofCouncil이 LLM의 수학적 오픈 문제 해결 능력을 향상시키는 에이전트 워크플로우의 잠재력을 입증하며, FirstProof 챌린지에서 최첨단(SOTA) 결과를 달성했다고 주장합니다. 또한, DAG 기반 라이브러리의 공개는 복잡한 에이전트 시스템 구축을 위한 향후 연구를 촉진하기 위함입니다.

그러나 저자들은 시스템의 현재 능력에 대해 다음과 같이 겸허한 태도를 보입니다:

비용: 프런티어 모델과 보조 에이전트의 반복적인 호출로 인해 비용이 많이 듭니다.
해석: 시스템은 모호한 문제 진술에 어려움을 겪으며, 종종 탐지 없이 더 쉬운 해석을 해결하곤 합니다.
가독성: 생성된 증명은 정확성에 최적화되어 밀도가 높고, 비전문가가 읽기에는 다소 어려울 수 있습니다.
평가: 결과는 공식적 검증보다는 인간의 판단에 크게 의존하며, 연구자 문제에 대한 평가는 고정된 설정이 아닌 적응적 개발(이전 실행을 바탕으로 한 프롬프트 튜닝)을 포함했습니다.

결론적으로, 이 연구는 ProofCouncil이 자율적 수학적 추론을 위한 중요한 진전임을 보여주지만, 비용 효율성, 문제 해석 및 출력물의 완성도 측면에서 해결해야 할 과제가 남아 있음을 시사합니다.

워크숍 팀 구성: 저자, 비평가, 그리고 스쿼드

대규모 테스트: FirstProof 챌린지

천재성의 비용

하지 못한 것 (그리고 주장하지 않은 것)

결론

기술 요약: ProofCouncil

유사한 논문