지금까지 AI 의 수학 실력을 볼 때는 고정된 문제집을 사용했습니다. 마치 학생들에게 매년 똑같은 '수능 모의고사'를 치르게 하는 것과 비슷하죠.
문제점: AI 가 너무 빨리 똑똑해져서, 예전에는 어려웠던 문제들이 이제는 AI 에게 너무 쉬워졌습니다. 마치 초등학생이 고등학교 수학 문제를 쉽게 푼다면, 그 시험은 더 이상 그 아이의 진짜 실력을 가려낼 수 없죠.
결과: AI 들이 모두 만점을 받아서 서로 누가 더 뛰어난지 구별할 수 없게 되었습니다. 새로운 문제를 만들어내는 속도보다 AI 의 실력이 더 빠르게 발전하고 있기 때문입니다.
2. 새로운 아이디어: "서로 싸우게 하라!" (수학 듀얼)
이 논문은 16 세기 이탈리아 수학자 '타르탈리아'의 일화를 빗대어 새로운 방식을 제안합니다. 당시 두 수학자가 서로에게 문제를 내고, 상대방이 그 문제를 풀게 하는 '수학 결투'를 벌였습니다.
**MathDuels(수학 듀얼)**은 이 원리를 AI 에게 적용합니다.
이중 역할: 각 AI 는 두 가지 역할을 동시에 합니다.
문제 출제자 (Author): 상대방을 당황하게 할 만큼 어려운 문제를 직접 만듭니다.
문제 해결자 (Solver): 다른 AI 가 만든 문제를 풉니다.
3. 어떻게 작동하나요? (게임 규칙)
이 평가는 마치 치열한 토너먼트처럼 진행됩니다.
문제 만들기: 각 AI 는 6 가지 수학 분야 (대수, 기하, 확률 등) 에서 어려운 문제를 30 개씩 만듭니다. 이때 AI 는 "상대방이 풀지 못하게 하라"는 미션이 주어집니다.
문제 풀기: 만든 AI 를 제외한 나머지 AI 들은 그 문제들을 모두 풉니다.
심사 (검증): 만약 답이 맞지 않거나 문제가 애매하면, 별도의 '심사위원 AI'가 문제를 다시 검토합니다. 문제가 너무 이상하거나 답이 없는 것은 제외합니다.
점수 매기기:
풀이 점수: 다른 AI 가 만든 문제를 얼마나 많이 풀었나요?
출제 점수: 내가 만든 문제가 다른 AI 들을 얼마나 많이 막아냈나요? (상대가 못 풀면 내 점수가 올라갑니다!)
최종 점수: 이 두 가지 점수를 합쳐서 순위를 매깁니다.
4. 놀라운 발견: "문제 푸는 것"과 "문제 내는 것"은 다릅니다!
이 실험을 통해 아주 중요한 사실을 발견했습니다.
해석: "수학 문제를 잘 푸는 AI"와 "어려운 문제를 잘 만드는 AI"는 서로 다른 능력일 수 있습니다.
예시: 어떤 AI 는 문제를 아주 잘 풀지만, 정작 문제를 만들 때는 상대방이 너무 쉽게 풀 수 있는 쉬운 문제만 냅니다. 반대로 어떤 AI 는 문제를 풀기는 조금 느리지만, 만든 문제는 다른 AI 들이 당황해서 풀지 못하게 만듭니다.
의미: 기존 시험은 '풀기' 능력만 봤기 때문에, '문제 만들기'라는 중요한 능력을 놓치고 있었습니다. MathDuels 는 이 두 가지를 모두 봅니다.
5. 왜 이 방식이 더 좋을까요? (한계가 없는 경기장)
진화하는 난이도: 고정된 시험지라면 AI 가 다 풀면 끝이지만, MathDuels 는 AI 가 더 똑똑해질수록 더 어려운 문제를 만들어냅니다.
새로운 AI 가 경기장에 들어오면, 그 AI 가 만든 문제는 기존에 강했던 AI 들도 풀지 못하게 만듭니다.
마치 체스나 바둑에서 새로운 대국자가 등장하면 게임의 수준이 자연스럽게 올라가는 것처럼, 이 평가 시스템은 AI 의 발전 속도에 맞춰 자동으로 난이도가 올라갑니다.
공정한 순위: 단순히 문제를 많이 푼 순서가 아니라, "누가 더 창의적이고 어려운 문제를 만들어내며, 동시에 그 문제를 해결할 능력도 있는가"를 종합적으로 봅니다.
6. 결론: AI 의 진짜 실력을 보는 거울
이 논문은 AI 를 단순히 '지식을 암기하는 기계'가 아니라, **'창의적으로 문제를 설계하고 해결하는 파트너'**로 평가해야 한다고 말합니다.
비유: 기존의 시험이 "주어진 미로에서 가장 빨리 출구로 나가는지"를 본다면, MathDuels 는 "상대방이 헤매도록 미로를 설계할 수 있는가"와 "그 미로를 풀 수 있는가"를 동시에 봅니다.
이 방식은 AI 가 수학의 최전선 (연구 수준) 에 도달하는 시대에, AI 들의 진정한 실력을 비교하고 발전 방향을 잡아주는 훌륭한 나침반이 될 것입니다.
한 줄 요약:
"AI 들에게 고정된 시험지를 주는 대신, 서로에게 어려운 문제를 내게 하고 풀게 하는 **'수학 결투'**를 시켜서, 누가 진짜로 똑똑하고 창의적인지 가려내자!"
1. 연구 배경 및 문제 정의 (Problem)
정적 벤치마크의 포화 (Saturation): 기존 수학 추론 벤치마크 (MATH, GSM8K 등) 는 고정된 문제 세트를 사용하며, 최첨단 언어 모델 (LLM) 들이 이 문제들을 거의 완벽하게 해결할 수 있게 되면서 모델 간 성능 차이를 구분하기 어려워졌습니다.
새로운 문제의 부족: 인간이 최첨단 모델의 능력을 구분할 수 있을 정도로 어려운 새로운 문제를 지속적으로 생성하는 것은 점점 더 어려워지고 있습니다.
단일 역할 평가의 한계: 기존 평가는 모델을 오직 '문제 해결자 (Solver)'로만 평가하여, '문제 생성자 (Author)'로서의 능력을 간과하거나 두 능력을 혼동하여 평가하는 문제가 있었습니다.
2. 제안된 방법론: MathDuels (Methodology)
저자들은 MathDuels라는 자기 대결 (Self-play) 벤치마크를 제안합니다. 이 프로토콜은 모델이 동시에 문제 생성자와 문제 해결자라는 두 가지 역할을 수행하게 합니다.
A. 프로토콜 단계 (4 단계)
문제 생성 (Generation):
각 모델은 3 단계 파이프라인을 통해 K개의 문제를 생성합니다.
메타 프롬프팅 (Meta-prompting): 모델이 먼저 문제 생성 전략을 수립하도록 유도합니다.
문제 생성: 전략에 따라 실제 수학 문제와 정답을 생성합니다.
난이도 증폭 (Difficulty Amplification): 생성된 문제를 더 어렵게 변형하여 심층 추론을 요구하도록 합니다.
생성된 문제는 6 가지 수학 도메인 (해석학, 대수학, 기하학/위상수학, 이산수학, 확률/통계, 응용/계산 수학) 에 균등하게 분포됩니다.
문제 해결 (Solving):
각 모델은 자신이 생성한 문제를 제외한 다른 모든 모델이 생성한 문제를 해결합니다.
정답 여부는 기호적 검증 (Symbolic verification) 을 통해 이진 결과 (0 또는 1) 로 기록됩니다.
검증 (Verification):
해답이 불일치하거나 모든 모델이 실패한 경우, 독립적인 검증 모델 (Verifier, 예: GPT-5.4-high) 이 문제를 재검토합니다.
검증 모델은 문제의 명확성 (Well-posedness) 을 확인하고, 올바른 정답을 선택합니다. 검증에 실패한 (모호하거나 잘못된) 문제는 평가에서 제외됩니다.
랭킹 (Ranking):
Rasch 모델을 사용하여 모든 시도 (Solver-Problem 쌍) 에 기반하여 **해결 능력 (sm)**과 **문제 난이도 (dp)**를 동시에 추정합니다.
Author Rating: 각 모델이 생성한 문제들의 평균 난이도를 기반으로 산출합니다.
Composite Rating: 해결 능력 점수와 생성 능력 점수를 1:1 비율로 가중하여 최종 점수를 산출합니다.
B. 핵심 설계 원리
적대적 난이도 (Adversarial Difficulty): 모델은 상대방을 이기기 위해 더 어려운 문제를 만들도록 유도됩니다.
진화하는 난이도: 더 강력한 모델이 참여하면 그들이 생성한 문제가 기존 최강 모델을 무너뜨리게 되어, 벤치마크의 전체 난이도 천장이 고정되지 않고 참여자의 능력에 따라 함께 진화합니다.
3. 주요 기여 (Key Contributions)
이중 역할 평가 프로토콜: 자동화된 문제 유효성 필터링을 포함하여, 모델을 문제 생성자와 해결자로서 동시에 평가하는 자기 대결 벤치마크를 제안했습니다.
역량 분리 발견: 19 개의 최첨단 모델을 대상으로 한 실험을 통해 **해결 능력과 생성 능력이 부분적으로 분리 (Decoupled)**되어 있음을 입증했습니다. 즉, 문제를 잘 푸는 모델이 반드시 어려운 문제를 잘 만들지는 않습니다.
포화 방지 설계: 새로운 강력한 모델이 참여할 때마다 벤치마크의 난이도가 자연스럽게 상승하여, 기존 벤치마크의 성능 포화 현상을 방지합니다.
공개 리더보드: 새로운 모델이 출시될 때마다 업데이트되는 공개 리더보드 (mathduels.ai) 를 운영합니다.
4. 실험 결과 (Results)
실험 설정: OpenAI, Google, Anthropic, xAI 등 9 개 제공업체의 19 개 최첨단 모델을 평가했습니다. 총 570 개의 문제가 생성되었으며, 검증 과정을 거쳐 559 개의 유효한 문제가 최종 평가에 사용되었습니다.
성능 순위의 변화:
해결 능력 1 위: GPT-5.4-high (해결 점수 2268)
종합 순위 1 위: Gemini-3.1-Pro-high (종합 점수 1919). 이 모델은 해결 능력은 2 위였으나, 생성한 문제의 평균 난이도가 가장 높아 (생성 능력 1 위) 종합 1 위를 차지했습니다.
이는 단일 역할 (해결만) 벤치마크에서는 보이지 않던 능력의 차이를 드러냈습니다.
난이도 분포: 생성된 문제의 약 39% 는 모든 모델이 해결할 수 있었으나, 나머지 '분별력 있는 꼬리 (Discriminating tail)' 부분의 문제들은 강력한 생성자들이 만든 매우 어려운 문제들이었습니다.
새로운 모델의 영향: 새로운 최강 모델 (Gemini-3.1-Pro-high, GPT-5.4-high) 이 생성한 문제 중 27.6% 가 기존 상위 3 개 모델 중 적어도 하나를 무너뜨렸으며, 이는 나머지 참가자들이 생성한 문제의 무너뜨림 비율 (8.0%) 보다 3.4 배 높았습니다.
도메인별 특성: 이산수학 (Discrete Mathematics) 이 가장 어려웠으며 (정답률 82.5%), 확률 및 통계 (Probability & Statistics) 가 가장 쉬웠습니다 (정답률 92.2%). 이는 문제의 본질적 난이도보다는 생성 파이프라인이 생성하는 문제의 구조적 특성 (구조가 명시되지 않은 문제 등) 에 기인한 것으로 분석되었습니다.
5. 의의 및 결론 (Significance)
평가 패러다임의 전환: 고정된 문제 풀이 능력을 넘어, 모델이 새로운 지식을 창출하고 (문제 생성) 이를 해결하는 (문제 해결) 능력을 종합적으로 평가할 수 있는 틀을 마련했습니다.
수학적 창의성 평가: 모델이 단순히 기존 문제를 푸는 것을 넘어, 수학자처럼 새로운 문제를 설계하고 그 경계를 탐구하는 능력을 측정할 수 있게 되었습니다.
미래 지향성: LLM 이 수학 연구의 최전선 (Open problems) 에 참여하게 될 미래에, 모델의 창의성과 엄밀한 추론 능력을 동시에 추적하고 비교하는 데 필수적인 도구가 될 것으로 기대됩니다.
확장성: 이 자기 대결 프레임워크는 프로그래밍 경시대회, 과학적 질문 답변 등 다른 분야로 확장 적용 가능합니다.
이 논문은 LLM 평가가 정적 벤치마크의 한계를 넘어, 모델 간의 상호작용을 통해 역동적으로 진화하는 새로운 평가 체계를 제시했다는 점에서 중요한 의의를 가집니다.