Code2Math: Can Your Code Agent Effectively Evolve Math Problems Through Exploration?

이 논문은 코드 에이전트가 기존 수학 문제를 더 복잡하고 해결 가능한 변형으로 진화시키는 다중 에이전트 프레임워크를 제안하며, 실험을 통해 코드 실행 환경이 확장 가능한 고난이도 수학 문제 생성 메커니즘으로 유효함을 입증했습니다.

핵심

이 논문은 **"코딩을 잘하는 AI 가 수학 문제를 스스로 더 어렵고 흥미롭게 만들어낼 수 있을까?"**라는 질문에 답하는 연구입니다.

핵심 내용을 요리조리 설명해 드릴게요.

1. 배경: 왜 이 연구를 했나요?

지금까지 AI(대형 언어 모델) 는 수학 문제를 푸는 실력이 많이 늘었습니다. 하지만 AI 를 더 똑똑하게 가르치려면 '풀기 힘든 새로운 문제'가 계속 필요합니다.

• 문제: 사람이 직접 어려운 수학 문제를 만들기는 너무 힘들고 시간이 많이 걸립니다.
• 해결책: AI 가 스스로 문제를 만들어내면 어떨까? 하지만 AI 가 만든 문제가 엉터리일 수도 있으니, 검증이 필요합니다.

2. 해결 방법: "세 명의 요리사"가 함께 일합니다

저자들은 AI 가 문제를 만들고 검증하는 과정을 세 명의 역할이 나뉜 팀으로 만들었습니다.

1. 진화 요리사 (Evolution Agent):

   • 역할: 기존에 있는 쉬운 수학 문제를 받아서, 더 어렵고 재미있는 버전으로 변형합니다.
   • 비유: 마치 "감자튀김"을 받아서 "고급 감자 스테이크"로 재창조하는 셰프입니다. 단순히 양만 늘리는 게 아니라, 맛과 식감을 완전히 바꿉니다.
   • 특기: 이 요리사는 파이썬 코드를 직접 실행해 봅니다. "이렇게 변형하면 정말 해답이 나올까? 숫자를 넣어보자!"라고 코드로 시뮬레이션을 돌리며 문제를 설계합니다.

2. 안전 검사원 (Solvability Verification Agent):

   • 역할: 요리사가 만든 새 요리 (문제) 가 과연 먹을 수 있는지 (해결 가능한지) 확인합니다.
   • 비유: 위생 검사관입니다. "이 요리에 독이 섞였나? 재료 배합이 이상하지는 않나?"를 꼼꼼히 따져봅니다. 코드로 계산해 보니 답이 안 나온다면 "이건 먹으면 안 돼!"라고 폐기합니다.

3. 맛 평가원 (Difficulty Verification Agent):

   • 역할: 새 요리가 진짜로 더 어려운지, 아니면 단순히 계산만 복잡한지 평가합니다.
   • 비유: 미식가입니다. "계산만 많이 해서 힘들게 한 거야, 아니면 진짜로 머리를 써야 하는 '아하!' 순간이 있는 거야?"를 판단합니다. 단순히 숫자를 크게 만든 건 점수를 안 줍니다.

3. 실험 결과: AI 는 성공할 수 있을까?

이 세 명의 AI 팀이 100 개의 기존 수학 문제를 가지고 실험을 해보았습니다.

• 성공: AI 가 만든 문제 중 90% 이상이 논리적으로 완벽하고 해결 가능한 문제였습니다.
• 난이도 상승: 기존에 AI 가 쉽게 풀던 문제들을, AI 가 변형한 후에는 AI 도 풀기 어려워졌습니다.
  • 예시: 원래는 70% 의 확률로 풀리던 문제가, 변형 후에는 60% 로 떨어졌습니다. 즉, AI 가 스스로 만든 문제가 AI 자신보다 더 어렵게 만들 수 있다는 뜻입니다.
• 코드 실행의 힘: AI 가 단순히 글로만 생각한 게 아니라, 코드를 짜서 숫자를 계산해 보는 과정을 거쳤기 때문에, 훨씬 더 정교하고 구조적으로 복잡한 문제를 만들 수 있었습니다.

4. 한계점: 완벽하지는 않아요

• 시간과 비용: 좋은 문제를 하나 만들려고 하면, AI 가 여러 번 실패하고 다시 시도해야 합니다. (성공하기까지 평균 3~6 번의 실패가 필요함)
• 계산 비용: 이 과정을 위해 많은 컴퓨터 자원과 시간이 듭니다.

5. 결론: 왜 이 연구가 중요할까요?

이 연구는 **"AI 가 스스로 학습할 수 있는 '고난이도 교재'를 직접 만들어낼 수 있다"**는 것을 증명했습니다.

• 상징: 마치 AI 가 스스로 '수학 올림피아드' 문제를 출제하고, 그 문제를 풀면서 더 똑똑해지는 사이클을 만들었다는 뜻입니다.
• 미래: 앞으로 AI 가 더 복잡한 추론 능력을 갖추려면, 사람이 일일이 문제를 만들어줄 필요 없이 AI 가 스스로 탐험하며 문제를 만들어내는 방식이 핵심이 될 것입니다.

한 줄 요약:

"코딩을 잘하는 AI 가 스스로 어려운 수학 문제를 만들어내고, 그 문제를 검증해서 더 똑똑한 AI 로 키우는 시스템을 개발했습니다."

기술 요약

1. 문제 정의 (Problem)

현재 LLM 의 수학 능력 향상은 IMO 수준의 난이도 있는 문제 풀이까지 도달했지만, 이러한 고난도 문제를 생성하는 데는 인간의 전문 지식과 노력이 많이 소요되어 확장성이 떨어집니다. 기존 자동화 방법들은 단순한 규칙 기반의 변형에 그치거나, 생성된 문제의 품질과 난이도 증가를 체계적으로 검증하지 못하는 한계가 있었습니다. 따라서 코드 에이전트가 탐구 (Exploration) 를 통해 기존 문제를 구조적으로 변형하고, 그 난이도를 검증하여 새로운 고난도 문제를 생성할 수 있는지를 연구하는 것이 핵심 과제입니다.

2. 방법론 (Methodology)

저자들은 테스트 시간 확장 (Test-time Scaling) 패러다임을 기반으로 한 3 에이전트 다중 에이전트 시스템을 설계했습니다. 이 시스템은 코드를 실행 도구로 활용하여 수학적 탐구를 수행합니다.

2.1. 다중 에이전트 아키텍처

1. 진화 에이전트 (Evolution Agent):
   • 역할: 주어진 시드 문제 (Seed Problem) 와 해법을 분석하여 해결사의 인지적 병목 지점을 파악한 후, 더 난이도 높은 새로운 문제를 설계합니다.
   • 전략: '발견의 부담 (Burden of Discovery)' 개념을 도입하여, 숙련된 경쟁자도 접근점을 찾기 어렵도록 의도적으로 통찰력을 숨깁니다.
   • 도구 활용: SymPy, Z3, NetworkX, itertools 등 Python 라이브러리를 사용하여 수치 시뮬레이션, 제약 조건 만족, 그래프 분석 등을 수행하며 가설을 검증합니다.
2. 해결 가능성 검증 에이전트 (Solvability Verification Agent):
   • 역할: 생성된 문제의 논리적 일관성과 해법의 타당성을 검증합니다.
   • 프로세스: 표면적 오류 검출 후, 제안된 해법의 각 단계를 코드로 독립적으로 재계산하여 논리적 결함 (모순, 잘못된 유도 등) 을 찾아냅니다. 해법이 논리적으로 완벽하면 문제가 해결 가능하다고 간주합니다.
3. 난이도 검증 에이전트 (Difficulty Verification Agent):
   • 역할: 원본 문제와 진화된 문제의 난이도 차이를 평가합니다.
   • 기준: 단순한 계산량 증가 (Artificial Complexity) 가 아닌, 새로운 통찰 (Aha moment) 이 필요한지, 표준 해법 템플릿을 무효화하는지 여부를 5 점 척도로 평가합니다.

2.2. 테스트 시간 탐구 (Test-time Exploration)

에이전트는 단일 추론이 아닌 여러 번의 롤아웃 (Rollouts) 을 수행합니다. 각 시도에서 코드를 실행하여 구조적 제약을 탐색하고, 해결 가능성과 난이도 기준을 만족할 때까지 반복적으로 문제를 수정합니다. 이는 단순한 텍스트 추론을 넘어 실행 가능한 계산 환경을 통한 체계적 탐색을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

• 새로운 프레임워크 제안: 문제 적응 (Adaptation) 과정을 3 개의 전문 에이전트로 분해하고, 코드 실행을 통해 기호적 추론과 구조적 탐색을 결합한 체계적인 프레임워크를 제시했습니다.
• 자율적 난이도 증대: 에이전트가 스스로 자신의 해결 능력 한계를 넘어서는 난이도의 문제를 생성할 수 있음을 증명했습니다. 즉, 모델이 풀지 못하는 문제를 스스로 설계할 수 있습니다.
• 체계적 검증 메커니즘: 해결 가능성과 난이도 증가를 동시에 검증하는 이중 검증 시스템을 통해, 수학적으로 타당하면서도 본질적으로 더 어려운 문제들을 생성했습니다.

4. 실험 결과 (Results)

연구진은 DeepSeek, Gemini, Kimi 등 다양한 LLM 을 진화 에이전트로 활용하고, 6 개의 다른 솔버 모델로 생성된 문제를 평가했습니다.

• 해결 가능성 (Solvability): 생성된 문제의 해결 가능성은 매우 높았습니다. 예를 들어, DeepSeek-Reasoner 에이전트가 생성한 문제 중 외부 심판 (GPT-5.2-High) 과의 일치율 (Agreement Rate) 이 약 96% 에 달했습니다.
• 난이도 증가 (Difficulty Escalation):
  • 진화된 문제는 원본 문제보다 솔버 모델의 정확도를 현저히 낮췄습니다. (예: DeepSeek-Reasoner 가 생성한 문제는 GPT-5.2-High 의 정확도를 70% 에서 64% 로 낮춤).
  • 토큰 소비량 증가: 진화된 문제를 풀기 위해 솔버 모델이 사용한 평균 토큰 수가 원본 문제 대비 크게 증가했습니다. 이는 단순한 계산량 증가가 아닌, 더 깊은 추론과 탐색을 요구함을 의미합니다.
• 능력의 비대칭성: 일부 모델은 자신보다 강력한 솔버 모델의 성능을 저하시킬 수 있는 문제를 생성했습니다. 이는 에이전트가 자신의 추론 능력을 초월하는 '발견의 부담'을 설계할 수 있음을 시사합니다.
• 효율성: 성공적인 문제 생성을 위해 평균 1.56~6.55 번의 실패 시도 (롤아웃) 가 필요했으며, 이는 해결 가능성 검증 (논리적 일관성) 이 주요 병목 지점임을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 확장 가능한 데이터 생성: Code2Math 는 고난도 수학 추론 데이터를 자동으로 생성할 수 있는 확장 가능한 메커니즘을 제공합니다. 이는 LLM 의 수학 능력 향상을 위한 훈련 데이터 부족 문제를 해결할 잠재력을 가집니다.
• 코드 기반 탐구의 가치: 단순한 텍스트 추론이 아닌, 코드 실행을 통한 체계적인 탐색 (Exploration) 이 복잡한 수학 문제의 구조를 이해하고 새로운 통찰을 발견하는 데 필수적임을 입증했습니다.
• 미래 방향: 계산 비용과 효율성 간의 트레이드오프를 줄이고, 해결 가능성 보장을 강화하며, 수학 외의 다른 구조적 추론 영역으로 이러한 탐구 전략을 확장하는 것이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 논문은 코드 에이전트가 수학적 공간을 자율적으로 탐구하여 기존 문제를 진화시키고, 검증된 고난도 문제를 생성할 수 있음을 실증적으로 보였으며, 이는 AI 의 자기 진화 (Self-evolution) 와 고난도 추론 능력 향상을 위한 중요한 방향성을 제시합니다.