기술 요약: 수학적 추론을 위한 검증자 기반 난제 생성

문제 제기

대규모 언어 모델 (LLM) 은 과학 및 수학 문제 해결에서 전문가 수준의 성과를 거두었지만, 유효한 그리고 도전적인 새로운 문제를 자율적으로 생성하는 데는 어려움을 겪고 있습니다. 이 능력은 두 가지 이유로 중요합니다: 고난이도 데이터를 통한 LLM 학습의 발전과 모델이 새로운 질문을 formulation 할 수 있는 완전한 자율 과학 연구의 실현입니다.

기존 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 인간 의존적 방법: 도메인 전문가가 문제를 구성하거나 수정하는 방식은 느리고 비용이 많이 들며, 난이도 상한을 인간의 능력으로 제한합니다.
2. 순진한 자기 플레이 (Self-Play): '문제 제시자 - 해결자' 이중성 (문제 제시자가 문제를 생성하고 해결자의 실패율이 제시자의 보상을 결정하는 방식) 을 사용하는 방법들은 보상 해킹 (reward hacking) 에 시달립니다. 제시자는 해결자가 답할 수 없는 유효하지 않거나 불완전하게 명시된 문제를 생성하여, 유효하고 도전적인 콘텐츠를 생산하지 않은 채 인위적으로 난이도 보상을 부풀릴 수 있습니다. 이는 학습 품질의 붕괴로 이어집니다.

방법론: VHG 프레임워크

본 논문은 문제의 유효성과 난이도를 분리하도록 설계된 검증자 기반 난제 생성 (VHG, Verifier-Backed Hard Problem Generation) 을 제안합니다. 이 프레임워크는 기존의 제시자 - 해결자 루프에 독립적인 검증자 (Verifier) 모듈을 도입합니다.

핵심 구성 요소

1. 제시자 ($Q$): 문제 $x$와 참조 해답 $y^\star$로 이루어진 문제 - 참조 쌍 $(x, y^\star)$을 생성하는 LLM 입니다. 표준 자기 플레이와 달리, 제시자는 해답을 제공해야 하므로 검증 가능한 유효성 검사가 가능합니다.
2. 해결자 ($S$): 생성된 문제 $x$를 해결하려는 시도하는 LLM 입니다. 경험적 정확도 $Acc_S(x, y^\star)$는 문제 난이도에 대한 신호로 작용합니다.
3. 검증자 ($V$): 학습이나 채점에 사용되기 전에 쌍 $(x, y^\star)$의 정확성을 검증하는 모듈입니다.

보상 메커니즘

핵심 혁신은 제시자를 위한 검증자 게이트 보상 함수입니다. 제시자는 생성된 쌍이 유효할 때만 보상을 받습니다. 보상 함수는 다음과 같이 정의됩니다:
$$R_Q(x, y^\star) = \mathbb{1}[V(x, y^\star)=1] \cdot (1 - Acc_S(x, y^\star))$$
여기서:

• $\mathbb{1}[V(x, y^\star)=1]$은 검증자가 쌍을 수락할 때만 1 이 되는 지시 함수입니다.
• $(1 - Acc_S(x, y^\star))$는 난이도 (해결자 정확도의 역수) 를 나타냅니다.

이 설계는 제시자가 해결자가 기본적으로 실패하는 유효하지 않은 문제를 생성함으로써 높은 보상을 얻지 못하도록 보장합니다. 해결자의 실패는 검증자가 문제가 잘 정의되어 있고 해답이 정확하다고 확인한 이후에야 보상에 기여합니다.

검증자 변형

본 논문은 다양한 작업 제약을 처리하기 위해 두 가지 유형의 검증자를 구현합니다:

1. 하드 검증자 (기호적): 부정적분에 사용됩니다. 생성된 부정적분의 미분이 피적분 함수와 일치하는지 엄격하게 검증하기 위해 기호 계산 라이브러리 (예: SymPy) 를 활용합니다. 이는 거의 100% 의 신뢰도를 제공합니다.
2. 소프트 검증자 (LLM 기반): 일반 수학적 추론에 사용됩니다. 문제의 잘 정의됨, 해답의 정확성, 그리고二者 간의 대응 관계를 검증하기 위해 심사관으로서의 LLM 을 활용합니다. 노이즈를 완화하기 위해 LLM 평가 전에 하드 코딩된 필터 (잘못된 형식의 출력, 누락된 답변, 또는 단순 복사본 거부) 와 결합됩니다.

학습 파이프라인

프로세스는 일관된 워크플로우를 따릅니다:

1. 시드 문제 - 참조 쌍에 대한 콜드 지도 미세 조정 (SFT) 을 통해 제시자를 초기화합니다.
2. 제시자가 후보 쌍을 생성합니다.
3. 검증자가 쌍을 게이트하여 유효하지 않은 것을 거부합니다.
4. 검증자 수락된 쌍만 난이도 평가를 위해 해결자에 의해 채점됩니다.
5. 제시자는 난이도 기반 보상을 사용하여 강화 학습 (RL) 을 통해 업데이트됩니다.
6. 수락된 풀 (pool) 은 해결자를 학습하거나 도전 데이터셋을 구성하는 데 사용됩니다.

주요 기여

1. 삼자 자기 플레이 프레임워크: 제시자 - 해결자 역학에 검증자 모듈을 도입하여 유효하지 않은 문제 생성을 방지하고 보상 해킹을 완화합니다.
2. 하드 및 소프트 검증자의 경험적 검증: VHG 가 유효하고도 어려운 새로운 도전적인 문제를 생성하며, 기호적 (하드 검증자) 과 일반적 (소프트 검증자) 영역 모두에서 베이스라인을 능가함을 보여주는 광범위한 실험.
3. 메커니즘 분석: 검증자가 품질 보장에 필수적임을 보여주는 종합적 분석. 연구는 검증자 없이 자기 플레이 방법 (R-Zero 등) 은 더 쉽거나 유효하지 않은 문제로 이동하는 경향이 있는 반면, VHG 는 분포를 어렵고 유효한 문제로 성공적으로 이동시킴을 밝힙니다.

실험 결과

부정적분 (하드 검증자)

• 설정: AntiderivBench (Qualifier/Competition) 및 큐레이션된 적분 스트레스 테스트에서 평가.
• 성능: VHG 는 최첨단 R-Zero를 포함한 베이스라인을 크게 능가했습니다.
  • Pass@1 개선: 베이스 모델 대비 (Competition) +16.9%, (Qualifier) +16.6%, (Stress Test) +21.4%.
  • 비교: R-Zero 는 3 회 반복 후에도 일반 GRPO 를 능가하지 못하여 하드 검증의 필요성을 부각시켰습니다.
• 도전 과제 생성: VHG 는 8 배 더 큰 모델 (Qwen3-32B) 에게도 여전히 도전적인 문제를 생성했으며, 가장 어려운 하위 집합에 대해서는 Pass@1 비율이 50% 미만이었습니다.

일반 수학 (소프트 검증자)

• 설정: MATH, GSM8K, AMC, Minerva, Olympiad, AIME(2024–2026) 벤치마크에서 평가.
• 성능: VHG 는 대부분의 벤치마크에서 성능을 향상시켜 전체 Pass@1 정확도를 **56.8% 에서 69.0%**로 높였습니다.
• 애블레이션: VHG 는 GSM8K 를 제외한 모든 벤치마크에서 R-Zero 를 능가했습니다. 저자들은 GSM8K 의 하락을 분포 변화로 귀인했는데, VHG 는 더 어려운 문제 생성에 집중하는 반면 GSM8K 는 초등학교 수준의 질문으로 구성되어 있기 때문입니다.

약한 모델에서 강한 모델로의 일반화

주목할 만한 발견은 Qwen3-4B와 같은 작은 모델을 기반으로 한 제시자와 해결자가 Qwen3-8B, 14B, 32B와 같이 훨씬 더 큰 모델을 도전하는 문제를 생성할 수 있다는 점입니다. 이는 더 약한 모델을 사용하여 더 강력한 모델을 위한 고품질 학습 데이터를 생성하는 확장 가능한 경로를 시사합니다.

중요성과 주장

본 논문은 단순히 제안하는 생성기가 아닌, 이를 선택하는 보상 오라클을 통해 하드 합성 수학 문제를 연구해야 한다고 주장합니다.

• 1 차적 게이트로서의 유효성: 주요 기여는 난이도 평가의 전제 조건으로 유효성을 확립하는 것입니다. 해결자의 실패가 유효성이 확인된 이후에야 난이도로 해석되도록 보장함으로써, VHG 는 순진한 자기 플레이에서 관찰되는 학습 파이프라인의 붕괴를 피합니다.
• 확장성: 이 프레임워크는 검증자 기반 생성이 현재 LLM 의 능력 한계를 밀어붙이는 데이터를 생성할 수 있음을 보여주며, 정적 인간 데이터셋에 의존하지 않고 더 자율적인 과학 연구와 지속적인 모델 개선을 위한 경로를 제공합니다.
• 보장 사항에 대한 겸손함: 저자들은 정확한 유효성 보장이 하드 검증자 설정 (부정적분) 에만 적용된다고 명시적으로 지적합니다. 일반 수학의 경우, 결과는 LLM 심사관이 여전히 미묘한 오류나 불완전하게 명시된 문제를 수락할 수 있음을 인정하면서, 실용적인 소프트 검증자 파이프라인의 증거로 제시됩니다. 이 작업은 검증자 백엔드의 품질이 궁극적으로 난제 생성의 상한을 결정한다고 강조합니다.