기술 요약: CoDiQ – 제어 가능한 고난도 문제 생성을 위한 테스트 타임 스케일링 (Test-Time Scaling)

1. 문제 정의

대규모 추론 모델(LRM)은 특히 수학 및 코딩 분야에서 복잡한 추론 작업에 있어 상당한 발전을 보여주었습니다. 그러나 이들의 발전은 고품질의 도전적인 학습 데이터의 부족으로 인해 병목 현상을 겪고 있습니다. 기존의 자동화된 문제 합성 방식은 다음과 같은 세 가지 주요 과제에 직면해 있습니다:

1. 생성기 용량의 한계 (Generator Capacity Ceiling): 모델이 자신이 신뢰성 있게 해결할 수 있는 수준보다 훨씬 더 어려운 문제를 생성하는 데 어려움을 겪으며, 이로 인해 발전이 정체됩니다.
2. 해결 가능성-복잡도 트레이드오프 (Solvability–Complexity Trade-off): 복잡성을 강요하면 논리적으로 일관성이 없거나, 정의가 불분명하거나, 해결 불가능한 "가짜 어려운(fake hard)" 문제가 발생하기 쉽습니다.
3. 제어 불가능한 난이도: 난이도는 직접적으로 관찰되거나 표준화되지 않으므로, 취약한 인간 참여형(human-in-the-loop) 파이프라인에 의존하지 않고 정밀한 난이도 제어를 통해 문제 생성을 확장하기 어렵습니다.

본 논문은 고난도 질문의 합성을 확장하면서도, 이들이 잘 정의되고 해결 가능한 상태를 유지하도록 하는 것을 목표로 합니다. 이는 순수하게 인간 중심적이거나 거친 입도(coarse-grained)의 자동화된 접근 방식을 넘어선 것입니다.

2. 방법론

저자들은 미세한 난이도 제어를 달성하기 위해 테스트 타임 스케일링을 활용하는 프레임워크인 **CoDiQ (Controllable Difficult Question Generation)**를 제안합니다. 이 방법론은 네 가지 핵심 구성 요소로 이루어져 있습니다.

2.1 난이도 강화 전략 (Difficulty-Enhancement Strategies)

단순한 프롬프팅(예: "더 어렵게 만들어")을 넘어 LLM을 유도하기 위해, 저자들은 인지적 스캐폴드(cognitive scaffolds) 역할을 하는 6가지 체계적인 전략을 설계했습니다:

• 차원 및 제약 조건 (Dimensionality & Constraints)
• 수학적 추상화 (Mathematical Abstraction)
• 역 및 구성적 (Inverse & Constructive)
• 상태 폭발 (State Explosion)
• 정리 위장 (Theorem Disguise)
• 에지 케이스 및 엄밀성 공학 (Edge Case & Rigor Engineering)

이러한 전략들은 난이도가 표면적인 수정이 아닌 추론의 깊이로부터 발생하도록 보장합니다.

2.2 CoDiQ 파이프라인

프레임워크의 핵심은 시드 질문 $Q_0$를 최대 $T_{max}=8$ 라운드에 걸쳐 점진적으로 어려워지는 변형 시퀀스 $\{Q_1, \dots, Q_n\}$으로 변환하는 반복적 진화 파이프라인(Algorithm 1)입니다.

• 반복적 정교화 (Iterative Refinement): 모델은 각 단계에서 "더 어렵게 만들기"를 수행하도록 프롬프트됩니다.
• 하이브리드 검증 (Hybrid Verification): 두 가지 모듈이 프로세스를 조절합니다:
  • 난이도 추정: LLM-Ranking(Doubao-Seed-1.8 사용)과 ValueNetwork Scoring(Qwen3-8B의 은닉 상태 사용)을 결합한 상대적 난이도 패러다임을 사용하여 연속적인 난이도 점수를 할당합니다. 이는 절대적 점수 산출에서 나타나는 포화 효과를 방지합니다.
  • 해결 가능성 검증: Qwen3-32B를 사용하여 논리적 일관성과 해결 가능성을 검증함으로써, 유효한 인스턴스만 유지되도록 합니다.
• 종료 기준: 난이도가 역행(비단조성)하거나 문제가 해결 불가능하다고 플래그가 지정되면 프로세스가 중단됩니다.

2.3 CoDiQ-Generator (RL 학습)

생성기의 용량 한계를 극복하기 위해, 저자들은 강화 학습(RL)을 사용하여 Qwen3-8B를 기반으로 한 특화된 생성기(CoDiQ-Generator)를 학습시킵니다.

• 데이터 구축: RL 데이터셋($D_{RL}$)은 모델이 여러 라운드 동안 유효한 질문을 성공적으로 생성하지만, 다음 단계에서 실패하는(해결 불가능성 또는 난이도 정체로 인해) "경계 인스턴스(boundary instances)"를 포착합니다.
• 보상 함수: 난이도 인식 보상 함수는 유효성 보장과 점진적인 난이도 확장을 균형 있게 조절합니다. 이는 유효하지 않은 출력을 처벌하고, 신뢰도에 가중치를 두어 양의 난이도 진행($\Delta(D) > 0$)에 보상을 줍니다.
• 최적화: 모델은 VeRL 프레임워크 내에서 GRPO 알고리즘을 사용하여 미세 조정됩니다.

2.4 CoDiQ-Corpus

CoDiQ-Generator를 사용하여 저자들은 44,000개의 경시대회 수준 수학 및 코딩 질문 시퀀스로 구성된 CoDiQ-Corpus를 구축했습니다. 이 데이터셋은 토큰 예산과 검증 점수에 따라 난이도별로 계층화되어 있습니다.

3. 주요 기여

1. 난이도 강화 전략: LLM이 알고리즘적 난이도를 체계적으로 주입하도록 유도하여 제로샷 베이스라인을 뛰어넘는 질문을 합성할 수 있게 하는 6가지 명시적 전략을 제공합니다.
2. 테스트 타임 스케일링 경향성: 추론 토큰 예산이 늘어날수록 난이도는 높아지지만 해결 가능성은 낮아지는 스케일링 경향성을 확인했습니다. 본 논문은 유효한 고난도 질문을 생성할 수 있는 모델 용량의 상한선을 규명합니다.
3. CoDiQ-Corpus: 44K개의 경시대회급 질문 데이터셋을 구축했습니다. 실험 결과, 이 코퍼스로 LRM을 학습시키는 것이 기존 베이스라인보다 추론 성능을 크게 향상시킨다는 것을 보여주었습니다.

4. 실험 결과

4.1 생성 성능

• 최대 해결 가능 난이도: CoDiQ-Bench(200개의 큐레이션된 사례)에서 CoDiQ-Gen-8B 모델은 훨씬 더 큰 모델(예: Qwen3-32B)보다 고복잡도 인스턴스 생성에서 우수한 성능을 보였습니다. 이 모델은 조기 종료 없이 복잡성을 축적하며 더 많은 반복 라운드 동안 높은 유효율을 유지했습니다.
• 토큰 상관관계: 추론 토큰 소비량과 난이도 순위 사이에 강한 양의 상관관계(Pearson $r \approx 0.83-0.85$)가 발견되었으며, 이는 토큰 볼륨이 난이도의 신뢰할 수 있는 대리 지표임을 확인시켜 줍니다.
• 스케일링 경향성: GLM-4.6과 같은 더 큰 모델은 높은 해결 가능성을 유지하는 반면, 작은 모델들은 CoDiQ 프롬프팅 하에서 "유효성 붕괴(validity collapse)"를 겪는 경우가 많았습니다. 그러나 RL로 정렬된 CoDiQ-Gen-8B는 난이도 스케일링과 유효성 손실을 성공적으로 분리했습니다.

4.2 코퍼스 품질 및 난이도

• 난이도 비교: 인간 평가 및 자동화된 랭킹에 따르면, CoDiQ-Corpus의 질문들은 기존 벤치마크인 LiveCodeBench 및 AIME보다 유의미하게 더 어렵습니다 (평균 난이도 순위: AIME의 ~51.5% 대비 CoDiQ는 87.1%).
• 해결 가능성: 높은 난이도에도 불구하고, 인간 평가는 수락된 인스턴스에 대해 82%의 해결 가능성을 확인했습니다.
• 검증기 역설 (Verifier Paradox): 분석 결과, 일부 유효한 문제들이 검증기의 추론 지평(reasoning horizon)을 초과했기 때문에 검증기에 의해 거부되었습니다. 이는 파이프라인의 상한선이 검증기의 능력에 의해 제한된다는 한계를 보여줍니다.

4.3 학습 효과

• 커리큘럼 학습: 예산 제어 커리큘럼(점진적 난이도)을 사용하여 CoDiQ-Corpus로 모델(CoDiQ-Li-4B)을 학습시킨 결과, 기존 데이터셋에 대한 표준 RL 학습보다 MATH-500 및 AIME 2024에서 더 우수한 결과를 얻었습니다.
• 성능 향상: CoDiQ-L3-4B는 AIME 2024에서 70.6%의 점수를 기록하여, 베이스라인인 Qwen3-RL-4B(64.3%)를 능가했습니다.

5. 의의 및 주장

본 논문은 CoDiQ가 논리적 유효성을 유지하면서 합성 추론 데이터의 난이도를 확장할 수 있는 원칙적인 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 큐레이션으로부터의 복잡도 분리: 비용이 많이 드는 순수 인간 주도형 파이프라인에 의존하지 않고도 프런티어 수준의 감독 데이터를 생성하는 방법을 제시합니다.
• 제어 가능한 스케일링: 테스트 타임 스케일링과 하이브리드 검증을 도입함으로써 "가짜 어려운" 문제를 해결하고, 난이도 증가가 해결 가능성을 해치지 않도록 보장합니다.
• 경험적 검증: CoDiQ-Corpus가 다운스트림 추론 능력을 향상시키는 데 성공했다는 점은, 제어된 난이도의 학습 질문을 스케일링하는 것이 LRM 성능을 개선하는 효과적인 전략임을 입증합니다.

저자들은 영어 수학/코딩 작업에 국한된 점, 검증의 계산 비용, 그리고 유효한 문제가 검증기의 능력을 초과하여 폐기될 수 있는 "검증기 역설" 등의 한계를 인정합니다. 이들은 스케일링 법칙 및 자동화된 커리큘럼 학습에 대한 향후 연구를 지원하기 위해 코퍼스, 생성기 및 구현체를 오픈 소스로 공개합니다.