Technische Samenvatting: CoDiQ – Test-Time Scaling voor Controleerbare Generatie van Moeilijke Vragen

1. Probleemstelling

Large Reasoning Models (LRMs) hebben significante vooruitgang getoond in complexe redeneertaken, met name in wiskunde en programmeren. Hun vooruitgang wordt echter beperkt door de schaarste aan hoogwaardige, uitdagende trainingsdata. Bestaande geautomatiseerde methoden voor het synthetiseren van moeilijke vragen staan voor drie primaire uitdagingen:

1. Capaciteitsplafond van de Generator: Modellen worstelen met het genereren van vragen die aanzienlijk moeilijker zijn dan de vragen die zij zelf betrouwbaar kunnen oplossen, wat leidt tot stagnatie.
2. Afruil tussen Oplosbaarheid en Complexiteit: Het afdwingen van complexiteit resulteert vaak in "nepmoeilijke" vragen die logisch inconsistent, slecht gedefinieerd of onoplosbaar zijn.
3. Oncontroleerbare Moeilijkheidsgraad: Moeilijkheid is niet direct observeerbaar of gestandaardiseerd, wat het moeilijk maakt om de generatie van vragen te schalen met een precieze controle over de moeilijkheidsgraad zonder te vertrouwen op broze menselijke-in-de-lus-pipelines.

Het paper streeft ernaar de synthese van moeilijkheidsgraad-verhogende vragen te schalen terwijl ze goed gestructureerd en oplosbaar blijven, waarbij men verder gaat dan puur door mensen gestuurde of grofmazige geautomatiseerde benaderingen.

2. Methodologie

De auteurs stellen CoDiQ (Controllable Difficult Question Generation) voor, een framework dat gebruikmaakt van test-time scaling om fijnmazige controle over de moeilijkheidsgraad te bereiken. De methodologie bestaat uit vier kerncomponenten:

2.1 Strategieën voor Moeilijkheidsverhoging

Om Large Language Models (LLMs) te begeleiden voorbij naïeve prompting (bijv. "maak dit moeilijker"), ontwerpen de auteurs zes systematische strategieën die dienen als cognitieve steunstructuren:

• Dimensionaliteit & Constraints (Dimensies & Beperkingen)
• Wiskundige Abstractie
• Inversie & Constructie
• State Explosion (Toestandsexplosie)
• Theorem Disguise (Stellingvermomming)
• Edge Case & Rigor Engineering (Randgevallen & Rigor Engineering)

Deze strategieën zorgen ervoor dat moeilijkheid voortkomt uit diepte van redeneren in plaats van oppervlakkige wijzigingen.

2.2 De CoDiQ-Pipeline

De kern van het framework is een iteratieve evolutionaire pipeline (Algoritme 1) die een zaadvraag $Q_0$ transformeert naar een sequentie van steeds moeilijkere varianten $\{Q_1, \dots, Q_n\}$ over maximaal $T_{max}=8$ rondes.

• Iteratieve Verfijning: Het model krijgt de opdracht om in elke stap "het moeilijker te maken".
• Hybride Verificatie: Twee modules reguleren het proces:
  • Moeilijkheidsinschatting: Gebruikt een relatief moeilijkheidsparadigma dat LLM-Ranking (met Doubao-Seed-1.8) combineert met ValueNetwork Scoring (met behulp van Qwen3-8B verborgen toestanden) om continue moeilijkheidsscores toe te wijzen. Dit voorkomt verzadigingseffecten die bij absolute scoring optreden.
  • Oplosbaarheidsverificatie: Gebruikt Qwen3-32B om logische consistentie en oplosbaarheid te verifiëren, om er zeker van te zijn dat alleen geldige instanties worden behouden.
• Terminatiecriteria: Het proces stopt als de moeilijkheidsgraad achteruitgaat (niet-monotoon) of als de vraag als onoplosbaar wordt gemarkeerd.

2.3 CoDiQ-Generator (RL Training)

Om het capaciteitsplafond van de generator te overwinnen, trainen de auteurs een gespecialiseerde generator (CoDiQ-Generator) gebaseerd op Qwen3-8B met behulp van Reinforcement Learning (RL).

• Data Constructie: De RL-dataset ($D_{RL}$) legt "grensgevallen" vast waar het model succesvol geldige vragen genereert voor meerdere rondes, maar faalt bij de volgende (door onoplosbaarheid of stagnatie van de moeilijkheidsgraad).
• Beloningsfunctie: Een moeilijkheidsbewuste beloningsfunctie balanceert garanties op geldigheid met progressieve moeilijkheidsverhoging. Het straft ongeldige outputs af en beloont positieve moeilijkheidsprogressie ($\Delta(D) > 0$) gewogen door vertrouwen.
• Optimalisatie: Het model wordt gefinetuned met behulp van het GRPO-algoritme binnen het VeRL-framework.

2.4 CoDiQ-Corpus

Met behulp van de CoDiQ-Generator hebben de auteurs de CoDiQ-Corpus geconstrueerd, een dataset van 44.000 wedstrijdwaardige wiskunde- en programmeervragen-sequenties. De dataset is gestratificeerd op basis van moeilijkheidsgraad, afgeleid van het tokenbudget en verificatiescores.

3. Belangrijkste Bijdragen

1. Strategieën voor Moeilijkheidsverhoging: Zes expliciete strategieën die LLMs begeleiden om algoritmische moeilijkheid systematisch te injecteren, wat de synthese van vragen mogelijk maakt die de zero-shot baselines overtreffen.
2. Test-Time Scaling Tendency: De identificatie van een schalingstendens waarbij uitgebreide redeneer-tokenbudgetten de moeilijkheidsgraad verhogen maar de oplosbaarheid verminderen. Het paper karakteriseert de bovengrens van de capaciteit van een model om geldige, moeilijke vragen te produceren.
3. CoDiQ-Corpus: Een dataset van 44K wedstrijdwaardige vragen. Experimenten tonen aan dat het trainen van LRMs op deze corpus de redeneerprestaties aanzienlijk verbetert ten opzichte van bestaande baselines.

4. Experimentele Resultaten

4.1 Generatieprestaties

• Maximale Oplosbare Moeilijkheidsgraad: Op de CoDiQ-Bench (200 gecureerde gevallen) presteerde het CoDiQ-Gen-8B model aanzienlijk beter dan veel grotere modellen (bijv. Qwen3-32B) in het genereren van complexe instanties. Het behield hoge validiteitspercentages over meer iteratierondes, waardoor complexiteit werd opgebouwd zonder voortijdige terminatie.
• Token Correlatie: Er werd een sterke positieve correlatie gevonden tussen het verbruik van redeneer-tokens en de moeilijkheidsrangschikking (Pearson $r \approx 0.83-0.85$), wat bevestigt dat tokenvolume een betrouwbare proxy is voor moeilijkheid.
• Scaling Tendency: Hoewel grotere modellen (GLM-4.6) een hoge oplosbaarheid behielden, leden kleinere modellen vaak onder "validiteitsinstorting" onder CoDiQ-prompting. Echter, de RL-aligned CoDiQ-Gen-8B slaagde erin de moeilijkheidsscaling te ontkoppelen van het verlies van validiteit.

4.2 Corpus Kwaliteit en Moeilijkheid

• Moeilijkheidsvergelijking: Menselijke evaluatie en automatische rangschikking gaven aan dat de vragen in de CoDiQ-Corpus aanzienlijk uitdagender zijn dan bestaande benchmarks zoals LiveCodeBench en AIME (Gemiddelde Moeilijkheidsrang: 87,1% vs. ~51,5% voor AIME).
• Oplosbaarheid: Ondanks de hoge moeilijkheidsgraad bevestigde menselijke evaluatie een oplosbaarheidspercentage van 82% voor geaccepteerde instanties.
• Verifier Paradox: Analyse toonde aan dat sommige geldige problemen werden afgewezen door de verifier omdat ze de redeneerhorizon van de verifier overschreden, wat een beperking benadrukt waarbij de bovengrens van de pipeline wordt bepaald door de capaciteit van de verifier.

4.3 Effectiviteit van Training

• Curriculum Learning: Het trainen van modellen (CoDiQ-Li-4B) op de CoDiQ-Corpus met behulp van een budgetgecontroleerd curriculum (progressieve moeilijkheid) leverde superieure resultaten op MATH-500 en AIME 2024 op vergeleken met standaard RL-training op originele datasets.
• Prestatiewinst: CoDiQ-L3-4B behaalde een score van 70,6% op AIME 2024, waarmee het de baseline Qwen3-RL-4B (64,3%) versloeg.

5. Betekenis en Claims

Het paper claimt dat CoDiQ een principieel framework biedt voor het schalen van de moeilijkheidsgraad van synthetische redeneerdata terwijl de logische validiteit behouden blijft. De betekenis ligt in:

• Ontkoppeling van Complexiteit en Curatie: Het biedt een methode om frontier-level supervisiedata te genereren zonder te vertrouwen op dure, puur door mensen gestuurde pipelines.
• Controleerbare Schaling: Door test-time scaling en hybride verificatie te introduceren, pakt het de "fake hard"-problematiek aan, waarbij wordt gegarandeerd dat verhoogde moeilijkheid de oplosbaarheid niet in gevaar brengt.
• Empirische Validatie: Het succes van de CoDiQ-Corpus bij het verbeteren van downstream redeneercapaciteiten verifieert dat het schalen van gecontroleerde moeilijkheidsgraad-trainingsvragen een effectieve strategie is voor het verbeteren van de prestaties van LRMs.

De auteurs erkennen beperkingen, specifiek de restrictie tot Engelse wiskunde/code taken, de computationele kosten van verificatie, en de "Verifier Paradox", waarbij geldige problemen die de capaciteit van de verifier overschrijden, worden weggegooid. Zij maken de corpus, de generator en de implementaties open-source om toekomstig onderzoek naar scaling laws en geautomatiseerd curriculum learning te ondersteunen.