💬 NLP

TTCS: Test-Time Curriculum Synthesis for Self-Evolving

Dit artikel stelt TTCS voor, een zelfevoluerend test-time training-framework dat iteratief een vraag-synthesizer en een redeneer-solver optimaliseert om een op maat gemaakte curriculum van progressief uitdagende synthetische vragen te genereren, waardoor online updates worden gestabiliseerd en de redeneercapaciteiten van LLM's op moeilijke benchmarks aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Chengyi Yang, Zhishang Xiang, Yunbo Tang, Zongpei Teng, Chengsong Huang, Fei Long, Yuhan Liu, Jinsong Su

Gepubliceerd 2026-02-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chengyi Yang, Zhishang Xiang, Yunbo Tang, Zongpei Teng, Chengsong Huang, Fei Long, Yuhan Liu, Jinsong Su

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar onervaren student probeert te leren hoe je de moeilijkste wiskundevragen ter wereld oplost. Je overhandigt hen één enkele, ongelooflijk moeilijke vraag uit een topcompetitie (zoals de AIME).

Het probleem met oude methoden (TTRL)
In het verleden probeerden onderzoekers de student te helpen leren door hen simpelweg die ene moeilijke vraag keer op keer naar te laten staren. Ze vroegen de student om die vraag 100 keer te proberen op te lossen. Als de student 51 keer hetzelfde foute antwoord gaf en 49 keer een ander fout antwoord, zou de oude methode zeggen: "Oké, de meerderheid zegt dat dit foute antwoord correct is!" en de student adviseren om die fout te memoreren.

Dit is also[f] een student die probeert een steile rotswand te beklimmen zonder handgrepen. Ze blijven steeds glijden, en omdat ze steeds in dezelfde richting vallen, leren ze per ongeluk om beter te vallen, niet om te klimmen. De paper noemt dit "onbetrouwbare pseudo-labels" en "ruisende beloningen" (noisy rewards). De student raakt in de war en wordt slechter, in plaats van beter.

De nieuwe oplossing: TTCS (De "Curriculum"-aanpak)
De auteurs van deze paper, TTCS, realiseerden zich dat je een student niet zomaar in het diepe water kunt gooien. Je hebt een curriculum nodig—een stapsgewijs leerplan dat begint met makkelijk en steeds moeilijker wordt.

Ze bouwden een systeem met twee "agenten" (AI-modellen) die fungeren als een Coach en een Student, die beide starten vanaf hetzelfde kennisniveau.

De Coach (De Synthesizer):
In plaats van de student alleen de moeilijke vraag te geven, kijkt de Coach naar die moeilijke vraag en creëert een "trainingskamp". De Coach neemt het moeilijke probleem en breekt het af in iets makkelijkere, gerelateerde versies.
- Analogie: Als de moeilijke vraag is "Hoe spring ik over een muur van 3 meter?", dan creëert de Coach vragen zoals "Hoe spring ik over een muur van 60 centimeter?", dan een muur van 1,20 meter, en dan een muur van 1,80 meter.
- Cruciaal is dat de Coach de Student observeert. Als de Student te goed wordt, maakt de Coach de oefenvragen moeilijker. Als de Student moeite heeft, maakt de Coach ze makkelijker. De Coach creëert alleen problemen die de Student net kan oplossen. Dit is het "sweet spot" voor leren.
De Student (De Solver):
De Student kijkt niet alleen naar de oorspronkelijke moeilijke vraag. Ze oefenen op een mix van de oorspronkelijke vraag en de op maat gemaakte oefenvragen van de Coach.
- Omdat de oefenvragen zo zijn ontworpen dat ze oplosbaar zijn, krijgt de Student duidelijke, correcte feedback. Ze leren de logica van het probleem, niet alleen een gelukkige gok.
- Naarmate de Student slimmer wordt, past de Coach zijn eigen strategie aan om nog betere oefenvragen te maken. Ze "co-evolueren" (groeien samen).

Waarom dit beter werkt

Geen slechte feedback meer: In de oude methode leerde de student van foute antwoorden omdat de vragen te moeilijk waren. In TTCS zijn de vragen afgestemd op het huidige vaardigheidsniveau van de student, zodat de feedback bijna altijd correct is.
Stabiliteit: Omdat de student altijd werkt aan problemen die ze bijna kunnen oplossen, raken ze niet gevangen in een lus van verwarring. Ze klimmen gestaag de ladder van moeilijkheidsgraad op.
Generalisatie: De paper laat zien dat door te leren oplossen van deze "stapsgewijze" wiskundeproblemen, de student ook beter wordt in andere soorten redeneren, niet alleen in de specifieke wiskundeproblemen waar ze op oefenden.

De Resultaten
De paper testte dit op zeer moeilijke wiskunde-benchmarks (zoals AIME en AMC).

De oude methoden (zoals TTRL) worstelden en werden soms zelfs slechter omdat ze probeerden te leren van onmogelijke vragen.
De TTCS-methode verbeterde de scores van de modellen consistent, vaak met een enorme marge. Bijvoorbeeld, op één test verbeterde de methode de score van een model met meer dan 24 punten, terwijl de oude methoden slechts met enkele punten verbeterden.

In een Notendop
Denk aan de oude methode als iemand die een zwemmer in het midden van de oceaan gooit en zegt: "Zwem". Ze verdrinken.
TTCS is als het bouwen van een zwembad met een ladder. Je begint in het ondiepe gedeelte, de Coach past de waterdiepte aan naarmate de zwemmer sterker wordt, en tegen de tijd dat ze het diepe gedeelte bereiken, zijn ze een kampioen zwemmer. De paper bewijst dat deze "curriculum"-aanpak AI-modellen in staat stelt om zichzelf effectief te onderwijzen zonder dat er een menselijke leraar nodig is om elk antwoord te beoordelen.

Technische Samenvatting: TTCS - Test-Time Curriculum Synthese voor Zelfevolutie

Probleemstelling

Large Language Models (LLMs) hebben veelbelovende resultaten getoond in autonoom redeneren door middel van Test-Time Training (TTT), met name Test-Time Reinforcement Learning (TTRL). Echter, bestaande methoden kampen met kritieke schaalbaarheidsbottlenecks bij het toepassen op complexe redeneertaken (bijv. Olympiade-niveau wiskunde):

Onbetrouwbare Pseudo-labels: Voor moeilijke problemen is de meerderheid van de gesamplede antwoorden incorrect. Bijgevolg convergeert meerderheidsstemming — een veelgebruikte mechanisme voor het afleiden van pseudo-labels — op een foutieve consensus, wat ruisende beloningssignalen genereert die de beleidsupdates actief verkeerd leiden.
Gebrek aan Leerbare Samples: TTRL werkt direct op een kleine set extreem uitdagende testvragen die vaak ver buiten de huidige capaciteiten van het model liggen. Zonder tussenliggende varianten om de kloof te overbruggen tussen de huidige staat van het model en de beoogde moeilijkheidsgraad, wordt het leerproces instabiel en gevoelig voor falen.

Methodologie: TTCS-framework

De auteurs stellen TTCS (Test-Time Curriculum Synthesis) voor, een co-evolving test-time trainingsframework dat is ontworpen om dynamisch een curriculum te construeren dat is afgestemd op de evoluerende capaciteiten van het model. Het framework koppelt twee agenten, die beide zijn geïnitialiseerd vanuit hetzelfde pre-trained model, die iteratief optimaliseren met behulp van Group Relative Policy Optimization (GRPO):

1. Capaciteitsbewuste Synthesizer

De synthesizer ( $\pi_\phi$ ) genereert curriculumvarianten voor elke testvraag. De training ervan wordt gestuurd door een composiete beloningsfunctie die is ontworpen om gegenereerde vragen binnen de "capaciteitsgrens" van de solver te houden (problemen die noch triviaal, noch onmogelijk zijn).

Test-Vraag Gestuurde Synthese: De synthesizer behoudt de onderliggende redeneerstructuur van de originele testvraag terwijl de oppervlakte-realisaties (objecten, settings, beperkingen) worden gevarieerd.
Beoordeling van Vraagkwaliteit: De synthesizer wordt beloond op basis van de prestaties van de solver op de gegenereerde vragen:
- Capaciteitsadaptieve Beloning: Maximaliseert de variantie van de self-consistency score van de solver (met als doel een score $\approx 0.5$ ), wat ervoor zorgt dat vragen zich aan de rand van de huidige bekwaamheid van de solver bevinden.
- Gelijkenis-straf (Similarity Penalty): Bestraft triviale parafrasering van de originele vraag en redundantie tussen gegenereerde samples om diversiteit te waarborgen en model collapse te voorkomen.

2. Online Zelf-evoluerende Solver

De solver ( $\pi_\theta$ ) voert online training uit op een mix van originele testvragen en de synthetische curriculumvragen gegenereerd door de synthesizer.

Data-constructie: De trainingsbatch is een unie van gesamplede testvragen en synthetische varianten. Een re-sampling strategie voorkomt dat de trainingsdistributie wordt gedomineerd door zelf-gegenereerde data.
Self-Consistency Beloning: De solver genereert meerdere antwoorden per vraag. Een consensus-voorspelling (meerderheidsstemming) dient als een pseudo-label. Een binaire beloning wordt toegekend op basis van overeenstemming met deze consensus.
Online Filtering: Om de kwaliteit van de training te waarborgen, worden samples gefilterd op basis van hun consistentiescore, waarbij alleen die worden behouden waar de solver noch consistent correct, noch consistent fout is (d.w.z. $|s(x) - 0.5| \leq \delta$ ).

3. Co-evolutie Loop

De twee agenten opereren in een gesloten lus:

De Solver fungeert als een impliciete beoordelaar en geeft feedback op de moeilijkheidsgraad van de gesynthetiseerde vragen.
De Synthesizer gebruikt deze feedback om de generatieverdeling aan te passen, waardoor vragen worden geproduceerd die aansluiten bij de huidige capaciteitsgrens van de Solver.
De Solver werkt zijn beleid bij met behulp van de betrouwbare supervisiesignalen afgeleid van deze hanteerbare varianten, wat het test-time trainingsproces stabiliseert.

Belangrijkste Bijdragen

Identificatie van Beperkingen: Het papier identificeert formeel dat onbetrouwbare pseudo-labels en het ontbreken van tussenliggende moeilijkheidsgraden de primaire oorzaken zijn van falen in bestaande test-time training voor complexe redenering.
TTCS-framework: Introductie van een volledig autonoom, co-evolving framework dat de noodzaak voor externe menselijke labels of sterkere teacher-modellen elimineert. Het construeert dynamisch een probleem-gecentreerd curriculum om ruisende feedback te transformeren in een betrouwbaar pad voor zelf-evolutie.
Empirische Validatie: Uitgebreide experimenten tonen aan dat TTCS consequent beter presteert dan baselines (inclusief TTRL, Self-Consistency en R-Zero) over diverse wiskundige benchmarks en model-schalen.

Experimentele Resultaten

De auteurs evalueerden TTCS op drie model-backbones (Qwen2.5-Math-1.5B, Qwen2.5-Math-7B, en Qwen3-4B-Base) over competitie-niveau (AIME24/25, AMC23) en fundamentele (MATH-500, Minerva, OlympiadBench) wiskundige benchmarks.

Prestatiewinst: TTCS behaalde consequent de hoogste gemiddelde nauwkeurigheid. Op het Qwen2.5-Math-1.5B model verbeterde het de gemiddelde score van 17.30 (Pre-trained) naar 41.49, wat aanzienlijk beter is dan TTRL (36.56) en Self-Consistency (27.62).
Robuustheid op Moeilijke Taken: De methode liet substantiële verbeteringen zien op de moeilijkste benchmarks (AIME24/25), waar TTRL vaak moeite had. Bijvoorbeeld, op AIME24 met de 1.5B model behaalde TTCS 19.79 vergeleken met de 13.23 van TTRL.
Generalisatie:
- Cross-Domein: Modellen getraind op AIME25 via TTCS vertoonden superieure generalisatie naar algemene redeneer-benchmarks (MMLU-Pro, SuperGPQA) vergeleken met TTRL en R-Zero.
- Out-of-Distribution: Solvers getraind op specifieke datasets (bijv. MATH-500) vertoonden sterke prestatiewinsten op onziene, meer uitdagende benchmarks (bijv. AIME24), wat wijst op de acquisitie van universele redeneerlogica in plaats van patroonmemoristatie.
Data-efficiëntie: TTCS bleef effectief, zelfs met beperkte testdata (bijv. door slechts 10% van de AIME24 dataset te gebruiken), waarbij het TTRL in low-data regimes aanzienlijk versloeg.
Ablatie-studies: Het verwijderen van de synthesizer-training (gebruik van een statische teacher) of de diversiteits-strafen resulteerde in significante prestatiedalingen, wat bevestigt dat de adaptiviteit van het curriculum belangrijker is dan de absolute kracht van het teacher-model.

Betekenis en Claims

Het artikel positioneert TTCS als een schaalbaar pad naar het dynamisch construeren van test-time curricula voor zelf-evoluerende LLM's. De auteurs beweren dat door de "onbeklimbare" aard van directe optimalisatie op moeilijke testvragen aan te pakken, TTCS modellen in staat stelt om autonoom te verbeteren zonder afhankelijkheid van uitgebreide ground-truth labels of sterkere teacher-modellen.

Het werk wordt gepresenteerd als een fundamentele stap richting autonome zelfverbetering. De auteurs benadrukken dat hun aanpak de inherente ruis in standaard test-time training omzet in een betrouwbaar supervisiesignaal, waardoor modellen de kloof tussen hun huidige capaciteiten en complexe redeneertaken kunnen overbruggen via een gestructureerd, capaciteits-gealigneerd leerproces. Ze beweren niet alle redeneerproblemen op te lossen, maar benadrukken de effectiviteit van de methode in het transformeren van het trainingsparadigma van passieve inferentie-scaling naar actieve, curriculum-gebaseerde zelf-evolutie.