🤖 AI

GRACE: Gradient-aligned Reasoning Data Curation for Efficient Post-training

GRACE is een schaalbare, beloningsmodelvrije methode voor datacuratie die de efficiëntie van post-training verbetert door redeneringsdata op stapniveau te scoren en te selecteren aan de hand van met gradiënten uitgelijnde signalen, waardoor prestaties op het niveau van de volledige dataset worden bereikt met slechts 5% van de dataset.

Oorspronkelijke auteurs: Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junjie Li, Ziao Wang, NingXuan Ma, Jianghong Ma, Xiaofeng Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: "Het Geheel is Niet Gelijk aan de Som van de Delen"

Stel je voor dat je een student probeert te leren hoe je een complex wiskundig probleem oplost. Je geeft hen een pagina uit een leerboek die de volledige oplossing toont: Stap 1, Stap 2, Stap 3, tot aan het uiteindelijke antwoord.

De oude manier (Huidige Methoden):
De meeste AI-trainingssystemen behandelen die hele pagina als één enkele "goede" of "slechte" les. Als het uiteindelijke antwoord correct is, krijgt de hele pagina een gouden ster. Als het antwoord fout is, krijgt de hele pagina een rode X.

De Tekortkoming: In werkelijkheid zijn sommige stappen op die pagina briljante inzichten, terwijl andere slechts de student zijn die herhaalt wat ze drie regels eerder zeiden, of afdwalen naar een verwarrende zijweg die nergens toe leidt. Door de hele pagina als één eenheid te behandelen, verspillen AI-systemen tijd aan het bestuderen van saaie of verwarrende delen en missen ze misschien de briljante inzichten die verborgen zitten in het midden.

De Oplossing: GRACE (De "Stap-voor-Stap" Coach)

De auteurs hebben een methode ontwikkeld genaamd GRACE (Gradient-aligned Reasoning dAta Curation). In plaats van de hele pagina te beoordelen, fungeert GRACE als een super-observante coach die de student stap voor stap bij het oplossen van het probleem observeert.

Hier is hoe GRACE werkt, met behulp van een Wandel-Analogie:

Stel je voor dat de AI een wandelaar is die probeert een bergtop te bereiken (het Correcte Antwoord). De redeneringspiste is het pad dat de wandelaar aflegt.

Het "Antwoord-uitlijning"-Signaal (Kijken naar de Top):
- GRACE vraagt: "Wijst deze specifieke stap in de richting van de bergtop?"
- Als een stap de wandelaar dichter bij de top brengt, krijgt het een hoge score.
- Als een stap de wandelaar in een cirkel laat lopen of naar een afgrond leidt, krijgt het een lage score.
Het "Traject-consistentie"-Signaal (Kijken naar het Pad Achter):
- GRACE vraagt ook: "Maakt deze stap zin gezien waar de wandelaar net vandaan kwam?"
- Als de wandelaar een steile helling beklimt en plotseling probeert in een rivier te zwemmen, is dat een vreemde sprong. Zelfs als de rivier mooi is, breekt het de flow van de klim. GRACE straft stappen af die los lijken te staan van de vorige stappen.

Het Geheime Ingrediënt: De "Magische Spiegel" (Geen Teruglopen Nodig)

Normaal gesproken zou je, om te weten of een stap goed is, het hele trainingsproces moeten simuleren, stoppen, terugspoelen en precies berekenen hoe die ene stap het brein van de AI heeft veranderd. Dit is als proberen de wind te meten door een raceauto te stoppen, de motor uit elkaar te halen en de versnellingen te controleren. Het duurt eeuwen en is te traag voor enorme datasets.

GRACE's Innovatie:
GRACE gebruikt een slimme truc genaamd een "Représentatie-niveau Gradiënt Proxy".

De Analogie: In plaats van de auto uit elkaar te halen, kijkt GRACE naar de "uitlaatgassen" (de interne signalen) die uit de motor komen terwijl de auto vooruit rijdt.
Door deze signalen te bekijken tijdens een enkele doorloop (gewoon het tekst één keer lezen), kan GRACE precies inschatten hoe nuttig een stap was zonder ooit te hoeven "terugspoelen" of complexe achterwaartse berekeningen uit te voeren. Het is als het oordelen over de vaardigheid van een chef door de geur van het eten te ruiken terwijl het kookt, in plaats van elke hap te proeven nadat de maaltijd klaar is.

De Resultaten: Minder Data, Betere Prestaties

Het artikel testte deze methode uit op een enorme dataset van wiskundeproblemen (MMathCoT-1M) met behulp van een visueel-taalmodel (Qwen3-VL).

De Oude Manier: Om geweldige resultaten te krijgen, moet je de AI meestal alle data voeden (100%).
De GRACE-Manier:
- Met slechts 20% van de data (de beste 1 van de 5 stappen) presteerde de AI 8,8% beter dan wanneer het was getraind op 100% van de data.
- Met slechts 5% van de data presteerde de AI net zo goed als met de volledige dataset.

Waarom werd het beter met minder data?
Trainen op alles is als een student dwingen om elke pagina van een bibliotheek te lezen, inclusief de pagina's met typefouten, saaie herhaling en verkeerde afslagen. Dit verwarde de student. GRACE filtert de "ruis" eruit en voert de AI alleen de "pure goud" stappen aan. Dit voorkomt dat de AI in de war raakt door slechte voorbeelden en helpt het sneller en slimmer te leren.

Samenvatting

Het Probleem: Huidige AI-training behandelt elke stap in een redeneerketen als even belangrijk, waardoor tijd wordt verspild aan slechte stappen.
De Oplossing: GRACE scoort elke enkele stap individueel op basis van of het helpt het antwoord te bereiken en of het past bij het verhaal tot nu toe.
De Truc: Het gebruikt een "alleen voorwaartse doorloop"-shortcut om stappen direct te scoren, zonder dat er langzame, complexe berekeningen nodig zijn.
Het Resultaat: Je kunt een slimmere AI trainen met een klein fractie van de data, waardoor tijd en rekenkracht worden bespaard terwijl de prestaties daadwerkelijk verbeteren.

Het artikel concludeert dat de waarde van redeneringsdata niet alleen gaat over of het uiteindelijke antwoord juist is; het gaat erom of de reis naar dat antwoord een constructief, logisch pad was. GRACE vindt die constructieve paden en gooit de rest weg.

Technische Samenvatting: GRACE – Gradient-gealigneerde Redeneringsdata Curatie voor Efficiënte Post-training

Probleemstelling

Bestaande pijplijnen voor het cureren van redeneringsdata (Chain-of-Thought, CoT) opereren doorgaans op staleniveau, waarbij ze een enkele score toekennen aan een volledige redeneringsreeks op basis van metrieken zoals de juistheid van het eindantwoord of scores van een beloningsmodel. Deze aanpak behandelt elke tussenstap binnen een reeks als even waardevol. Redeneringsreeksen zijn echter heterogeen; sommige stappen ondersteunen het eindantwoord direct, terwijl andere inhoud herhalen, irrelevante zijpaden verkennen of ruis introduceren. Het uniform trainen op dergelijke reeksen verspillen computercapaciteit aan stappen met lage waarde en verdunnen de bijdrage van nuttige stappen. Bovendien ontbreekt het huidige methoden aan een mechanisme om te beoordelen hoe individuele redeneringsstappen bijdragen aan het optimalisatieproces, waardoor vaak de "stapsgewijze optimalisatierollen" binnen een reeks worden over het hoofd gezien.

Methodologie: GRACE

De auteurs stellen GRACE (Gradient-aligned Reasoning dAta Curation for Efficient post-training) voor, een methode die de curatiegranulariteit verschuift van staleniveau naar stapniveau. GRACE beschouwt een redeneringsreeks niet als een statisch toezichtdoel, maar als een reeks optimalisatiegebeurtenissen.

1. Optimalisatie-utility op stapniveau

GRACE definieert de utility van een redeneringsstap op basis van zijn bijdrage aan het optimaliseren van een doelwit. Het scoort elke stap $k$ met twee complementaire signalen die zijn afgeleid van de interne optimalisatiedynamiek van het model:

Antwoord-gerichte Alignering ( $A_{ans}^k$ ): Meet de cosinus-sequentie tussen de gradiënt die door de huidige stap wordt geïnduceerd ( $g_k$ ) en de gradiënt die door het eindantwoordsegment wordt geïnduceerd ( $g_{ans}$ ). Dit bepaalt of de stap constructief het einddoel ondersteunt.
Trajectconsistentie ( $A_{hist}^k$ ): Meet de cosinus-sequentie tussen de gradiënt van de huidige stap en een historische referentierichting ( $r_k$ ), die een gewogen gemiddelde is van gradiënten van voorgaande stappen. Dit zorgt ervoor dat de stap coherentie behoudt met het evoluerende redeneringstraject.

De uiteindelijke score op stapniveau is een gewogen combinatie:
$\text{Score}_k = \alpha A_{ans}^k + (1-\alpha) A_{hist}^k$
waarbij $\alpha$ de twee signalen in evenwicht brengt. Deze stap-scores worden geaggregeerd om een waarde op staleniveau $V(z)$ te berekenen, die wordt gebruikt om de top- $\rho$ subset van data te selecteren.

2. Representatie-niveau Gradiënt Proxy

Een primaire uitdaging is dat het berekenen van ware gradiënten op stapniveau het vereist om reeksen te decomponeren en herhaaldelijke backward-passes uit te voeren, wat op schaal computationeel onuitvoerbaar is. Om dit aan te pakken, introduceert GRACE een representatie-niveau gradiënt proxy:

In plaats van gradiënten in de parameter-ruimte te berekenen ( $\nabla_\theta L$ ), werkt de methode met upstream signalen op het representatie-interface (de verborgen staten voordat de output-projectie plaatsvindt).
Voor elke token $t$ wordt een upstream signaal $u_t = W_{out}(p_t - y_t)$ berekend, waarbij $p_t$ de voorspelde waarschijnlijkheid is en $y_t$ de ground truth.
Gradiënten op stapniveau worden benaderd door deze signalen op token-niveau te middelen ( $g_k = \frac{1}{|T_k|} \sum u_t$ ).
Cruciaal is dat deze proxy het mogelijk maakt om alignering op stapniveau te schatten met slechts één forward pass per staal, waardoor backpropagation per stap en de noodzaak van externe beloningsmodellen of stapannotaties worden vermeden.

Belangrijkste Bijdragen

Optimalisatie-gebaseerd Perspectief: Het artikel herformuleert de curatie van redeneringsdata door reeksen te modelleren als reeksen optimalisatiegebeurtenissen, en benadrukt dat alignering op stapniveau met het doelwit en het traject cruciaal is voor effectief leren.
GRACE Framework: Een nieuwe curatiemethode die optimalisatiesignalen op stapniveau (antwoordalignering en trajectconsistentie) aggregeert voor fijnmazige subselectie.
Schalbare Proxy: De ontwikkeling van een representatie-niveau gradiënt proxy die efficiënte, stap-gebaseerde datawaardering mogelijk maakt zonder de computationele kosten van gradiëntberekening per stap.

Experimentele Resultaten

De auteurs hebben GRACE geëvalueerd door Qwen3-VL-2B-Instruct te post-trainen op de MMathCoT-1M dataset (een groot-schalig multimodaal corpus voor wiskundig redeneren) en te testen op diverse benchmarks, waaronder wiskundig redeneren (MathVista, MathVision) en algemeen visueel vraag-antwoord (HallusionBench, MMBench, MME).

Prestaties versus Datavolume:
- Met slechts 20% van de gecurateerde data bereikte GRACE 108,8% van de prestaties met volledige data (gemiddeld over benchmarks), wat significant beter was dan de volledige dataset en alle baselines.
- Met slechts 5% van de data behield GRACE 100,2% van de prestaties met volledige data.
Vergelijking met Baselines: GRACE presteerde consequent beter dan heuristische selectoren (Random, Longest, Stepmax) en state-of-the-art gradiënt-gebaseerde methoden voor dataselectie (LESS, ICONS, CADC). Bijvoorbeeld, bij 20% data overtrof GRACE (108,8%) CADC (102,6%) en LESS (101,7%).
Transferbaarheid: Subsets geselecteerd door GRACE met een Qwen3-VL-2B scoring-model transferden effectief naar andere backbones (Qwen2.5-VL-3B, LLaVA-1.5-7B, Qwen3-VL-8B), en overtroffen consequent hun respectievelijke baselines met volledige data. Dit suggereert dat de gevangen datawaarde inherent is aan de redeneringsstructuur en niet model-specifiek is.
Efficiëntie: Het proxy-extractieproces is lichtgewicht en vereist alleen forward passes. De auteurs rapporteren dat het verzamelen van signalen voor de kandidatenpool 6,5 uur op een enkele node en 5,7GB opslag vereiste, waarmee de dure backward-passes die nodig zijn bij gradiënt-projectiemethoden worden vermeden.

Betekenis en Claims

Het artikel stelt dat de waarde van redeneringsdata niet alleen afhangt van externe kwaliteitsindicatoren (juistheid, lengte of voorkeursscores), maar ervan of tussenstappen het optimalisatitraject constructief ondersteunen.

GRACE demonstreert dat:

Granulariteit op stapniveau essentieel is: Het behandelen van redeneringsreeksen als ondeelbare eenheden negeert de variërende utility van tussenstappen.
Interne signalen voldoende zijn: Hoogwaardige data-curatie kan worden bereikt met uitsluitend de interne optimalisatiesignalen van het model (gradiënten/proxy's), zonder externe beloningsmodellen of menselijke annotaties.
Efficiëntie en Prestaties: Optimalisatie-bewuste curatie stelt modellen in staat om de prestaties met volledige data te evenaren of te overtreffen met een fractie van de trainingsdata, wat de post-trainingkosten (GPU-uren) aanzienlijk verlaagt terwijl de downstream capaciteiten behouden of verbeterd blijven.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van een vaste configuratie van het scoring-model en de huidige focus op multimodale CoT-data, en suggereren dat toekomstig werk deze principes kan uitbreiden naar puur taalkundig redeneren of post-training op basis van versterkingsleren.