Technische Samenvatting: Critique-Gestuurde Distillatie voor Robuust Redeneren via Verfijning

Probleemstelling

Supervised Fine-Tuning (SFT) blijft de dominante aanpak voor het aanpassen van Large Language Models (LLMs) aan downstream-taken. Echter, standaard SFT resulteert vaak in modellen die expert-outputs imiteren zonder de onderliggende redeneerprocessen te internaliseren, wat leidt tot slechte generalisatie buiten de trainingsverdeling, een toename van hallucinaties en moeilijkheden bij het schalen naar moeilijkere probleeminstanties.

Alternatieve paradigma's die gebruikmaken van kritiek en revisie (bijv. Self-Refine, Reflexion) tonen veelbelovende resultaten, maar brengen aanzienlijke inferentiekosten met zich mee door multi-pass prompting. Critique Fine-Tuning (CFT) probeert het genereren van kritiek naar de trainingsfase te verplaatsen, maar introduceert aanzienlijke nadelen: het trainen van modellen om kritiek te genereren leidt vaak tot drift in outputformaat en catastrofaal vergeten van algemene vaardigheden (bijv. instructie-opvolging). Bovendien conditionede bestaande distillatiemethoden vaak op generieke docentverklaringen van correcte oplossingen in plaats van specifieke studentenfouten aan te pakken, of vertrouwen ze op impliciete supervisie-signalen (zoals token-kansen) die ontbrekende actiegerichte diagnostische informatie bieden.

Methodologie: Critique-Gestuurde Distillatie (CGD)

De auteurs stellen Critique-Gestuurde Distillatie (CGD) voor, een trainingskader dat het consumeren van kritiek ontkoppelt van het genereren ervan. De kernintuïtie is dat een studentenmodel zelfcorrigerende capaciteiten kan internaliseren door te trainen op door de docent verstrekte kritieken op zijn eigen fouten, zonder die kritieken zelf te hoeven genereren.

Trainingsprocedure

De CGD-pijplijn bestaat uit drie fasen per trainingsmonster:

1. Generatie van Studentenantwoord: Het studentenmodel ($S_{\theta_{init}}$) genereert een initiële, potentieel gebrekkige respons ($y'$) op een prompt ($x$).
2. Generatie van Kritiek: Een docentmodel ($T_\phi$) analyseert $y'$ en genereert een tekstuele kritiek ($c$) die specifieke fouten, misvattingen of gaten in het redeneren identificeert.
3. Generatie van Verfijnd Antwoord: Het docentmodel produceert een gouden standaard, verfijnd antwoord ($\hat{y}$) geconditioneerd op de prompt, het initiële antwoord van de student en de kritiek.

Het studentenmodel wordt vervolgens gefinetuned op het verrijkte dataset $((x, y', c), \hat{y})$ met behulp van een standaard taalmodelleringdoel om de negatieve log-waarschijnlijkheid van het verfijnde antwoord te minimaliseren:
$$\mathcal{L}(\theta) = \mathbb{E}_{(x,y',c,\hat{y})}[-\log S_\theta(\hat{y} \mid x, y', c)]$$

Inferentiegedrag

Cruciaal is dat kritieken alleen tijdens het trainen worden gebruikt. Tijdens de inferentie ontvangt het model alleen de prompt ($x$) en genereert het een verfijnd antwoord in één forward pass. Het model genereert geen kritieken, noch heeft het deze als invoer nodig. Dit ontwerp zorgt voor nul architecturale overhead en behoudt het standaard inferentieformaat, waardoor de formatdrift die bij CFT wordt waargenomen, wordt vermeden.

Belangrijkste Bijdragen

1. Nieuw Trainingskader: Introductie van CGD, dat modellen traint om verklarende feedback te consumeren om hun eigen antwoorden te verfijnen, in plaats van hen te trainen om kritieken te genereren.
2. Ontkoppeling van Rollen: Het kader scheidt de rollen van kritiekgeneratie (docent) en kritiekconsumptie (student), waardoor de student foutbewust redeneren kan internaliseren zonder de inferentie-tijd latentie van zelfcorrigerende lussen.
3. Behoud van Algemene Capaciteiten: In tegenstelling tot CFT, dat instructie-opvolgingsvaardigheden verslechtert, behoudt CGD algemene capaciteiten terwijl het redeneerprestaties aanzienlijk verbetert.
4. Cross-Familie Generalisatie: De methode toont robuustheid over diverse modelfamilies (LLaMA, Qwen, S1.1, Mixtral, OLMo) en schalen, en bereikt state-of-the-art resultaten zelfs met open-source docenten.
5. Empirische Analyse: Uitgebreide ablatiestudies die de rol van specificiteit, relevantie en correctheid van kritiek karakteriseren, evenals diagnostische analyses van interne attentiemechanismen en gradiëntnormen.

Experimentele Resultaten

De auteurs evalueerden CGD over vijf modelfamilies en meerdere benchmarks, waarbij ze het vergeleken met Standaard SFT, Gedistilleerde SFT en Critique Fine-Tuning (CFT).

• Wiskundig Redeneren: CGD presteert consequent beter dan baselines. Op LLaMA3.1-8B werd een gemiddelde verbetering van +5,4% op wiskundige redeneerbenchmarks ten opzichte van CFT behaald, met specifieke winsten van +15,0% op AMC23 en +12,2% op MATH-500. Op het S1.1-3B-model bedroegen de winsten +7,2% ten opzichte van CFT.
• Algemene Capaciteiten: Terwijl CFT een catastrofale daling veroorzaakte in instructie-opvolgingsprestaties (IFEval-accuraatheid daalde van 76,9% naar 55,6%), behield CGD de prestaties (76,1%), waardoor algemene capaciteiten effectief werden behouden.
• Overdracht Buiten de Trainingsverdeling: Ondanks dat het getraind werd op data zonder code, transferden CGD-modellen naar codegeneratietaken (HumanEval), waarbij een verbetering van +4,9% ten opzichte van het basismodel werd bereikt, beter dan CFT.
• Kwaliteit van Redeneren versus Zoeken: Op uitdagende competitiebenchmarks (AIME24) toonde CGD aanzienlijke winsten bij lage sampling-budgetten (Pass@1 verbeterde van 3,3% naar 16,7%), wat wijst op verbeterde redeneringskwaliteit per monster in plaats van afhankelijkheid van uitgebreid zoeken. De modellen produceerden ook aanzienlijk langere redeneerketens (4,4x langer op AIME).
• Ablatie-inzichten:
  • Noodzaak van Kritiek: Het verwijderen van de kritiek uit de trainingscontext veroorzaakte prestatiedegradatie tot wel 114% op AMC23, wat bevestigt dat de kritiek fungeert als een cruciaal leersteun.
  • Specificiteit en Relevantie: Specifieke, relevante kritieken presteerden beter dan generieke placeholders. Irrelevante kritieken (specifiek maar fout voor het probleem) leidden het model actief in de war en presteerden slechter dan generieke placeholders.
  • Robuustheid: Modellen getraind op een gebalanceerde mix van correcte en incorrecte studentenantwoorden (50/50) toonden de hoogste robuustheid, waarbij ze een interne vaardigheid ontwikkelden om geldige van ongeldige begeleiding te onderscheiden.

Betekenis en Claims

Het artikel positioneert CGD als een praktisch en rekenefficiënt intermediair trainingsparadigma voor redeneringsgerichte taken. De primaire betekenis ligt in het behalen van aanzienlijke verbeteringen in redeneren zonder inferentie-tijd overhead of architecturale wijzigingen in te voeren.

De auteurs beweren dat CGD succesvol de beperkingen van zowel standaard SFT (oppervlakkige imitatie) als CFT (formatdrift en verslechtering van capaciteiten) aanpakt. Door kritieken te behandelen als een semantisch steunframe dat alleen tijdens het trainen aanwezig is, stelt CGD modellen in staat de transformatie van fout naar correctie te internaliseren. De resultaten suggereren dat deze aanpak een stabiel, supervisie-gebaseerd alternatief biedt voor Reinforcement Learning (RL) voor redeningstaken, waarbij de auteurs opmerken dat CGD en RL complementair kunnen zijn in plaats van concurrerende benaderingen. De methode wordt geïdentificeerd als bijzonder effectief voor omgevingen met beperkte middelen, waarbij sterke prestaties worden bereikt met aanzienlijk lagere rekentkosten in vergelijking met op RL gebaseerde redeneermethoden.