🤖 AI

The Role of Feedback Alignment in Self-Distillation

Dit artikel toont aan dat zelf-distillatie het meest effectief is wanneer de zelf-leraar wordt geconditioneerd op stap-gealigneerde kritieken van een bevroren criticus, aangezien deze structurele uitlijning zich specifiek richt op foutieve tokens en correct redeneren behoudt, wat significant beter presteert dan methoden die binaire beloningen of referentie-oplossingen gebruiken.

Oorspronkelijke auteurs: Semih Kara, Oğuzhan Ersoy

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Semih Kara, Oğuzhan Ersoy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te leren hoe je complexe wiskundige puzzels oplost. Je hebt een slimme vriend (de "Solver") die probeert ze op te lossen, maar soms fouten maakt. Je hebt ook een super-slimme tutor (de "Critic") die naar het werk van de vriend kan kijken en hem kan vertellen wat er misging.

Dit artikel gaat over de beste manier voor de tutor om feedback te geven, zodat de vriend daadwerkelijk leert en er op eigen kracht beter in wordt, zonder dat de tutor hem elke keer het antwoord hoeft in te fluisteren.

Het Probleem: Hoe te onderwijzen zonder handje vasthouden

Meestal trainen we AI-modellen op één van de volgende twee manieren:

De "Ja/Nee"-methode: Het model probeert een probleem op te lossen, en wij zeggen alleen "Goed" of "Fout". Dit is als een leraar die een toets nakijkt met alleen een rode pen aan het einde. De student weet dat hij is gezakt, maar hij weet niet welke stap de fout heeft veroorzaakt.
De "Kopieer de Meester"-methode: We laten de student een perfecte oplossing zien die door een expert is geschreven en zeggen: "Kopieer dit." Het probleem hier is dat de expert het probleem misschien op een totaal andere manier oplost dan de student. Als de student de eerste drie stappen goed heeft gedaan, maar de expert deed ze anders, raakt de student in de war en denkt hij dat zijn eigen correcte stappen ook fout waren.

De Oplossing: Zelf-distillatie (De "Twee-Hoeden-Truc")

De onderzoekers gebruikten een slimme truc genaamd Zelf-distillatie. Stel je voor dat de student twee verschillende hoeden opzet:

Hoed A (De Student): Probeert de puzzel alleen op te lossen.
Hoed B (De Leraar): Probeert dezelfde puzzel op te lossen, maar deze keer mag hij een "spiekbriefje" (feedback) van de tutor lezen voordat hij antwoord geeft.

Het doel is om de "Student-hoed" te trainen om te handelen zoals de "Leraar-hoed", zelfs wanneer het spiekbriefje er niet is. Op deze manier internaliseert de student de wijsheid van de tutor.

Het Experiment: Drie Manieren om het Spiekbriefje te Schrijven

De onderzoekers testten drie verschillende manieren om het "spiekbriefje" (de context) voor de Leraar-hoed te schrijven:

De "Scorekaart" (GRPO): Alleen een simpele "Correct" of "Incorrect" score aan het einde.
- Resultaat: De student leert een beetje, maar het is alsof je een naald in een hooiberg probeert te vinden. Ze weten niet precies waar ze de fout in gingen.
De "Perfecte Oplossing" (RefSol): Het spiekbriefje bevat de volledige, perfecte oplossing geschreven door een expert.
- Resultaat: Beter dan de scorekaart, maar nog steeds rommelig. Omdat de expert bijvoorbeeld kan schrijven "Stap 1: Tel 5 op" terwijl de student schreef "Stap 1: Bereken de som", raakt de student in de war. De leraar probeert de student te dwingen om elke stap aan te passen om bij de stijl van de expert te passen, zelfs de stappen die de student al goed had gedaan. Het is als een coach die tegen een hardloper zegt: "Je rende goed, maar je had je knieën hoger moeten tillen, je armen anders moeten zwaaien en in een ander ritme moeten ademen," zelfs toen de hardloper al perfect rende.
De "Stap-voor-stap Kritiek" (StepAlignFB): Dit is de winnaar. De tutor kijkt naar het werkelijke werk van de student. Als de student een stap goed heeft gedaan, zegt de tutor: "Geweldig, ga precies zo verder." Als de student een fout heeft gemaakt, zegt de tutor: "Stop hier. Je ging fout bij Stap 4. Hier is de correctie," en gaat vervolgens verder met de eigen stijl van de student.
- Resultaat: Dit was de meest effectieve methode. Het is als een coach die de hardloper observeert en zegt: "Je eerste drie passen waren perfect, houd dat ritme aan! Maar je vierde stap was te kort. Herstel alleen dat, en ga dan verder precies zoals je was."

De Grote Ontdekking: "Trouwe Klerk"

Het papier vond dat alignement (afstemming) het belangrijkste is. De feedback moet overeenkomen met het eigen pad van de student.

De "Induction Head"-analogie: De onderzoekers ontdekten dat AI-modellen een ingebouwde gewoonte hebben die "inductie" wordt genoemd. Als je een patroon in de tekst laat zien, hebben ze de neiging dat patroon te kopiëren.
- Als je de student hun eigen foute antwoord laat zien en dan zegt "Verbeter dit", raakt de AI in de war en blijft het het foute deel kopiëren omdat het er direct in de tekst staat.
- De winnende strategie was om de correcte delen van de student woord voor woord te kopiëren (zodat de AI ze als "goed" ziet en ze behoudt), maar het foute deel weg te laten en te vervangen door de correctie. Dit fopt de AI om te denken: "Oh, de delen die ik eerder schreef waren goed, dus ik houd ze aan. Het deel dat ontbreekt, moet degene zijn die gerepareerd moet worden."

De Kern van het Zaken

Het paper concludeert dat hoe je feedback geeft belangrijker is dan alleen het geven van welke als maar welke feedback.

Slechte Feedback: "Je bent gefaald." (Te vaag)
Oké Feedback: "Hier is het perfecte antwoord." (Te verschillend van de stijl van de student, wat voor verwarring zorgt)
Beste Feedback: "Je hebt deze stappen perfect uitgevoerd. Je maakte een fout bij deze specifieke stap. Hier is de correctie. Ga nu verder precies zoals je was."

Door deze "Stap-gealigneerde Kritiek" te gebruiken, leerde het model zijn fouten te herstellen zonder het vertrouwen te verliezen in de delen die het al goed deed, wat leidde tot veel betere wiskundige vaardigheden dan de andere methoden.

Technische Samenvatting: De Rol van Feedback Alignment in Zelf-distillatie

Probleemstelling

Het post-trainen van grote taalmodellen (LLM's) voor redeneren leunt doorgaans op Reinforcement Learning from Verifiable Rewards (RLVR), zoals Group Relative Policy Optimization (GRPO). Hoewel effectief, lijdt RLVR aan ijle credit assignment (sparse credit assignment): een enkele scalaire beloning voor het uiteindelijke antwoord geeft niet aan waar in het redeneertraject het model een fout heeft gemaakt. Daartegenover staat dat kennisdistillatie zorgt voor dichte, op token-niveau gebaseerde supervisie, maar dit vereist toegang tot de logits van een sterker docentmodel (teacher model), wat vaak niet beschikbaar of kostbaar is.

Zelf-distillatie probeert deze kloof te overbruggen door hetzelfde model te gebruiken als zowel student als docent onder verschillende contexten. De student conditioneert enkel op de vraag, terwijl de "zelf-docent" conditioneert op de vraag plus aanvullende context (bijv. referentie-oplossingen of feedback). Eerder werk heeft deze context echter grotendeels behandeld als een vaste keuze, zonder te onderzoeken hoe de structuur van de feedback de leer-signaal beïnvloedt. Dit paper stelt de vraag: Welke vorm van feedback produceert de meest effectieve zelf-docent voor zelf-distillatie?

Methodologie

De auteurs implementeren een solver–critic setup om zelf-distillatie in het domein van wiskundig redeneren te bestuderen.

Setup: Een trainbare solver ( $\pi_\theta$ ) genereert redeneertrajecten voor wiskundige problemen. Een bevroren critic ( $\pi_{critic}$ ) analyseert deze trajecten en produceert feedback. De solver wordt vervolgens bijgewerkt via zelf-distillatie, waarbij de divergentie tussen de outputverdeling van de student (geconditioneerd op de vraag alleen) en de distributie van de zelf-docent (geconditioneerd op de vraag plus de feedback van de critic) wordt geminimaliseerd.
Experimentele Condities: De studie vergelijkt drie verschillende feedback-contexten:
- GRPO: Een standaard RLVR-baseline die binaire beloningen gebruikt (correct/incorrect) zonder zelf-distillatie.
- RefSol (Reference Solution): De zelf-docent is geconditioneerd op een grondwaarheids-referentieoplossing (chain-of-thought) van een sterker model.
- StepAlignFB (Step-Aligned Critique): De zelf-docent is geconditioneerd op een kritiek die door de critic is gegenereerd. Cruciaal is dat deze kritiek structureel is uitgelijnd met het specifieke redeneertraject van de solver. De critic wordt geprompt om de correcte stappen van de solver letterlijk over te nemen en alleen de specifieke stappen waar fouten optreden te wijzigen, waarbij de stijl en notatie van de solver voor de correcte delen behouden blijven.
Mechanisme-analyse: De auteurs analyseren de "per-token advantage" (de log-ratio van waarschijnlijkheden tussen de docent en de student) om te begrijpen hoe verschillende typen feedback het gedrag van het model beïnvloeden. Ze onderzoeken ook de rol van "induction heads" (mechanismen die in-context patronen kopiëren) in de manier waarop het model letterlijke herhalingen in de feedback verwerkt.

Belangrijkste Bijdragen & Bevindingen

1. Step-Aligned Feedback Presteert Beter dan Referentie-oplossingen

De StepAlignFB conditie levert de grootste prestatiewinst op en presteert beter dan zowel GRPO als de op RefSol geconditioneerde zelf-distillatie.

Resultaten: Op de OpenMathReasoning dataset (Avg@12 metriek) behaalde StepAlignFB 35.83, vergeleken met 30.56 voor RefSol en 19.72 voor GRPO.
Significantie: Ondanks het feit dat er nooit een grondwaarheids-afleiding is gezien, presteert StepAlignFB beter dan RefSol. Dit suggereert dat de uitlijning van de feedback met het specifieke traject van de solver belangrijker is dan de loutere aanwezigheid van een correcte oplossing.

2. Impliciete Proces-supervisie via Structurele Uitlijning

Analyse van de per-token advantage onthult het mechanisme achter het succes van StepAlignFB:

Lokalisatie: Step-aligned feedback concentreert de distributionele verschuivingen (negatieve advantages) specifiek bij de tokens waar het redeneren faalt. Het versterkt correcte stappen door ze letterlijk te behouden (wat positieve advantages oplevert). Dit bootst het gedrag van een Process Reward Model (PRM) na, maar is volledig afgeleid van natuurlijke taalfeedback zonder een apart beloningsmodel te trainen.
Diffusie in RefSol: In tegen tegenstelling hiertoe creëert het conditioneren op een referentie-oplossing een "diffuus onderdrukkend signaal". Zelfs wanneer de stap van de solver correct is, gebruikt de referentie-oplossing vaak een andere formulering of notatie. Dit zorgt ervoor dat de zelf-docent correcte tokens bestraft simpelweg omdat ze verschillen van de referentie, waardoor het leer-signaal verwatert door stilistische onenigheid.

3. De Rol van Induction-Head Kopiëren

Het paper identificeert een cruciaal ontwerppatroon voor de feedback van de critic, de zogenaamde "faithful-scribe convention":

Volledige Letterlijke Herhaling: Als de critic de volledige poging van de solver (inclusclusief fouten) letterlijk herhaalt, verankeren de induction heads van het model zich op de incorrecte tokens, waardoor de docent de fout reproduceert.
Omissie: Als de critic de correcte stappen van de solver volledig weglaat, drijft de distributie van de docent weg van de correcte redenering van de solver.
Partiële Herhaling (De Oplossing): De optimale strategie is om de correcte stappen van de solver letterlijk te herhalen tot aan de fout, de foutieve stap te vervangen door een correctie, en vervolgens door te gaan. Dit maakt gebruik van induction-head kopiëren om correcte prefixes te versterken, terwijl de correctie de foutlocatie kan aansturen.

Significantie en Claims

Het paper betoogt dat het primaire voordeel van zelf-distillatie niet louter de toegang tot extra context is, maar de toegang tot context waarvan de structuur overeenkomt met het redeneertraject van de student.

Structurele Uitlijning > Feedback Kwaliteit: Een volledige, correcte referentie-afleiding is een sterk signaal, maar faalt in zelf-distillatie omdat het divergeert van het trace van de solver in oppervlakkige vorm. Step-aligned kritiek slaagt omdat het de werkelijke trace van de solver adresseert, waardoor het signaal precies daar wordt geconcentreerd waar het redeneren fout gaat.
Impliciete PRM: Step-aligned feedback biedt een vorm van impliciete proces-supervisie, waarbij fouten worden gelokaliseerd zonder de computationele kosten van het trainen van een stap-niveau beloningsmodel.
Praktische Afweging: Hoewel StepAlignFB superieur is, merkt de auteur op dat het een capabele kritiek-modellen vereist om hoogwaardige, step-aligned feedback te genereren, wat de trainingskosten en systeemcomplexiteit verhoogt vergeleken met eenvoudige referentie-oplossing conditionering of binaire beloningen.

De studie is beperkt tot de OpenMathReasoning dataset en wiskundig redeneren; de auteurs geven expliciet aan dat verder onderzoek nodig is om te bepalen of deze voordelen overdraagbaar zijn naar andere domeinen, modelgroottes of solver-critic configuraties.