🤖 AI

Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation

Dit artikel betoogt dat veranderende waarschijnlijkheden van geprivilegieerde tokens in on-policy zelf-distillatie niet automatisch een geldige uitkomst-credit vormen, waarbij via formele analyse en empirische experimenten wordt aangetoond dat dergelijke signalen vaak minder goed beter gedrag volgen of gewenst gedrag versterken vergeleken met controles die uitsluitend op de uitkomst zijn gebaseerd.

Oorspronkelijke auteurs: Xuan-Phi Nguyen, Shrey Pandit, Yiran Zhao, Anurag Koul, Zeyu Liu, Shafiq Joty

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuan-Phi Nguyen, Shrey Pandit, Yiran Zhao, Anurag Koul, Zeyu Liu, Shafiq Joty

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een lastige wiskundepuzzel op te lossen. Je laat het probleem aan de robot zien, en de robot begint stap voor stap zijn gedachten uit te typen. Aan het einde kun je heel gemakkelijk zien of de robot het juiste antwoord heeft gegeven: het is ofwel correct, ofwel fout. Maar hoe zit het met de stappen in het midden? Maakte de robot een briljante zet bij stap drie, of struikelde hij bij stap vijf? In de wereld van Kunstmatige Intelligentie is dit een groot mysterie. We kennen het eindresultaat, maar we weten niet welke specifieke woorden (of "tokens") de robot schreef waren de helden en welke de schurken.

Om dit op te lossen, hebben onderzoekers een slimme truc geprobeerd genaamd "privileged self-distillation". Denk aan een student die een toets maakt, en dan direct een referentieblad krijgt dat precies uitlegt wat hij had moeten doen. De student kijkt vervolgens naar zijn eigen antwoord, leest het referentieblad, en probeert te achterhalen welke woorden hij schreef goed waren en welke slecht. De hoop is dat door de "goede" woorden te belonen en de "slechte" woorden te straffen, de robot sneller slimmer wordt. Maar hier is de crux: alleen omdat een woord er goed uitziet nadat je het antwoord weet, betekent dat niet dat het je daadwerkelijk heeft geholpen om daar te komen. Het kan ook gewoon een woord zijn dat toevallig mooi klinkt wanneer je met de kennis van nu terugkijkt.

Dit artikel van Salesforce AI Research is als een groep sceptische detectives die de klas binnenkomen om te controleren of deze "referentieblad"-methode echt werkt of dat het slechts een goocheltruc is die de leraar voor de ogen wordt geschermd. Ze hebben een rigoureus experiment opgezet om te zien of de robot daadwerkelijk de juiste lessen leert of dat hij alleen maar de verkeerde dingen uit het hoofd leert.

De Grote "Hindsight" Roofoverval

De onderzoekers besloten de "privileged self-distillation"-methode onder de ultieme test te stellen met behulp van een AI-model met 20 miljard parameters (een zeer slimme robot) en een reeks moeilijke wiskundeproblemen genaamd AIME 2025. Hun doel was om drie specifieke vragen te beantwoorden die bepalen of deze onderwijsmethode daadwerkelijk nuttig is of gewoon tijdverspilling.

Vraag 1: Vindt de "Goede Woord"-detector ook echt de juiste woorden?
Stel je een detective voor die probeert de dader te vinden. Als de detective met een vinger naar een verdachte wijst, heeft die verdachte dan ook echt een motief? De onderzoekers controleerden of de "score" van de AI (het cijfer dat het aan een woord geeft om te zeggen hoe goed het was) daadwerkelijk overeenkwam met de juiste antwoorden. Ze ontdekten dat de score in feite gokte. Wanneer ze naar duizenden wiskundepogingen keken, was de score nauwelijks beter dan een muntje opgooien om een correcte oplossing van een incorrecte oplossing te onderscheiden. Sterker nog, na correctie voor de lengte van de antwoorden, hield de score zelfs iets meer van de foute antwoorden dan de juiste! Het is als een leraar die, na het nakijken van een toets, een gouden ster geeft aan de student die alles fout had omdat het handschrift zo mooi was.

Vraag 2: Schreef de robot zijn eigen rapportcijfer?
Dit is het sluwe deel. In veel experimenten genereert de AI een antwoord, en vervolgens schrijft dezelfde AI (of een versie van deze) een kritiek op dat antwoord. De onderzoekers maakten zich zorgen over een lus van zelfbejubeling. Als je je eigen rapportcijfer schrijft, ben je misschien te lief voor jezelf. Om dit op te lossen, probeerden ze een "cross-fitting" methode: ze lieten de AI een kritiek schrijven voor het antwoord van een andere AI op hetzelfde probleem. Dit doorbreekt de lus. Maar zelfs met deze fix voorspelden de scores nog steeds niet betrouwbaar welke antwoorden correct waren. De feedback was net zo verward als voorheen. Het blijkt dat alleen omdat je een mooi verhaal over een oplossing kunt schrijven, betekent dat niet dat de oplossing ook daadwerkelijk goed is.

Vraag 3: Wat gebeurt er wanneer de robot probeert te leren van deze scores?
Ten slotte vroegen ze: zelfs als de scores vreemd waren, wat gebeurt er wanneer de robot daadwerkelijk probeert deze te gebruiken om te verbeteren? Ze trainden de robot met vijf verschillende versies van deze "token credit"-methode en vergeleken dit met een robot die alleen leerde van het uiteindelijke goed-of-fout antwoord. De resultaten waren een enorme teleurstelling voor de fans van de "token credit". Elke robot die probeerde de fancy token-scores te gebruiken, presteerde uiteindelijk slechter dan de robot die zich simpelweg aan de recht-of-fout feedback hield.

De simpele robot kreeg ongeveer 64,2% van de antwoorden goed.
De fancy robots die de token-scores gebruikten, kregen slechts tussen de 24,2% en 33,9% goed.

Het is alsof de robot die probeerde elke stap van zijn denken te analyseren, in de war raakte en volledig vergat hoe hij het probleem moest oplossen, terwijl de robot die alleen naar het eindresultaat keek, steeds beter werd.

Het Eindoordeel

Het artikel concludeert dat een "token likelihood score"—een getal dat zegt dat een woord waarschijnlijker juist is omdat van een referentieblad—niet automatisch waardevol is. Alleen omdat een woord waarschijnlijker wordt nadat je het antwoord hebt gezien, betekent dat niet dat dat woord de sleutel tot de oplossing was.

De onderzoekers kwamen tot de volgende conclusies:

De scores volgden het succes niet; ze waren in feite willekeurige ruis.
Of de feedback nu kwam van hetzelfde antwoord of van een ander antwoord, dat maakte het probleem niet magisch opgelost.
Het gebruik van deze scores om het model te trainen maakte het model zelfs slechter, waardoor het weg werd gestuurd van de juiste antwoorden.

Kortom, het artikel betoogt dat we niet zomaar kunnen aannemen dat "wat er in de terugblik goed uitziet" ook "daadwerkelijk nuttig is". Voordat we AI-modellen credit geven voor elk woord dat ze typen, moeten we drie dingen controleren: komt de score daadwerkelijk overeen met de uitkomst? Is de feedback eerlijk en onafhankelijk? En maakt de training het model daadwerkelijk slimmer? In dit specifieke experiment was het antwoord op alle drie de vragen een resoluut "nee". De fancy methode om credit te geven aan individuele woorden faalde, en de ouderwetse methode van simpelweg het eindantwoord te controleren was de duidelijke winnaar.

Technisch overzicht: Privilegerde waarschijnlijkheid is niet automatisch waarde

Probleemstelling

In on-policy zelf-distillatie voor grote taalmodellen (LLM's) proberen onderzoekers vaak token-niveau krediet toe te wijzen door gebruik te maken van "geprivilegieerde" informatie die alleen tijdens de training beschikbaar is (bijv. referentie-oplossingen, hindsight-kritieken of feedback uit de omgeving) om de eigen rollouts van een model te herwaarderen. De centrale hypothese is dat als een token waarschijnlijker wordt wanneer deze geconditioneerd is op geprivilegieerde informatie, dit een "correcte" of "nuttige" stap vertegenwoordigt.

Dit artikel betoogt echter dat een verandering in token-waarschijnlijkheid (geprivilegieerde waarschijnlijkheid) niet automatisch gelijk staat aan uitkomst-krediet (actiewaarde). De auteurs identificeren een kritieke kloof: een token-waarschijnlijkheidsscore kan structureel goed gevormd en actief zijn zonder daadwerkelijk taaksucces te volgen of nuttige parameter-updates te induceren. Het artikel probeert drie verschillende vragen formeel te scheiden die in bestaande zelf-distillatie-methoden vaak worden verward:

Volgt de score het taaksucces?
Worden rollouts vergeleken onder een consistente scoringsregel?
Welk gedrag versterkt de trainingsverliesfunctie?

Methodologie en Raamwerk

De auteurs stellen een formeel raamwerk voor om geprivilegieerde zelf-distillatie te analyseren, waarbij onderscheid wordt gemaakt tussen token-waarschijnlijkheidsscores en actiewaarden.

Formele Definities

Geprivilegieerde Waarschijnlijkheidsscore ( $d$ ): Meet hoe de waarschijnlijkheid van een scorer voor een token $v$ verandert wanneer de tekstcontext verandert van een baseline $c^-$ naar een geprivilegieerde context $c^+$ (bijv. een kritiek).
$d(s, v) = \log q(v | s, c^+) - \log q(v | s, c^-)$
Actiewaarde ( $Q^\pi_U$ ): De verwachte terminale utiliteit als de volgende token wordt ingesteld op $v$ en de generatie doorgaat onder beleid $\pi$ .

Het artikel stelt vast dat $d$ en $Q^\pi_U$ niet inherent equivalent zijn. Voor $d$ om $Q^\pi_U$ te representeren, moeten specifieke condities (zoals positief-affine equivalentie) worden voldaan, wat niet gegarandeerd wordt door vrije tekstuele feedback.

De Drie Checks

De methodologie draait om drie specifieke diagnostische vragen:

V1: Volgt de voorkeur van de docent het taaksucces?
Het artikel onderzoekt of tokens die door de geprivilegieerde context worden bevoordeeld, daadwerkelijk leiden tot betere uiteindelijke uitkomsten. Het maakt onderscheid tussen de correctheid van de rangschikking en het identificeren van de specifieke waarde van een token-actie. De auteurs bewijzen dat waarschijnlijkheidsratio's alleen principiële krediet vormen als de conditionele variabelen coherente uitkomst-conditionals zijn afgeleid van een gezamenlijke distributie, wat bij vrije tekstuele kritieken vaak niet het geval is.
V2: Worden rollouts vergeleken onder dezelfde scoringsregel?
De auteurs wijzen op een "zelf-afhankelijkheid"-probleem: als een rollout $Y$ zijn eigen feedback $C(Y)$ genereert, en $Y$ vervolgens wordt gescoord door $C(Y)$ , dan meet de score zowel de kwaliteit van de oplossing als hoe goed $Y$ overeenkomt met de eigen beschrijving. Om dit aan te pakken, introduceren zij cross-fitting, waarbij feedback wordt gegenereerd van een andere rollout van hetzelfde probleem (een donor) om de doel-rollout te scoren. Dit verwijdert directe zelf-afhankelijkheid, maar garandeert niet dat de score nuttig is.
V3: Welk gedrag versterkt de trainingsverliesfunctie?
Zelfs als een score succes volgt, bepaalt de trainingsverliesfunctie hoe die score de parameters bijwerkt. Het artikel analyseert hoe verschillende verliesfuncties (bijv. Forward KL, Reverse KL, begrensde beloningen) token-scores transformeren naar parameter-gradiënten. Zij demonstreren dat scalaire invarianten (zoals het behouden van het teken of het totale gewicht van een score) niet garanderen dat de richting van de parameter-update nuttig is, vooral wanneer het model een hoge zekerheid heeft over een token.

Experimentele Opzet

Model: gpt-oss-20b (20 miljard parameters).
Dataset: AIME 2025 (problemen van de Mathematical Association of America).
Feedbackgeneratie: Een extern LLM-oordeel leest het probleem, de referentie-oplossing, het verifier-resultaat en de volledige trace om een "nuttige" uitleg ( $C^+$ ) en een "plausibele maar onjuiste" tegenhanger ( $C^-$ ) te schrijven.
Scoring: Een bevroren of eerder checkpoint van het model berekent de verschillen in token-waarschijnlijkheid op basis van deze feedbackteksten.
Trainingsvarianten: De studie vergelijkt een outcome-only controle (die alleen de uiteindelijke correctheid-labels gebruikt) met vijf varianten die token-scores integreren (additieve varianten met entropie-weging, source clipping en KL-geregulariseerde varianten).

Belangrijkste Resultaten

De experimenten leveren concreet bewijs dat geprivilegieerde waarschijnlijkheidsscores vaak falen om als nuttig uitkomst-krediet te fungeren in deze setting.

Resultaten V1 (Volgen van Succes):
- De geïmplementeerde additieve token-score presteerde bijna op het niveau van toeval bij het onderscheiden van correcte van incorrecte trajecten.
- AUC (Area Under Curve): 0.505 (95% CI: [0.483, 0.524]), wat statistisch ononderscheidbaar is van willekeurig gokken (0.5).
- Na correctie voor de lengte van de respons, bevoordeelde de score de incorrecte trajecten licht (AUC = 0.474).
- Eenzijdige docent-residuen waren negatief voor zowel correcte als incorrecte rollouts, wat aangeeft dat de docent beide lager scoort, maar bij correcte trajecten slechts minder sterk.
Resultaten V2 (Constructie van Feedback):
- Het verwijderen van zelf-afhankelijkheid via cross-fitting (helder gehouden feedback) verbeterde het vermogen van de score om uitkomsten te volgen niet. De AUC voor de gehouden gemaskeerde feedback bleef nabij het niveau van toeval (0.512 ruw, 0.485 lengte-gecorrigeerd).
- Scores afgeleid van "eigen-rollout" feedback leken sterker (AUC ~0.588), maar werden aangetoond zelf-afhankelijk te zijn, waarbij ze de overeenkomst tussen de oplossing en de eigen kritiek meten in plaats van objectieve utiliteit.
Resultaten V3 (Trainingsgedrag):
- Prestatievermindering: Alle vijf de met token-scores getrainde varianten presteerden significant slechter dan de outcome-only controle.
- Nauwkeurigheidsverschil: De outcome-only controle bereikte een nauwkeurigheid van 64.2% (avg@4). De varianten met token-scores behaalden nauwkeurigheden variërend van 24.2% tot 33.9%, wat een daling in prestaties betekent van 30.4 tot 40.0 procentpunten ten opzichte van de controle.
- Mechanisme: De varianten met token-scores bewogen naar hogere token-entropie en een hogere KL-divergentie van het referentiebeleid, terwijl de outcome-only controle de nauwkeurigheid verbeterde zonder deze verschuivingen. De token-scores leken hoog-entropische, irrelevante tokens te versterken in plaats van correcte redeneerstappen.

Belangrijkste Bijdragen

Formele Distinctie: Het artikel biedt een formeel raamwerk dat token-waarschijnlijkheidsscores scheidt van actiewaarden, en bewijst dat veranderingen in waarschijnlijkheid niet automatisch uitkomst-krediet impliceren.
Drie-Check Raamwerk: Het organiseert de evaluatie van geprivilegieerde zelf-distillatie in drie specifieke checks (volgen van succes, constructie van feedback en gedrag van de verliesfunctie), waarbij wordt aangetoond dat het slagen voor één check niet de andere garandeert.
Theoretische Bewijzen:
- Bewijst dat de term voor conditionele wederzijdse informatie in de forward-KL decompositie constant is met betrekking tot de student onder vaste targets, wat betekent dat het geen taak-gradiënt is.
- Demonstreert dat het behouden van het scalaire teken of het totale gewicht van token-scores niet het verwachte parameter-gradiënt behoudt.
Empirische Demonstratie: Met behulp van gematchte experimenten op AIME 2025 laat het artikel zien dat een structureel solide geprivilegieerde waarschijnlijkheidssignaal actief kan zijn maar toch bijna nul of negatieve utiliteit biedt, wat leidt tot significante prestatieverslechtering vergeleken met outcome-only training.

Betekenis en Claims

Het artikel claimt dat geprivilegieerde waarschijnlijkheid niet automatisch waarde is. De auteurs benadrukken dat het behandelen van een waarschijnlijkheidssignaal als krediet een rigoureuze validatie vereist van:

Of de score daadwerkelijk correleert met taaksucces.
Of de feedbackconstructie zelf-afhankelijkheidsloops vermijdt.
Of de specifieke trainingsverliesfunctie het gewenste gedrag versterkt.

De auteurs stellen bescheiden dat deze resultaten niet bewijzen dat alle zelf-distillatie-methoden falen, maar dat het specifieke mechanisme van het gebruiken van geprivilegieerde waarschijnlijkheid als een direct krediet-signaal fragiel en vaak ineffectief is zonder de drie checks te doorlopen. De bevindingen suggereren dat succesvolle methoden expliciet de alignment tussen het waarschijnlijkheidssignaal en de taakuitkomst moeten valideren, in plaats van aan te nemen dat de voorkeur van de docent onder hindsight een proxy is voor bijdrage.

Het artikel concludeert dat hoewel de formele distincties algemeen van toepassing zijn, de numerieke resultaten specifiek zijn voor de gpt-oss-20b en AIME 2025 setup. Echter, de geïdentificeerde faalmodi (zelf-afhankelijkheid, door verlies veroorzaakte gradiënt-misalignment en gebrek aan uitkomst-tracking) dienen als cruciale diagnostica voor toekomstig onderzoek naar on-policy zelf-distillatie.