🤖 machine learning

When Context Returns: Toward Robust Internalization in On-Policy Distillation

Dit artikel identificeert en adresseert "context-geïnduceerde degradatie", een fenomeen waarbij het herintroduceren van geprivilegieerde context aan een gedestilleerd studentmodel de prestaties schaadt, door een lichtgewicht consistentieregularisator voor te stellen die robuuste internalisering en context-verwijderbaarheid over diverse domeinen heen waarborgt.

Oorspronkelijke auteurs: Xun Wang, Ruishuo Chen, Zhuoran Li, Yu Chen, Longbo Huang

Gepubliceerd 2026-06-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xun Wang, Ruishuo Chen, Zhuoran Li, Yu Chen, Longbo Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student traint om een meesterkok te worden.

De Oude Manier (Het Probleem):
Normaal gesproken leer je de student door te laten kijken hoe je kookt terwijl je een bijzonder "Geheim Receptenboek" leest (de geprivilegieerde context). Dit boek vertelt je precies hoe je met lastige ingrediënten moet omgaan of welk smaakprofiel je nastreeft. De student kijkt toe, leert, en onthoudt uiteindelijk de gerechten zo goed dat ze de gerechten perfect kunnen bereiden zonder het boek.

Echter, de onderzoekers in dit artikel ontdekten een vreemde glitch. Zodra de student de recepten heeft onthouden, als je hen het "Geheime Receptenboek" opnieuw overhandigt terwijl ze aan het koken zijn, raken ze plotseling in de war. Ze gaan te veel nadenken, maken fouten die ze zonder het boek niet hadden gemaakt, en eindigen met het schrijven van een veel langere, veel warriger receptenkaart dan nodig is.

Het papier noemt dit "Context-Induced Degradation" (door context veroorzaakte degradatie). Het is als een student die een tekstboek zo goed heeft geleerd dat als je ze tijdens een toets het boek laat openen, ze in paniek raken en alles vergeten omdat de informatie nu redundant en verwarrend is.

De Nieuwe Oplossing (NCA):
De auteurs stellen een eenvoudige oplossing voor genaamd No-Context Anchoring (NCA).

Denk er als volgt over: Tijdens de training zegt de leraar tegen de student: "Kook dit gerecht eerst zonder het boek. Schrijf precies op wat je doet. Dat is jouw Anker."

Vervolgens zegt de leraar: "Kook nu hetzelfde gerecht met het boek." Maar hier is de regel: Jouw output met het boek moet exact hetzelfde zijn als jouw output zonder het boek.

Als de student begint af te dwalen of in de war raakt door het boek, duwt de leraar hen zachtjes terug naar het "Anker" (de versie zonder boek). De leraar zegt in feite: "Het boek is nu onderdeel van je brein; je hoeft het niet te raadpleken om te weten wat je moet doen. Als je naar het boek kijkt en van gedachten verandert, doe je het fout."

Wat gebeurde er toen ze het probeerden?
De onderzoekers testten dit in 12 verschillende scenario's, variërend van het beantwoorden van medische vragen tot het spelen van tekstgebaseerde avonturenspellen. Dit is wat ze vonden:

De Paniek Stoppen: In bijna alle gevallen stopte de "paniek" (degradatie). Wanneer de context (het boek) werd geherintroduceerd, werden de modellen niet slechter; ze bleven stabiel.
Beter Geheugen: Verrassend genoeg maakte het de modellen ook beter in het koken zonder het boek. Het lijkt erop dat door het model te dwingen het boek te negeren tijdens de training, het de kern van de taak dieper heeft geleerd.
Kortere Antwoorden: Voorheen, wanneer de modellen het boek zagen, hadden ze de neiging om lange, warrige antwoorden te schrijven. Met deze nieuwe methode stopten ze met het opblazen van hun antwoorden en kwamen ze direct ter zake.
De "Brein"-Check: De onderzoekers keken in het "brein" van het model (de verborgen lagen). Ze ontdekten dat met de nieuwe methode de interne staat van het brein bijna identiek was, of het boek nu aanwezig was of niet. De informatie was echt geabsorbeerd in de structuur van het model, waardoor het externe boek overbodig was geworden.

De Drie Typen Studenten:
Het paper merkte ook drie soorten reacties op wanneer het boek werd geherintroduceerd:

Type A (De Verwarde): De student was geweldig zonder het boek, maar het boek maakte hen slechter. (Dit was het meest voorkomende probleem, en de nieuwe methode loste dit op).
Type B (De Leerling): De student had het boek nog steeds nodig om goed te presteren, wat betekende dat ze de les nog niet volledig hadden geleerd.
Type C (De Meester): De student was al zo goed dat het boek er niet toe deed.

De Kernboodschap:
Dit paper laat zien dat het simpelweg aanleren van een model om een leraar te kopiëren die een "spiekbriefje" gebruikt, niet genoeg is. Om een model echt robuust te maken, moet je het leren dat het spiekbriefje nu onderdeel is van zijn eigen geest. Als je het spiekbriefje later opnieuw introduceert, mag het de gedragingen van het model niet veranderen. De nieuwe methode is een lichtgewicht, eenvoudig toe te voegen regel die ervoor zorgt dat het model kalm en consistent blijft, of het spiekbriefje er nu is of niet.

Technisch overzicht: Naar robuuste internalisering in On-Policy Distillatie

1. Probleemstelling

Recente vooruitgang in on-policy distillatie (OPD) heeft ervoor gezorgd dat studentmodellen geprivilegieerde context (bijv. systeemprompts, taakhints of speltoestandsbeschrijvingen) in hun parameters kunnen internaliseren, waardoor ze zonder de context goed kunnen presteren tijdens inferentie. Dit artikel identificeert echter een voorheen niet bestudeerd fenomeen dat context-geïnduceerde degradatie wordt genoemd.

In tegen weerstelling van de intuïtie dat geïnternaliseerde kennis de context overbodig zou moeten maken (een idempotente operatie), observeren de auteurs dat het opnieuw introduceren van de geprivilegieerde context bij een gedistilleerd studentmodel vaak de prestaties verslechtert en de responslengte opblaast, zelfs bij instanties die het model zonder context correct oplost. Dit gebeurt omdat standaard OPD uitsluitend optimaliseert voor geprivilegieerde getrouwheid (het matchen van de door context geconditioneerde output van de leraar), maar geen beperkingen oplegt aan het gedrag van het studentmodel wanneer de context aanwezig is. Bijgevolg slaagt het studentmodel er niet in om context-verwijderbaarheid te bereiken: de eigenschap waarbij de output van het model stabiel blijft, ongeacht of de geprivilegieerde context wordt verstrekt of niet.

De auteurs categoriseren interacties met context na de distillatie in drie regimes:

Regime A: Het studentmodel presteert goed zonder context, maar het herintroduceren van context veroorzaakt aanzienlijke nauwkeurigheidsdalingen en hoge "schadegraten" (het omdraaien van correcte voorspellingen naar incorrecte). Dit is het meest voorkomende regime in hun experimenten.
Regime B: De context fungeert nog steeds als een nuttig steunpunt, wat wijst op onvolledige internalisering.
Regime C: Het studentmodel heeft de context succesvol geïnternaliseerd, en de prestaties zijn stabiel met en zonder de context.

2. Methodologie: No-Context Anchoring (NCA)

Om context-geïnduceerde degradatie aan te pakken, stellen de auteurs No-Context Anchoring (NCA) voor, een lichtgewicht consistentie-regularisator. Het kernidee is om af te dwingen dat de door context geconditioneerde output van het studentmodel ( $q_c$ ) consistent blijft met de output zonder context ( $q_x$ ), waarbij de laatste als anker wordt behand === gebruikt.

Doelfunctie

Standaard OPD minimaliseert de KL-divergentie tussen de no-context output van het studentmodel en de door context geconditioneerde distributie van de leraar:
$\mathcal{L}_{OPD} = \mathbb{E}_{x \sim D} [\text{KL}(q_x \parallel f(y \mid x, c))]$

NCA breidt dit uit met een consistentieterm:
$\mathcal{L} = \mathcal{L}_{OPD} + \beta \cdot \mathcal{L}_{NCA}$
waarbij $\mathcal{L}_{NCA}$ als volgt wordt gedefinieerd:
$\mathcal{L}_{NCA} \triangleq \text{KL}(\text{sg}[g_\theta(\cdot \mid x)] \parallel g_\theta(\cdot \mid x, c))$

Belangrijke ontwerpkeuzes

Stop-Gradient Anchoring: De no-context weergave $q_x$ wordt door een stop-gradient operator (sg) geleid. Dit zorgt ervoor dat $q_x$ alleen gradiënten ontvangt van de primaire OPD-loss, terwijl $q_c$ alleen gradiënten ontvangt van de NCA-loss. Dit elimineert gradiëntcompetitie tussen de twee doelstellingen.
Forward KL Divergentie: De auteurs kiezen voor $\text{KL}(q_x \parallel q_c)$ (forward KL) in plaats van reverse KL. Deze keuze is "mode-covering", wat voorkomt dat $q_c$ de modi van $q_x$ doet instorten. Bovendien valt de verwachting onder $q_x$ , waardoor de on-policy samples die gegenereerd zijn voor OPD hergebruikt kunnen worden zonder dat er een aparte rollout van $q_c$ nodig is.
Computationele Efficiëntie: NCA vereist slechts één extra forward pass per trainingsstap (om $q_c$ te berekenen). De logits voor $q_x$ worden losgekoppeld van de berekeningsgrafiek en de on-policy sequenties worden hergebruikt, waardoor de overhead verwaarloosbaar is.

3. Experimentele Opzet

De auteurs evalueerden NCA over 12 configuraties die variëren in:

Domeinen: System-prompt QA (MedMCQA, Safety datasets) en Tekstspellen (Sokoban, FrozenLake).
Modellen: Diverse Llama-3 en Qwen modellen (variërend van 1,7B tot 8B parameters), inclusief zowel zelf-distillatie als cross-model distillatie scenario's.
Metrieken: Nauwkeurigheid/Win Rate met en zonder context, Schadegraad (waarschijnlijkheid dat context een correct antwoord verandert), Both-Correct/Won rates, en relatieve veranderingen in responslengte.

4. Belangrijkste Resultaten

Over de 12 settings heen vertoonde NCA de volgende effecten:

Mitigatie van Context-Geïnduceerde Degradatie: NCA verminderde de context-geïnduceerde schade in 11 van de 12 settings. In Regime A settings (waar degradatie ernstig was), verminderde NCA de nauwkeurigheidsdaling bij de herintroductie van context aanzienlijk.
Verbeterde Stabiliteit: NCA verhoogde consistent de "BothCorrect" of "BothWon" rates, wat aangeeft dat het model correct gedrag behoudt onder beide weergaven.
Eliminatie van Responslengte-Inflatie: Standaard OPD zorgde er vaak voor dat het model aanzienlijk langere responsen genereerde wanneer context werd herintroduceerd (tot +39,5% lengte-toename). NCA elimineerde deze inflatie effectief in de meeste settings, en bracht de lengteverandering vaak terug naar bijna nul.
Verbeterde No-Context Prestaties: In 7 van de 12 settings verbeterde NCA de primaire trainingsdoelstelling (no-context nauwkeurigheid) met 0,6 tot 3,6 procentpunten. De auteurs schrijven dit toe aan het feit dat de consistentie-constraint werkt als een regularisator die voorkomt dat parameter-updates conflicterende gedragingen over verschillende weergaven accommoderen.
Grensgevallen: In één Regime B setting (FrozenLake, cross-model) verhoogde NCA de schade licht, wat suggereert dat wanneer context nog unieke, niet-geïnternaliseerde informatie bevat, het afdwingen van strikte verwijderbaarheid ten koste kan gaan van een deel van de context-geconditioneerde prestaties voor de stabiliteit.

5. Mechanistische Analyse

Het artikel biedt een mechanistische casestudy op de Sokoban-taak om uit te leggen hoe NCA context-verwijderbaarheid bereikt:

Representatieniveau: Analyse van de verborgen toestanden (hidden states) toonde aan dat hoewel standaard OPD de divergentie tussen de context- en no-context weergaven verminderde, er een merkbaar gat bleef bestaan in de middelste en late lagen. NCA behield echter een bijna perfecte cosinus-gelijkenis ( $\ge 0,997$ ) over alle lagen, wat bevestigt dat context-verwijderbaarheid wordt bereikt op het niveau van de representatie.
Gradiënt Alignment: In standaard OPD waren de gradiënten voor de distillatie-doelstelling en de context-geconditioneerde weergave bijna orthogonaal. NCA introduceert een nieuwe gradiëntrichting die actief de krachten balanceert tussen het benutten van context voor distillatie en het invariant blijven voor die context.
Parameterupdates: Zowel OPD als NCA concentreren parameterupdates in ondiepe lagen (met name $k\_proj$ en $q\_proj$ ). Echter, de specifieke updates gedreven door NCA zijn verschillend van die van OPD, wat suggereert dat context-verwijderbaarheid primair wordt bereikt door modificaties aan de kennisrepresentaties in de ondiepe lagen die OPD alleen niet produceert.

6. Betekenis en Claims

De auteurs beweren dat hun werk het evaluatieparadigma voor geprivilegieerde-context distillatie verschuift. Ze argumenteren dat robuuste internalisering niet alleen vereist dat de leraar wordt nagebootst (geprivilegieerde getrouwheid), maar ook dat er wordt toegezien op context-verwijderbaarheid.

Nieuwigheid: Dit is de eerste studie die het fenomeen identificeert en aanpakt waarbij het herintroduceren van geïnternaliseerde context de prestaties van het model verslechtert.
Praktische bruikbaarheid: De voorgestelde methode (NCA) is eenvoudig, vereist slechts één forward pass en een standaard consistentie-regularisator, maar lost het degradatieprobleem effectief op zonder de primaire distillatie-doelen op te offeren.
Generaliseerbaarheid: De methode verbetert de prestaties over diverse modelfamilies, taken en distillatie-instellingen (zowel zelf- als cross-model).

Het artikel concludeert met een oproep aan de gemeenschap om gedistilleerde modellen niet alleen te evalueren op hun no-context prestaties, maar ook op hun robuustheid tegen de herintroductie van context, om te garanderen dat geïnternaliseerde kennis niet een last wordt wanneer de context per ongeluk of opzettelijk wordt verstrekt.