Technische Samenvatting: Anchored Residual Guidance voor Privileged On-Policy Distillatie

1. Probleemstelling

Het artikel behandelt een specifieke faalmodus in Privileged On-Policy Distillatie (Privileged OPD). In standaard OPD leert een studentmodel van de voorspellingen van een docent op toestanden die door de student zelf worden gegenereerd, wat de exposure bias van supervised fine-tuning (SFT) vermindert. Privileged OPD versterkt dit door een "zelf-docent" (hetzelfde basismodel) te gebruiken, uitgebreid met geprivilegieerde informatie (bijv. oracle traces, gouden oplossingen) om dichte, antwoord-gerichte supervisie te bieden.

De auteurs identificeren echter dat het behandelen van deze volledig geprivilegieerde docent als een absoluut imitatiemodel een "bereikbaarheidsmismatch" (reachability mismatch) creëert. Omdat de docent met volledig zicht conditioneert op de volledige toekomstige context (inclusief het uiteindelijke antwoord), bevat de waarschijnlijkheidsverdeling hindsight-biased informatie (achteraf-gebiaseerde informatie). Dit verschuift de waarschijnlijkheidsmassa naar tokens die feitelijk correct zijn gegeven de toekomst, maar die causaal niet ondersteund worden door de huidige prefix van de student.

• Het gevolg: De student wordt aangemoedigd om geldige tussenliggende redeneerstappen over te slaan ten gunste van "lokaal niet-ondersteunde shortcuts" om de hindsight-biased verdeling te matchen.
• De pathologie: Dit leidt tot lekkage van geprivilegieerde informatie, waarbij het model lijkt te "valsspelen" door antwoorden te anticiperen die het niet logisch kan afleiden uit de huidige staat, een fenomeen dat verergert naarmate de trajectlengte toeneemt (long-horizon drift).

2. Methodologie: Anchored Residual On-Policy Distillatie (AR-OPD)

Om de mismatch tussen de lokale voorspellende ondersteuning van de student en de hindsight-biased verdeling van de docent op te lossen, stellen de auteurs AR-OPD voor, een dual-view framework dat geprivilegieerde supervisie ontleedt in twee componenten: een Locally Compatible Anchor en een Destination-Directed Residual.

Kernmechanisme

In plaats van de student te dwingen de volledige geprivilegieerde docent ($q_{full}$) te imiteren, construeert AR-OPD een doelverdeling ($q_\lambda$) met behulp van de volgende decompositie in log-waarschijnlijkheidsruimte:

$$\log q_\lambda(v | s_t) = \underbrace{\log q_{part}(v | s_t)}_{\text{Anchor}} + \lambda \underbrace{(\log q_{full}(v | s_t) - \log q_{part}(v | s_t))}_{\text{Residual}} - C_t$$

1. De Anchor ($q_{part}$): Een gedeeltelijk geprivilegieerde docent wordt geconstrueerd door de geprivilegieerde context deterministisch te trunceren (bijv. de eerste 50% van de redeneer-trace behouden, $\rho=0.5$). Deze docent biedt een causaal bereikbaar doel dat de student isoleert van hindsight-biased antwoorden, terwijl de structurele sturing behouden blijft.
2. De Residual: Het verschil tussen de docent met volledig zicht en de docent met gedeeltelijk zicht vertegenwoordigt de marginale vooruitziendheid (het "destination-directed" signaal).
3. De Controleparameter ($\lambda$): Deze coëfficiënt schaalt de residual.
   • Als $\lambda = 0$, reduceert de methode tot partial privileged OPD.
   • Als $\lambda = 1$, herstelt het de volledige geprivilegieerde target.
   • De auteurs stellen vast dat $\lambda < 1$ (contractieve regime) optimaal is, waardoor het doel tussen de gedeeltelijke en volledige views wordt verankerd om overmatige overdracht van hindsight-informatie te voorkomen.

Trainingsdoel

De student wordt getraind via forward KL-divergentie om de afstand tussen zijn beleid en deze geankerde residual target $q_\lambda$ op door de student bezochte toestanden te minimaliseren, in plaats van de monolithische full-view target.

3. Belangrijkste Bijdragen

1. Diagnose van Hindsight Leakage: Het artikel levert mechanistisch bewijs dat monolithische privileged OPD optimalisatiepathologieën induceert door studenten naar tokens te trekken die buiten hun lokale voorspellende ondersteuning liggen, met name in lange trajecten (>768 tokens).
2. AR-OPD Framework: De introductie van een dual-view distillatiemethode die de scheiding tussen lokale bereikbaarheid (Anchor) en toekomstige sturing (Residual) operationaliseert.
3. Empirische Validatie: Demonstratie dat het controleren van de full-view residual de prestaties verbetert ten opzichte van zowel standaard SFT als volledige privileged OPD, specifiek door het verminderen van shortcut-events en het mitigeren van late-stage drift.

4. Experimentele Resultaten

De auteurs evalueerden AR-OPD over vier domeinen: Wiskunde (MATH500, AMC23), Code (HumanEval, MBPP), Wetenschap (SciKnowEval) en Medische QA (MedQA, MedCQA), waarbij Qwen2.5-7B-Instruct als basismodel werd gebruikt.

• Prestatiewinst: AR-OPD behaalde de hoogste gemiddelde score (70.3) over alle benchmarks.
  • +12.1 punten ten opzichte van het basismodel.
  • +7.9 punten ten opzichte van Supervised Fine-Tuning (SFT).
  • +2.3 punten ten opzichte van de sterke Full Privileged OPD baseline.
• Domeinspecifieke resultaten: De winst was het meest uitgesproken in wiskundig redeneren, waar AR-OPD 74.6 behaalde op MATH500 (hoger dan Full OPD met 3.6 punten).
• Long-Horizon Robustheid: Op trajecten die de 768 tokens overschreden, presteerde AR-OPD 7.2 punten beter dan Full OPD, wat een superieure stabiliteit aantoont in uitgebreide redeneertaken.
• Mechanisme Verificatie:
  • Reductie van Shortcuts: AR-OPD verminderde "shortcut events" (instanties van geprivilegieerde informatie-lekkage) met 21.7% vergeleken met Full OPD.
  • Signaalbetrouwbaarheid: Diagnostiek toonde aan dat de gedeeltelijke geprivilegieerde view bijna net zoveel voorspellende kracht behoudt voor uiteindelijke correctheid (ROC-AUC 0.766) als de volledige view (0.779), terwijl het marginale full-minus-partial signaal aanzienlijk zwakker is (0.585), wat de residual-aanpak rechtvaardigt.

5. Betekenis en Claims

Het artikel claimt dat het nut van geprivilegieerde informatie in distillatie geen binaire keuze is (gebruiken vs. verwerpen), maar een target-design probleem.

• Herformulering van Privilege: De auteurs argumenteren dat full-view oracle distributies nuttige destination-directed signalen bevatten, maar gevaarlijk zijn wanneer ze als absolute targets worden behandeld vanwege hindsight bias.
• Gecontroleerde Sturing: Door de target te verankeren aan een lokaal bereikbare staat en vooruitziendheid te injecteren als een gecontroleerde residual, stelt AR-OPD modellen in staat om te profiteren van "meer zien" zonder de causale integriteit van het redeneerproces op te offeren.
• Schaalbaarheid: De methode is bijzonder significant voor long-horizon reasoning, waarbij de betrouwbaarheid van full-view targets afneemt en het risico op hindsight-geïnduceerde drift het grootst is.

De auteurs concluderen dat AR-OPD een robuust recept biedt voor post-training reasoning modellen, waarbij een balans wordt gevonden tussen de dichtheid van geprivilegieerde supervisie en de lokale compatibiliteit die vereist is voor stabiel on-policy leren.