Technische Samenvatting: Op Voorkeuren Gebaseerde Zelfdistillatie (PBSD)

Probleemstelling

On-policy distillatie (OPD) biedt een efficiënt alternatief voor versterkende leerling (RL) voor het na-traineren van grote taalmodellen (LLM's) door dichte, token-niveau trainingsignalen te leveren. Echter, standaard OPD is afhankelijk van een sterkere, externe leraar, wat knelpunten creëert in computationele efficiëntie en schaalbaarheid vanwege de noodzaak van aparte architecturen en gedeelde vocabulaires.

Om dit aan te pakken, is on-policy zelfdistillatie opgekomen, waarbij hetzelfde model dient als zowel leraar als leerling, met de leraar geïnstancierd door het model te conditioneren op extra bevoorrechte context (bijvoorbeeld expertdemonstraties of redeneersporen). Ondanks zijn veelbelovende aard, lijden bestaande zelfdistillatiemethoden aan twee kritieke beperkingen:

1. Trainingsinstabiliteit en Prestatieverslechtering: Huidige benaderingen vertrouwen op directe Kullback-Leibler (KL)-divergentie-aanpassing naar de context-verrijkte leraar. Recente analyses geven aan dat dit op de lange termijn redeneerprestaties actief kan verslechteren, epistemische verbalisatie (onzekerheid, zelfcontrole) onderdrukt en leidt tot oververzekerd, korter redeneerspoor.
2. Gebrek aan Exploratieve Diversiteit: Het behandelen van een context-verrijkte versie van hetzelfde model als leraar veronderstelt dat de leraar een sterke orakel is. Omdat leraar en leerling echter identieke parameters delen, mist het toezicht vaak de diversiteit en exploratieve waarde die wordt geboden door een werkelijk sterkere externe model.

Het artikel betoogt dat het simpelweg kopiëren van de leraardistributie via KL-aanpassing suboptimaal is omdat het de latente beloningsstructuur van de antwoorden negeert.

Methodologie: Op Voorkeuren Gebaseerde Zelfdistillatie (PBSD)

De auteurs stellen Preference-Based Self-Distillation (PBSD) voor, een raamwerk dat on-policy zelfdistillatie herformuleert via een belonings-geregulariseerd perspectief in plaats van vaste-leraar KL-aanpassing.

1. Belonings-Geregulariseerde Doelfunctie

In plaats van alleen de omgekeerde KL-divergentie tussen de leerling $\pi_\theta$ en de leraar $\pi_{\text{teach}}$ te minimaliseren, optimaliseert PBSD een gezamenlijke doelfunctie die KL-aanpassing afweegt tegen beloningsmaximalisatie:
$$\max_{\pi_\theta} \mathbb{E}_{x \sim \mathcal{D}} \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [r(x, y)] - \beta D_{\text{KL}}(\pi_\theta(\cdot|x) \parallel \pi_{\text{teach}}(\cdot|x))$$
waarbij $r(x, y)$ een latente doelbeloning is en $\beta$ de regularisatiesterkte controleert.

Theoretisch Inzicht: De auteurs leiden af dat het analytische optimum van deze doelfunctie niet de leraardistributie zelf is, maar een belonings-georiënteerde leraardistributie:
$$\pi^*(y|x) = \frac{\pi_{\text{teach}}(y|x) \exp(r(x, y)/\beta)}{Z(x)}$$
Deze doelbeleid is onder de belonings-geregulariseerde doelfunctie bewezen superieur aan de oorspronkelijke leraar, mits de beloning varieert over door de leraar ondersteunde antwoorden. De leraar dient als ondersteuningsdistributie (inductieve bias), terwijl de beloning de waarschijnlijkheidsmassa herweegt naar waardevollere gedragingen.

2. Optimalisatie via Voorkeursleren

Omdat de latente beloning $r(x, y)$ niet wordt waargenomen, optimaliseert PBSD de doelfunctie met voorkeursgebaseerd leren (geïnspireerd door DPO).

• Leraarconstructie: De leraar $\pi_{\text{teach}}(y|x)$ wordt gedefinieerd als hetzelfde basismodel dat is geconditioneerd op bevoorrechte context $c$ (bijvoorbeeld $\pi(y|x, c)$).
• Voorkeursparen: Voor elke invoer $x$ wordt een positief voorbeeld $y^+$ gegenereerd door de leraar (beter geconditioneerd), en een negatief voorbeeld $y^-$ wordt gegenereerd door de huidige leerling (on-policy).
• Verliesfunctie: De methode maximaliseert de waarschijnlijkheid dat het leraarantwoord wordt verkiezen boven het leerlingantwoord met behulp van een Bradley-Terry-model:
  $$\max_{\theta} \mathbb{E} \left[ \log \sigma \left( \beta \left( \log \frac{\pi_\theta(y^+|x)}{\pi_{\text{teach}}(y^+|x)} - \log \frac{\pi_\theta(y^-|x)}{\pi_{\text{teach}}(y^-|x)} \right) \right) \right]$$
  Deze formulering optimaliseert effectief de "voorkeurskloof" tussen leraar- en leerlingvoorbeelden terwijl on-policy bemonstering wordt behouden, waardoor de noodzaak voor een expliciet beloningsmodel wordt vermeden.

3. Statistische Analyse

Het artikel biedt een statistische analyse van het geïnduceerde voorkeursleringsprobleem. Het stelt vast dat contextuele zelfdistillatie theoretisch verkiezenswaardig is boven leren van een externe leraar wanneer:

• De door de leraar gegenereerde positieve voorbeelden diverse score-kloofrichtingen bieden (die informatieve richtingen omvatten die verder gaan dan de huidige distributie van de leerling).
• De voorkeursmarges tussen leraar en leerling gematigd blijven.
  De analyse toont aan dat de lokale steekproefcomplexiteit wordt bepaald door de kleinste eigenwaarde van de empirische informatiematrix. Contextuele zelfdistillatie houdt van nature gematigde marges in stand (vermijding van verzadiging) terwijl het rijkere richtingen biedt dan puur zelf-kopiëren, wat leidt tot strakkere schattingsgrenzen.

Belangrijkste Bijdragen

1. Belonings-Geregulariseerde Doelfunctie: Introductie van een zelfdistillatiedoel dat nabijheid tot de leraar afweegt tegen beloningsmaximalisatie, bewijzend dat het optimale doel een belonings-hergewogen leraardistributie is in plaats van de leraar zelf.
2. PBSD-raamwerk: Voorstellen van een nieuw voorkeursgebaseerd on-policy zelfdistillatieraamwerk dat voorkeurskloven tussen leraar- en leerlingvoorbeelden optimaliseert zonder een externe leraar of beloningsmodel te vereisen.
3. Theoretische Rechtvaardiging: Verschaffen van een statistische analyse die voorwaarden vaststelt waaronder contextuele zelfdistillatie prestaties boven distillatie van externe leraren, specifiek met betrekking tot de afweging tussen score-kloofdiversiteit en margemoderatie.
4. Empirische Validatie: Aantonen van consistente verbeteringen over meerdere modelschalen (1.7B, 4B, 8B) op benchmarks voor wiskundig redeneren en tool-gebruik.

Experimentele Resultaten

De auteurs evalueerden PBSD op wiskundig redeneren (OpenThoughts dataset, geëvalueerd op AIME 2024/2025, HMMT 2025) en tool-gebruik (ToolAlpaca-gebaseerde setup) met Qwen3-modellen.

• Prestaties: PBSD bereikte consistent de sterkste gemiddelde prestaties over alle modelschalen en taken.
  • Op Qwen3-8B bereikte PBSD een wiskundig gemiddelde van 65.2, wat beter was dan het basismodel (+3.7) en de sterkste baseline OPSD (+1.0).
  • Op Qwen3-4B en 1.7B bereikte PBSD ook de hoogste gemiddelden, en versloeg baselines zoals GRPO, DAPO en OPSD.
  • Bij tool-gebruik bereikte PBSD de beste top-1 nauwkeurigheid op alle schalen (bijvoorbeeld 72,0% voor 8B).
• Stabiliteit: In tegenstelling tot OPSD, dat vaak vroeg piekt en verslechtert, toonde PBSD stabiele trainingsvoortgang gedurende het volledige budget van 500 stappen.
• Token-efficiëntie: PBSD behield de token-efficiëntie van zelfdistillatie (één doorloop per prompt) terwijl het prestaties bereikte die vergelijkbaar waren met of beter waren dan RL-gebaseerde methoden (zoals GRPO) die enorme token-budgetten vereisen.
• Ablaties:
  • Vaste Leraar: Het houden van de leraar vast bij initialisatie bleek voldoende en effectief; het bijwerken van de leraar elke 5 stappen bood geen duidelijk voordeel.
  • Exploratie: PBSD behield exploratieve redeneergedragingen (gematigde voltooingslengten) beter dan directe KL-aanpassingsmethoden, en voorkwam het instorten in te korte, oververzekerde sporen.

Betekenis en Claims

Het artikel beweert dat PBSD een fundamentele kloof in na-trainingsparadigma's aanpakt door de token-efficiëntie van zelfdistillatie te combineren met de stabiliteit en beloningsbewustzijn van voorkeursoptimalisatie.

• Voorbij KL-aanpassing: Het werk daagt de veronderstelling uit dat zelfdistillatie een direct distributie-aanpassingsprobleem moet zijn. Het stelt dat de leraar de ondersteuning van nuttige gedragingen moet definiëren, terwijl de optimalisatie selectief waardevollere antwoorden moet versterken via beloningsherweging.
• Schaalbaarheid: Door de afhankelijkheid van externe leraar-modellen of beloningsmodellen te verwijderen, biedt PBSD een schaalbare weg voor het democratiseren van capabele open-source agenten, met name in multi-turn redenerings- en tool-gebruiksscenario's.
• Robuustheid: Het raamwerk biedt een robuustere doel-distributie die exploratief redeneren behoudt en toestaat tot stabielere optimalisatie in vergelijking met eerdere zelfdistillatie-baselines.

De auteurs concluderen dat beloningsbewuste zelfdistillatie een veelbelovend paradigma vertegenwoordigt voor de stabiele en schaalbare na-training van op redenering gerichte LLM's, waarbij effectief de kloof wordt overbrugd tussen dichte supervisie en beloningsoptimalisatie zonder externe afhankelijkheden.