🤖 machine learning

One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context

Dit artikel introduceert Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context, een methode die bevroren backbone-modellen met taakspecifieke leerbare soft prompts als docenten gebruikt om een enkel studentmodel in staat te stellen efficiënt kennis van meerdere taken parallel op te nemen zonder te lijden onder catastrofale vergetelheid of de noodzaak van volledige gewichts-fine-tuning.

Oorspronkelijke auteurs: Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

Gepubliceerd 2026-07-22

📖 6 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar ietwat onhandige student probeert te leren hoe je complexe puzzels oplost. In de wereld van kunstmatige intelligentie is deze student een "Large Language Model" (LLM)—een computerprogramma dat bijna alles op het internet heeft gelezen en verhalen kan schrijven, vragen kan beantwoorden en wiskundeproblemen kan oplossen. Maar soms raken zelfs deze superintelligente modellen gestikt of maken ze stomme fouten. Om deze te herstellen, gebruiken wetenschappers een techniek genaamd "distillatie". Zie dit als een meesterkok (de leraar) die een junior kok (de student) begeleidt bij een recept. De student kopieert niet alleen het eindgerecht; de student kijkt naar elke snede, elke roerbeweging en elke proef, en leert zo het proces van het koken, niet alleen het resultaat.

Lama een tijdje was de beste manier om deze AI-studenten te onderwijzen, de leraar de perfecte oplossing laten uitschrijven en deze aan de student tonen. Maar dit bevatte een verborgen valstrik: de leraar zou soms eerst het antwoord raden en vervolgens een verhaal verzinnen om het te rechtvaardigen, in plaats van het stap voor stap daadwerkelijk uit te werken. De student zou deze slechte gewoonte ook overnemen. Een andere methode hield in dat de hele hersenstructuur van de leraar (de interne gewichten) werd aangepast om hem slimmer te maken, maar dit zorgde er vaak voor dat de leraar andere dingen vergat, zoals het schrijven van poëzie of chatten, terwijl hij zich op de nieuwe taak concentreerde. De grote vraag die wetenschappers zich hebben gesteld is: Hoe creëren we een leraar die slim genoeg is om het juiste pad te tonen, maar stabiel genoeg is om zijn oude vaardigheden niet te vergeten of te valsspelen door in het antwoordboek te kijken?

Dit artikel introduceert een slimme nieuwe oplossing genaamd PROMPTSD (Prompt-based On-Policy Soft-Distillation). De auteurs, een team van universiteiten uit de VS en Singapore, stellen een manier voor om een leraar te bouwen die bijna identiek is aan de student, met uitzondering van een klein, onzichtbaar "magisch briefje" dat aan de voorkant van zijn instructies is bevestigd.

Zo werkt het, met behulp van een eenvoudige analogie: Stel je voor dat de student en de leraar tweelingen zijn die precies hetzelfde brein en dezelfde persoonlijkheid delen. Normaal gesproken, om de student een nieuwe vaardigheid aan te leren, zou je de leraar een compleet nieuwe bril geven (het veranderen van zijn brein) of een spiekbriefje met de antwoorden (het geven van het antwoordblad). Beide methoden hebben problemen: de nieuwe bril zorgt ervoor dat de leraar vergeet hoe hij andere dingen ziet, en het spiekbriefje maakt de leraar lui, omdat hij het antwoord rechtvaardigt in plaats van het op te lossen.

PROMPTSD doet iets anders. Het geeft de leraar een soft prompt. Denk hierbij aan een klein, onzichtbaar plaknotitie dat zegt: "Onthoud, voor dit specische wiskundeprobleem, denk eerst aan breuken." Dit briefje is gemaakt van getallen, niet van woorden, en het is het enige dat verschilt tussen de leraar en de student. Het brein van de leraar blijft bevroren en precies hetzelfde als dat van de student. Omdat de leraar niet in het antwoordblad kijkt, moet hij echt nadenken over het probleem om het juiste pad te genereren. Omdat zijn brein niet is herschreven, vergeet hij niet hoe hij andere dingen moet doen.

De onderzoekers testten dit idee op een model genaamd Qwen3-1.7B-Base en een ander model genaamd Phi-4-mini-instruct. Ze leerden deze modellen vier verschillende vaardigheden: Wetenschap, het gebruik van hulpmiddelen (zoals een rekenmachine of zoekmachine), Biologie en Wiskunde. Ze ontdekten dat hun "magische briefje"-leraar ongelooflijk effectief was. Bij enkelvoudige taken leerde de student net zo goed als wanneer de leraar volledig opnieuw getraind zou zijn, maar de student leerde veel sneller omdat hij slechts een fractie van zijn parameters hoefde aan te passen (ongeveer 0,05% van het totale brein, vergeleken met 100% voor volledige hertraining).

Nog indrukwekkender was dat ze probeerden de student vier verschillende vaardigheden tegelijk aan te leren. Meestal, wanneer je probeert tegelijkertijd te veel dingen te leren, vergeet je de oude dingen (een probleem dat "catastrofale vergetelheid" wordt genoemd). Maar omdat de PROMPTSD-leraar alleen deze kleine, taakspecifieke briefjes gebruikte, kon de student kennis van alle vier de leraren tegelijkertijd absorberen zonder in de war te raken of zijn algemene slimheid te verliezen. Sterker nog, op het Qwen3-1.7B-Base model bereikte deze multi-task benadering een gemiddelde score van 56,2, waarmee het alle andere methoden versloeg.

Het artikel sluit expliciet een aantal veelvoorkomende ideeën uit. Het laat zien dat het simpelweg geven van het antwoord aan de leraar (zoals een "Gold Answer"-leraar) de student eigenlijk schaadt, omdat de leraar het antwoord slechts rationaliseert in plaats van het af te leiden. Het suggereert ook dat het groter maken van de leraar (zoals een model met 4B of 8B parameters) niet altijd helpt; soms is een leraar die even groot is als de student maar over het juiste "denkpatroon" beschikt, beter. Verder ontdekten ze dat Reinforcement Learning (een methode waarbij de leraar leert door vallen en opstaan) goed is in het aanscherpen van vaardigheden die de student al heeft, maar niet erg goed in het aanleren van compleet nieuwe kennis vanaf nul.

De auteurs zijn zeer zeker van deze resultaten omdat ze de experimenten meerdere keren hebben uitgevoerd en de cijfers zorgvuldig hebben gecontroleerd. Ze hebben exact gemeten in hoeverre het denken van de student overlapte met dat van de leraar en ontdekten dat hun methode de perfecte mate van overlap creëerde: genoeg om te leren, maar niet zoveel dat er niets nieuws meer te ontdekken viel. Ze hebben ook bewezen dat hun methode de "SFT-valstrik" vermijdt, waarbij het hertrainen van een model ervoor zorgt dat het zijn algemene vermogens vergeet.

Uiteindelijk suggereert PROMPTSD dat het geheim van het onderwijzen van AI niet noodzakelijkerwijs is om de leraar groter te maken of hem de antwoorden te geven. In plaats daarvan gaat het erom de leraar een kleine, flexibele duw te geven—een soft prompt—die zijn denken stuurt zonder wie hij is te veranderen. Dit stelt een enkele student in staat om van veel verschillende leraren tegelijk te leren, waardoor hij een meester wordt in vele vaardigheden zonder zijn eigen identiteit te verliezen. Het is een beetje alsof je een persoonlijke tutor hebt die voor elk vakje een juiste strategie in je oor fluistert, zonder ooit je brein te herschrijven of je in de antwoorden te laten spieken.

Technisch Overzicht: PROMPTSD

Probleemstelling

On-policy zelf-distillatie (OPSD) heeft als doel om grote taalmodellen (LLM's) nieuwe vaardigheden aan te leren door gebruik te maken van een leraar-model dat dezelfde backbone deelt en zijn eigen rollouts superviseert. De huidige methoden voor het construeren van leraren lijnen echter significante structurele beperkingen aan:

Observatie-gebaseerde leraren (bijv. die gouden antwoorden of demonstraties als input-context injecteren) induceren post-hoc rationalisatie. Door te conditioneren op het gouden antwoord ( $y_{gold}$ ), rechtvaardigt de leraar een vooraf bepaalde uitkomst in plaats van een redeneerpad af te leiden; een foutmodus die de student tijdens inferentie overneemt wanneer het antwoord niet beschikbaar is.
Gewichts-modificerende leraren (bijv. Full Fine-Tuning (FFT) of LoRA) accumuleren distributionele drift en "indringer-dimensies". Hoewel ze nieuwe kennis kunnen injecteren, verstoren ze de representationele geometrie van het model, wat leidt tot catastrofaal vergeten van algemene capaciteiten wanneer ze sequentieel over taken worden toegepast.
RL-getunede leraren falen vaak in het injecteren van nieuwe capaciteiten en versterken in plaats daarvan bestaande latente gedragingen, en vereisen taakspecifieke verifiers die niet universeel beschikbaar zijn.

De kernuitdaging is het identificeren van een leraar-constructie die tegelijkertijd aan drie desiderata voldoet: (D1) Denkpatroon-consistentie (het delen van de gewichten van de student om te zorgen dat het leersignaal absorbeerbaar is), (D2) Capaciteitsgat-absorptie (het coderen van nieuwe taakspecifieke kennis), en (D3) Geen post-hoc rationalisatie (niet conditioneren op het goude antwoord).

Methodologie: PROMPTSD

De auteurs stellen PROMPTSD (Prompt-based On-policy Distillation) voor, een framework dat leraren construeert via soft-prompt tuning in plaats van gewichtsmodificatie of input-zijde contextinjectie.

1. Soft-Prompt Leraar Constructie

Voor elke taak $k$ wordt een set leerbare continue embeddings $P_k$ (een soft prompt) gekoppeld aan de input embedding layer van een bevroren student-backbone $\pi_\theta$ .

Training: De prompt $P_k$ wordt geoptimaliseerd via standaard supervised fine-tuning (SFT) op $(x, y_{gold})$ paren om de next-token cross-entropy te minimaliseren.
Resultaat: Dit levert een taakspecifieke leraar $\pi_{\theta+P_k}$ op die alle transformer-gewichten deelt met de student, maar verschilt enkel in de input-zijde conditionering. De prompt fungeert als een parametrische vorm van observatie, die taakkennis codeert zonder de interne geometrie van het model te wijzigen ( $\Delta W = 0$ ).

2. On-Policy Distillatie

De student $\pi_\theta$ wordt bijgewerkt via on-policy reverse-KL divergentie minimalisatie:

De student genereert rollouts $Y_s$ gegeven prompt $x$ .
De leraar $\pi_{\theta+P_k}$ (met de bevroren prompt $P_k$ ) biedt per-token supervisie-distributies op de zelfde staten die door de student zijn bezocht.
Cruciaal is dat de leraar het goude antwoord niet ziet tijdens de distillatie; hij ziet enkel de soft prompt $P_k$ en de input $x$ . Dit elimineert post-hoc rationalisatie.

3. Parallelle Multi-Taak Uitbreiding

PROMPTSD breidt dit uit naar multi-taak settings door datasets van $K$ taken samen te voegen tot één corpus.

Routing: Elk voorbeeld in het samengevoegde corpus behoudt een taaktag $k$ . Tijdens de training wordt het voorbeeld gerouteerd naar de bijbehorende soft-prompt leraar $\pi_{\theta+P_k}$ .
Parallellisme: Alle $K$ soft prompts worden gelijktijdig getraind en zijn beschikbaar. De student leert van alle leraren in parallel, waardoor het sequentieel vergeten geassocieerd met continual learning wordt vermeden.
Inferentie: Alle soft prompts worden weggegooid. Het ingezette model is enkel de basis-backbone $\pi_\theta$ , wat geen parameter- of latentie-overhead met zich meebrengt.

Belangrijkste Bijdragen

Nieuwe Leraar Architectuur: Het paper introduceert de eerste on-policy distillatie-leraar die geconstrueerd is via prompt tuning. Dit ontwerp voldoet uniek aan de drie desiderata voor effectieve OPD: het behoudt denkpatroon-consistentie (gedeelde gewichten), maakt capaciteitsabsorptie mogelijk (leerbare prompt), en voorkomt post-hoc rationalisatie (geen goude antwoord in de context).
Parallelle Multi-Taak Distillatie: Het framework demonstreert hoe een enkele student naar meerdere taakspecifieke soft-prompt leraren kan worden gerouteerd, waarbij superieure multi-taak prestaties worden behaald zonder catastrofaal vergeten.
Empirische Validatie van Principes: Door uitgebreide experimenten stellen de auteurs twee ontwerpprincipes vast voor OPD:
- De leraar-familie moet overeenkomen met het taaktype (SFT-gebaseerde leraren voor capaciteitsinjectie; RL-gebaseerde voor elicitatie).
- De schaal van de leraar is minder kritisch dan de vraag of de leraar nieuwe kennis draagt.

Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen3-1.7B-Base en Phi-4-mini-instruct over vier taken: Wetenschap, Tool Use, Biologie en Wiskunde.

Single-Task Prestaties: De single-task variant (OPD met een PT leraar) evenaart of overtreft de Full Fine-Tuning (FFT) en LoRA baselines, terwijl er orders van grootte minder parameters worden getraind. Opvallend genoeg bereikte de student bij de Biologie-taak een nauwkeurigheid van 62.0%, waarmee hij de eigen leraar (58.0%) versloeg en de LoRA-gebaseerde studenten aanzienlijk overtrof.
Multi-Task Prestaties: De multi-task PROMPTSD behaalde de beste gemiddelde nauwkeurigheid (56.2% op Qwen3-1.7B-Base), waarmee de sterkste single-task baseline met +2.3 punten versloeg en cross-size distillatie baselines met +7.7 punten.
Behoud van Algemene Capaciteiten: In tegen tegenstelling tot sequentiële SFT, die algemene benchmarks (MMLU-Pro, HellaSwag, TruthfulQA) degradeert door catastrofaal vergeten, behield PROMPTSD algemene capaciteiten terwijl de taakspecifieke nauwkeurigheid verbeterde.
Ablatie Studies:
- Prompt Lengte: Langere prompts (bijv. $L=400$ ) verbeterden over het algemeen de prestaties op complexe taken zoals Wiskunde en Tool Use, hoewel er sprake was van afnemende meeropbrengsten.
- Divergentie: Reverse-KL (mode-seeking) bleek superieur voor wiskundige redenering, terwijl andere divergenties vergelijkbaar presteerden op kennis-zware taken.
- Bijdrage van de Leraar: Een leave-one-teacher-out analyse toonde aan dat voor Wiskunde de winst voornamelijk kwam uit cross-taak blootstelling (elicitatie) in plaats van de specifieke Wiskunde-leraar, terwijl voor Wetenschap en Biologie de toegewijde leraren essentieel waren voor capaciteitsinjectie.

Betekenis en Claims

Het paper claimt dat PROMPTSD de trade-offs oplost die inherent zijn aan bestaande leraar-ontwerpen. Door een soft prompt te gebruiken als een "parametrische geprivilegieerde context", stelt het de student in staat om nieuwe taakspecifieke kennis te absorberen zonder de off-manifold drift veroorzaakt door gewichtsupdates (FFT/LoRA) of de redeneer-shortcuts veroorzaakt door goude-antwoord conditionering (Observatie-gebaseerd).

De auteurs positioneren PROMPTSD als een oplossing voor de "SFT-val" in continual learning, waarbij zij aantonen dat een enkele student in parallel kennis kan absorberen van meerdere gespecialiseerde leraren terwijl de algemene capaciteiten behouden blijven. Het werk suggereert dat voor capaciteitsinjectie-taken, een prompt-getunede leraar een effectievere bron van distillatie is dan een full fine-tuned leraar, omdat het het catastrofaal vergeten voorkomt dat geassocieerd is met het wijzigen van de basisgewichten van het model.

Het paper blijft bescheiden over de reikwijdte en erkent dat de experimenten beperkt waren tot modellen tot 1.7B parameters en geen open-ended generatie, meertalige of agentic settings dekten. Er wordt opgemerkt dat de operationele definities van de drie desiderata empirisch gevalideerd zijn in plaats van formeel bewezen.