Co-Evolving Policy Distillation

1. Probleemstelling

Het paper adresseert de uitdaging om meerdere gespecialiseerde vaardigheden (bijvoorbeeld tekstredenering, beeldredenering, video-interpretatie) te consolideren in één geünificeerd model. Huidige post-training paradigma's staan voor twee primaire beperkingen:

• Mixed-Data RLVR (Reinforcement Learning with Verifiable Rewards): Het trainen van één enkel model op gemengde data uit verschillende domeinen leidt vaak tot capaciteitsdivergentie. Omdat verschillende vaardigheden conflicterende optimalisatierichtingen bevorderen, resulteert gezamenlijke training in gradiëntconflicten, wat een "wip-effect" veroorzaakt waarbij winst in het ene domein ten koste gaat van het andere.
• Static On-Policy Distillation (OPD/MOPD): Het standaardalternatief is een tweestaps-pijplijn: eerst train je aparte "expert"-modellen op specifieke domeinen tot convergentie; ten tweede distilleer je deze experts in één enkel studentmodel. De auteurs identificeren een kritieke fout in deze aanpak: tegen de tijd dat distillatie begint, zijn de experts aanzienlijk afgeweken in hun gedragspatronen (tokenverdelingen) van de student. Deze grote gedragsafstand maakt het voor de student moeilijk om de supervisie van de leraar te absorberen, wat leidt tot suboptimale kennisoverdracht en het falen om de capaciteiten van de experts volledig te behouden.

2. Methodologie: Co-Evolving Policy Distillation (CoPD)

CoPD stelt een geünificeerd kader voor dat capability-specifieke exploratie kruist met cross-domain consolidatie, waardoor experts co-evolueren als zowel leraar als student tegelijkertijd.

Kernmechanisme

In plaats van experts tot convergentie te trainen voordat distillatie begint, onderhoudt CoPD parallelle trainingsvertakkingen (één per vaardigheid) die in elke trainingscyclus afwisselen tussen twee fasen:

1. Branch-Specific RLVR-fase:

   • Elke vertakking voert onafhankelijk Group Relative Policy Optimization (GRPO) uit op zijn specifieke domeindata.
   • Doel: Verdieping van domeinspecifieke expertise en het opzettelijk vergroten van de "gedragskloof" (kennisdivergentie) tussen de vertakkingen. Dit zorgt ervoor dat de daaropvolgende distillatie nieuwe, informatieve kennis heeft om over te dragen.

2. Mutual OPD-fase:

   • Vertakkingen genereren rollouts op elkaars data.
   • Elke vertakking fungeert als leraar voor de anderen, en levert token-niveau supervisie (via minimalisatie van KL-divergentie) op de eigen trajecten van de student.
   • Doel: De gedragskloof dichten terwijl de kennis nog vers is en de modellen gedragsmatig uitgelijnd zijn. Dit zorgt voor een hoge absorptie-efficiëntie.

Belangrijke Ontwerpeigenschappen

• Bidirectionele Co-evolutie: In tegenstelling tot statische pijplijnen waar leraren vaststaan, gebruikt CoPD een dynamische topologie waarbij elke vertakking tegelijkertijd leraar en student is.
• Gedragsconsistentie: De methode steunt op de hypothese dat distillatie-efficiëntie ($\eta$) positief gecorreleerd is met de top-$k$ token-overlap tussen leraar en student. CoPD handhaaft deze overlap actief boven een kritieke drempel (bijv. >0,90) door fasen af te wisselen, waardoor wordt voorkomen dat de modellen te ver uit elkaar drijven.
• Schaalbaarheid: Het kader ondersteunt $K$ vertakkingen. Voor $K > 2$ wordt een "hub-and-spoke"-topologie toegepast om volledige paarsgewijze complexiteit te vermijden (bijvoorbeeld in een 3-vertakkingsinstelling fungeert tekstredenering als hub voor de beeld- en video-vertakkingen).
• Finale Integratie: Omdat alle vertakkingen starten vanuit een gedeelde basis en strak gekoppeld blijven, wordt het finale geünificeerde model verkregen via eenvoudige parametermerging.

3. Belangrijkste Bijdragen

1. Theoretisch Inzicht: De auteurs identificeren dat de effectiviteit van OPD omgekeerd evenredig is met de gedragsafstand tussen leraar en student. Zij demonstreren via pilotstudies dat statische pijplijnen opereren in een "laag-absorptie"-regime omdat experts te ver wegdrijven voordat de distillatie begint.
2. CoPD Kader: Zij stellen een nieuw trainingsparadigma voor dat RLVR en wederzijdse OPD kruist. Dit lost de afweging op tussen de noodzaak van kennisdivergentie (voor informatieve distillatie) en gedragsproximiteit (voor absorbeerbare distillatie).
3. Doorbreken van het "Expertplafond": CoPD demonstreert dat een geünificeerd model de prestaties van individuele domeinspecifieke experts kan overtreffen, waardoor cross-domain trade-offs effectief worden omgezet in wederzijdse winst.
4. Schaalbaarheidsvalidatie: De methode is gevalideerd in zowel 2-vertakkings (Tekst + Beeld) als 3-vertakkings (Tekst + Beeld + Video) instellingen, wat de effectiviteit bewijst in complexe multi-modale scenario's.

4. Experimentele Resultaten

Het paper evalueert CoPD op Qwen3-VL-4B-Instruct over benchmarks voor tekst-, beeld- en video-redenering.

• Tekst- & Beeldredenering (2-Vertakking):
  • CoPD behaalde de hoogste totale gemiddelde nauwkeurigheid (57,71%), presterend beter dan Mixed RLVR, Static OPD (beide richtingen), en zelfs de individuele Text-Expert en Image-Expert modellen.
  • Opmerkelijk is dat CoPD tekstredenering verbeterde naar 58,76% (vs. 57,89 voor de Text-Expert) en beeldredenering naar 56,97% (vs. 55,76 voor de Image-Expert), wat het effect van "wederzijdse winst" bewijst.
• Tekst-, Beeld- & Video-redenering (3-Vertakking):
  • CoPD behaalde een totaal gemiddelde van 58,12%, presterend beter dan de Multi-Teacher OPD (MOPD) baseline (56,99%) en de Video-Expert (58,75) in video-redenering, terwijl het hoge prestaties behield in tekst- en beeldtaken.
  • Mixed RLVR toonde het hoogste video-gemiddelde onder de baselines, maar leed aan significante degradatie in tekstredenering, wat het probleem van capaciteitsdivergentie bevestigt.
• Ablatiestudies:
  • Het verwijderen van wederzijdse distillatie in één van beide richtingen veroorzaakte prestatiedalingen, wat de noodzaak van bidirectionele co-evolutie bevestigt.
  • Zelfs zonder parametermerging presteerden individuele vertakkingen in CoPD beter dan statische OPD-baselines, wat aangeeft dat het co-evolutieproces zelf robuuste, veelzijdige capaciteiten creëert.
  • De optimale verhouding van RLVR-stappen tot OPD-stappen bleek 1,5:1 te zijn, wat exploratie en consolidatie in evenwicht brengt.

5. Betekenis

• Nieuw Trainingsparadigma: CoPD daagt het conventionele "train-then-distill"-werkproces uit en suggereert dat parallel trainen met continue wederzijdse distillatie een effectievere schaalstrategie is voor multi-capaciteit modellen.
• Oplossen van het "All-in-One"-probleem: Het biedt een oplossing voor het langdurige probleem van het integreren van diverse modaliteiten zonder prestaties in een enkel domein op te offeren.
• Self-Taught RLVR Serie: Dit paper is het derde luik in de "Self-Taught RLVR"-serie van de auteurs, waarbij het concept van "parallelle zelf" (wederzijds lesgeven) wordt verkend als aanvulling op eerdere werken over "informed selves" en "temporal selves".
• Praktische Impact: De methode biedt een schaalbaar pad voor het bouwen van algemene AI-agenten die gelijktijdig kunnen redeneren over tekst, beelden en video, wat potentieel de noodzaak vermindert om meerdere gespecialiseerde modellen te onderhouden.