Technische Samenvatting: Constitutional On-Policy Safe Distillation (COPSD)

1. Probleemstelling

On-Policy Self-Distillation (OPSD) is een efficiënt post-training paradigma voor het aligneren van fundamentele modellen, waarbij gebruik wordt gemaakt van een docent (teacher) die is verrijkt met geprivilegieerde informatie om dichte, op token-niveau gebaseerde supervisie te bieden. Hoewel dit effectief is in verifieerbare redeneertaken, wijzen recente studies uit dat OPSD in deze domeinen lijdt aan ernstige "distributional collapse" (distributionele instorting), waarbij studenten oppervlakkige correlaties exploiteren om divergentiestrafpunten te minimaliseren.

Dit artikel identificeert dat veiligheidsalignement een onderscheidende en kritieke faalmodus vormt voor OPSD. In tegenstelling tot redeneertaken, waarbij instorting voortkomt uit het kopiëren van shortcuts van expliciete doelantwoorden, rust veiligheidsalignement op hoogwaardige constituties (principes) in plaats van expliciete antwoorden. De pilotstudie van de auteurs onthult dat veiligheid-OPSD instort door een effect van "geometric leakage" (geometrische lekkage):

1. Teacher Contraction (Docent-contractie): Het conditioneren van de docent op veiligheidsconstituties dwingt de distributie van de docent om te krimpen naar een manifold van korte, overdreven conservatieve en entropie-arme responsen.
2. Reverse KL Amplification (Reverse KL-amplificatie): De standaard Reverse KL-divergentie die wordt gebruikt bij distillatie versterkt deze contractie, door elke token buiten de smalle ondersteuning (support) van de docent te bestraffen.
3. Geometric Leakage (Geometrische lekkage): In een niet-orthogonale semantische ruimte waar "veiligheid" en "expressiviteit" aan elkaar gekoppeld zijn, lekt de gradiëntdruk om onveilige regio's te vermijden door naar de expressiviteitsdimensie. Dit resulteert in een passieve contractie van responslengte, diversiteit en behulpzaamheid, zelfs zonder dat de student geprivilegieerde informatie kopieert.

De kernuitdaging is de "safety tax" (veiligheidstaks): robuuste veiligheidsalignement vereist vaak een drastische vermindering van algemene redeneercapaciteiten en behulpzaamheid, een trade-off waar bestaande methoden (zoals GRPO of standaard OPD) niet effectief mee omgaan.

2. Methodologie: Constitutional On-Policy Safe Distillation (COPSD)

Om de geometrische verstrengeling tussen veiligheid en expressiviteit aan te pakken, stellen de auteurs COPSD voor, een tweefasig framework dat ontworpen is om de docent te herkalibreren vóór de distillatie.

Fase I: Cross-SFT Cold-Start

De eerste fase richt zich op het construeren van een constitutie-geconditioneerde docent die de generatieve voetafdruk van het basismodel behoudt terwijl deze voldoet aan veiligheidsprincipes.

• Data Constructie: Het trainingscorpus is een mix van:
  1. Originele Trajecten: Originele queries en responsen van het basismodel, verrijkt met de veiligheidsconstitutie $c_{safe}$. Dit verankert de docent aan de natuurlijke expressiviteit van het model.
  2. Hergeschreven Veiligheidstrajecten: Hoogwaardige veiligheidsresponsen gegenereerd door frontier-modellen, gefilterd door LLM-judges, herschreven door het basismodel, en opnieuw gesampled om overeen te komen met de oorspronkelijke respons-lengteverdeling.
• Objectief: Dit "Cross-SFT"-proces traint de docent om veiligheidsgrenzen te internaliseren zonder te imploderen in uniform korte of overdreven voorzichtige outputs, waardoor de veiligheidsmanifold effectief wordt ontkoppeld van de expressiviteitsmanifold.

Fase II: Constitution-Conditioned On-Policy Distillation

De herkalibreerde docent wordt vervolgens geïntegreerd in een on-policy distillatiepipeline.

• Rol van de Docent: De docent genereert dichte, op token-niveau gebaseerde supervisiesignalen, geconditioneerd op zowel de query $x$ als de veiligheidsconstitutie $c_{safe}$.
• Distillatie-signaal: Het studentbeleid (student policy) wordt geoptimaliseerd om de Reverse KL-divergentie op token-niveau te minimaliseren ten opzichte van de constitutie-geconditioneerde docent.
• Advantage Estimatie: Het framework ondersteunt twee varianten:
  1. Standaard Token-Level: Vertrouwt volledig op dichte distillatiesignalen om groep-relatieve advantages te berekenen.
  2. Hybrid Outcome-Weighted: Combineert het dichte signaal op token-niveau met een extern sequentie-niveau outcome reward (bijv. van een reward model) om globale veiligheidsvoorkeuren af te dwingen terwijl lokale credit assignment wordt verfijnd.

3. Belangrijkste Bijdragen

1. Diagnose van Veiligheidsspecifieke Instorting: Het artikel formaliseert het falen van veiligheid-OPSD als "geometric leakage" onder veiligheidsgrenzen in een niet-orthogonale semantische ruimte. Het demonstreert dat deze instorting verschilt van de "shortcut copying" die wordt waargenomen in verifieerbare redeneertaken; het ontstaat omdat de veiligheidsdruk doorsijpelt naar de expressiviteitsdimensie door de koppeling van veiligheid en linguïstische priors.
2. COPSD Framework: De auteurs stellen een tweefasige oplossing voor die gebruikmaakt van Cross-SFT Cold-Start om de docent-distributie te kalibreren voorafgaand aan de distillatie. Deze aanpak verzacht de veiligheids-expressiviteitsverstrengeling, waardoor de docent dichte supervisie kan bieden zonder de student in een regime van lage diversiteit en overdreven voorzichtigheid te dwingen.
3. Empirische Validatie: Uitgebreide experimenten op 12 benchmarks (dekend veiligheid, situationele veiligheid en algemeen redeneren) tonen aan dat COPSD een superieure veiligheids-behulpzaamheid-trade-off bereikt vergeleken met state-of-the-art baselines (GRPO, OPD, Safe-RLHF-V).

4. Experimentele Resultaten

• Veiligheid vs. Behulpzaamheid: Op benchmarks zoals BeaverTails-V en SPA-VL bereiken COPSD-varianten aanzienlijk hogere winrates tegenover het basismodel in zowel veiligheid als behulpzaamheid vergeleken met de baselines. Bijvoorbeeld, terwijl GRPO de veiligheid verbetert, veroorzaakt het vaak een ernstige daling in behulpzaamheid (de "safety tax"). COPSD-Hybrid behoudt een robuuste effectiviteit terwijl het hogere veiligheidsfronten bereikt.
• Behoud van Algemene Capaciteiten: COPSD vermindert de "alignment tax" op algemeen redeneren aanzienlijk. Op MathVista beperkt COPSD het redeneerverlies tot ~2,1%, terwijl GRPO een catastrofale daling van 17,5% lijdt. Eenvoudige VQA-taken blijven grotendeels onveranderd over alle methoden, maar complexe redeneertaken profiteren significant van het ontkoppelingsmechanisme van COPSD.
• Het Doorbreken van het Docent-plafond: In tegenstelling tot standaard OPD, waarbij de student wordt beperkt door de inherente capaciteiten van de docent, presteren COPSD-studenten (getraind op de Cross-SFT docent) aanzienlijk beter dan zowel hun specifieke docent als standaard OPD-docenten in veiligheid en effectiviteit, wat duidt op adaptief beleidsleren.
• Trainingsdynamiek: Analyse van de trainingsdynamiek laat zien dat terwijl GRPO lijdt onder continue entropie-instorting en standaard OPSD een ernstige afname in responslengte triggert, COPSD snel stabiliseert en gedurende de hele training een hogere entropie en stabiele responslengtes behoudt.

5. Betekenis en Claims

Het artikel stelt dat veiligheidsalignement een fundamenteel andere aanpak vereist dan verificatie-gebaseerde redeneer-alignement. De betekenis van COPSD ligt in het vermogen om:

• Concurrerende Objectieven te Ontkoppelen: Door Cross-SFT te gebruiken om de docent te kalibreren, verbreekt de methode de geometrische koppeling tussen veiligheidsrestricties en expressief gedrag, waardoor de "lekkage" van veiligheidsdruk naar verminderde behulpzaamheid wordt voorkomen.
• Dichte Supervisie mogelijk te maken zonder Instorting: Het demonstreert dat dichte supervisie op token-niveau levensvatbaar is voor veiligheidsalignement, mits de docent-distributie correct is verankerd aan de generatieve stijl van het basismodel, waardoor de distributionele instorting wordt vermeden die huidige methoden teistert.
• Pareto-verbetering te Bereiken: De resultaten suggereren dat het mogelijk is om gelijktijdig de veiligheid te verbeteren en de algemene redeneercapaciteiten te behouden (of zelfs te verbeteren), wat het idee uitdaagt dat veiligheidsalignement inherent de bruikbaarheid van een model moet degraderen.

De auteurs concluderen dat het kalibreren van docent-distributies een noodzakelijke stap is voor stabiele en effectieve veilige distillatie, wat een pad biedt om modellen te aligneren met hoogwaardige constituties zonder hun kerngeneratieve vermogens op te offeren.