Technische Samenvatting: Routing-gebaseerde On-Policy Distillatie (ROPD) voor LLM-veiligheid

1. Probleemstelling: De Fragiliteit van Veiligheidsheruitlijning (Safety Realignment)

Het artikel behandelt een kritieke kwetsbaarheid in de toeleveringsketen van Large Language Models (LLMs): misuitlijning door fine-tuning. Hoewel uitlijningstechnieken (bijv. RLHF) modellen behulpzaam en veilig maken, is deze uitlijning broos. Een aanvaller kan een reeds uitgelijnd model fine-tunen op een mengeling van een waardevolle downstream-taak (bijv. codegeneratie) en een schadelijke corpus. Het resulterende model behoudt de gespecialiseerde vaardigheid, maar leert om te voldoen aan schadelijke verzoeken wanneer deze worden getriggerd door specifieke prompt-templates.

Bestaande verdedigingen voor veiligheidsheruitlijning proberen het weigeringsgedrag van het model te herstellen zonder vanaf nul opnieuw te trainen. De auteurs identificeren echter drie gekoppelde kwetsbaarheden die huidige methoden in de praktijk ondermijnen:

1. Degradatie van Gespecialiseerde Vaardigheden: Het herstellen van veiligheid wist vaak de downstream-vaardigheid die de gebruiker juist wilde verkrijgen, wat een afruil creëert waarbij veiligheid wordt gekocht ten koste van nut (utility).
2. Template-Consistentieval: Huidige verdedigingen rusten op de assumptie dat de verdediger de prompt-template van de aanvaller kent. Wanneer de verdedigingstemplate niet overeenkomt met de aanvalstemplate, falen deze methoden of offeren ze de downstream-taak op om de Attack Success Rate (ASR) te verlagen.
3. Gebrek aan Robuustheidsgrens: Zelfs als een model een acceptatietest doorstaat onder een specifieke template, kan een kwaadwillende gebruiker het model opnieuw 'jailbreaken' door simpelweg de systeemprompt te herschrijven, wat aangeeft dat de reparatie voorwaardelijk was aan de prompt in plaats van duurzaam gecodeerd in de gewichten.

De auteurs stellen dat bestaande verdedigingen veiligheid behandelen als een template-specifiek signaal (bijv. het bewerken van gewichten langs een door een template opgeroepen richting), terwijl de werkelijke handtekening van een aanval ligt in het verschil tussen de uitgelijnde en de gecompromitteerde output-waarschijnlijkheidsverdelingen.

2. Methodologie: Routing-gebaseerde On-Policy Distillatie (ROPD)

Om deze kwetsbaarheden aan te pakken, stellen de auteurs ROPD voor, een heruitlijningskader dat het distributionele gat tussen de uitgelijnde en de gecompromitteerde modellen modelleert, in plaats van specifieke prompt-templates te matchen.

Kernarchitectuur

ROPD maakt gebruik van een dual-teacher, source-routed distillatie aanpak:

• Safety Teacher ($\pi_{safe}$): Het originele, vooraf uitgelijnde model. Het levert een "weigeringsprior" (refusal prior) die is gecodeerd in de output-distributie, welke grotendeels onafhankelijk is van de oppervlakkige prompt-template.
• Task Teacher ($\pi_{task}$): Het misuitgelijnde (aangevallen) model zelf. Het behoudt de gespecialiseerde downstream-vaardigheid, maar is in staat om schadelijke reacties te genereren.
• Student Model ($\pi_{\theta}$): Geïnitialiseerd vanuit het misuitgelijnde model en bijgewerkt om zich aan te passen aan de teachers.

Trainingsmechanisme

De trainingscorpus is een mengeling van downstream-taakdata ($D_{task}$) en schadelijke prompts ($D_{harm}$). Elk voorbeeld wordt naar een specifieke teacher gerouteerd op basis van de bron:

• Schadelijke probes worden gerouteerd naar de Safety Teacher. De student leert de weigeringsdistributie van het oorspronkelijk uitgelijnde model te matchen.
• Taakvoorbeelden worden gerouteerd naar de Task Teacher. De student leert de geschoolde distributie van het misuitgelijnde model te matchen, wat de downstream-capaciteiten stabiliseert.

Objectiefunctie

Het framework gebruikt een Top-$K$ KL-divergentie objectief. In plaats van de volledige vocabulaire-distributie te matchen (wat rekenintensief en ruisgevoelig is), stemt de methode de student af op de teacher op de top-$K$ tokens met de hoogste waarschijnlijkheidsmassa, terwijl de resterende staartmassa wordt gebundeld. Dit zorgt ervoor dat de student de weigeringsprior voor schadelijke inputs erft en de taakcompetentie voor onschuldige inputs, waardoor de twee doelstellingen effectief worden ontkoppeld.

3. Belangrijkste Bijdragen

1. Identificatie en Kwantificering van de Template-Mismatch Kwetsbaarheid: De auteurs formaliseren de dreiging waarbij verdedigingen falen wanneer de verdedigingstemplate verschilt van de onbekende aanvalstemplate. Ze ontwerpen een evaluatieprotocol dat de ASR meet over aanvallers-, verdedigers- en cross-kanalen, waarmee zij aantonen dat mainstream verdedigingen ofwel het aanvalskanaal open laten, ofwel de downstream-prestaties opofferen bij een mismatch.
2. Voorstel van ROPD: Een nieuw framework dat een weigeringsprior destilleert uit de output-distributie van het uitgelijnde model in plaats van uit template-geformatteerde weigeringen. Dit vermindert het risico op template-mismatch aanzienlijk (hoewel niet volledig elimineert) terwijl downstream-vaardigheden behouden blijven.
3. Uitgebreide Empirische Validatie: Experimenten met drie basismodellen (Llama-2, Qwen2.5, Gemma-2), drie downstream-taken (SQL, SAMSum, NL2Bash) en vier SOTA-baselines (SSRD, RESTA, soft-SFT, rollback) demonstreren de superioriteit van ROPD.

4. Experimentele Resultaten

De auteurs voerden experimenten uit waarbij ROPD werd vergeleken met vier baselines over variërende aanval en verdediging templates.

• Vaardigheidsbehoud vs. Schadereductie: Baseline-methoden verslechteren vaak de downstream-taakprestaties aanzienlijk wanneer zij proberen de ASR te verlagen, vooral onder template-mismatch. Zo bracht soft-SFT op Llama-2 de SQL exact-match scores naar bijna nul in gemismatchte kanalen. In tegen plaats behield ROPD de taakscores op of nabij het niveau van vóór de aanval (bijv. 0.596–0.626 op Llama-2) terwijl het een lage ASR bereikte.
• Template-Robuustheid: Baselines vertoonden heftige schommelingen in ASR afhankelijk van de template-uitlijning (bijv. de ASR van SSRD sprong van 3.1% naar 46.3% toen de verdedigingstemplate veranderde). ROPD bleef robuust en behaalde een enkelcijferige ASR (bijv. 2.1–2.4% op Llama-2) onder de "self" verdedigingstemplate, ongeacht de gebruikte aanvalstemplate.
• Cross-Template Evaluatie (Robuustheidsgrens): Wanneer geëvalueerd onder een andere systeemprompt dan de gebruikte voor de verdediging, vertoonden alle methoden (inclusclusief ROPD) een hogere ASR, wat bevestigt dat reparatie op gewichtsniveau voorwaardelijk kwetsbaar is voor het herschrijven van prompts. Echter, het residuele risico van ROPD was lager, en het behield aanzienlijk hogere taakprestaties over templates heen vergeleken met de baselines.
• Ablatie-studies: Het verwijderen van de task teacher zorgde voor een instorting van de taakprestaties, wat de noodzaak ervan bevestigt voor het behoud van vaardigheden. Het gebruik van een "schone" task teacher (getraind op enkel taakdata) leverde iets betere taakscores op, maar vereiste een extra trainingsfase; de standaardconfiguratie (het gebruik van het misuitgelijnde model als task teacher) bood een gunstige afruil.
• Efficiëntie: ROPD demonstreerde een hoge data-efficiëntie door de ASR te verlagen van 62% naar ~2.4% met slechts 1.500 voorbeelden. De trainingstijd was vergelijkbaar met SFT-gebaseerde baselines (15 minuten) en aanzienlijk sneller dan parameter-zoekmethoden zoals rollback (~118 minuten).

5. Betekenis en Claims

Het artikel claimt dat ROPD een belangrijke stap voorwaarts is in veiligheidsheruitlijning door het paradigma te verschuiven van template-afhankelijke gewichtsbewerking naar distributionele distillatie.

• Bescheiden Claims over Robuustheid: De auteurs stellen expliciet dat ROPD het risico op template-mismatch aanzienlijk vermindert, maar niet volledig elimineert. Zij erkennen dat een grote kloof tussen de verdedigingstemplate en de aanvalstemplate nog steeds een residueel risico kan laten bestaan.
• Intrinsieke Beperking: De studie schetst een "robuste grens" voor reparatie op gewichtsniveau. Zelfs ROPD is voorwaardelijk kwetsbaar voor het herschrijven van prompts, wat suggereert dat echte duurzaamheid tegen een tegenstander die de prompt controleert, toekomstig werk vereist dat verder gaat dan de huidige interventies op gewichtsniveau.
• Praktische Impact: ROPD biedt een praktische oplossing voor scenario's waarin de verdediger de aanvalstemplate niet kent, waarbij een verdediging wordt geboden die het nut behoudt zonder dat daarvoor de downstream-capaciteiten of de assumptie van template-consistentie opgeofferd hoeven te worden.