Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning

Probleemstelling: Fragiliteit van Veiligheidsuitlijning

Grootte Taalmodellen (LLMs) worden doorgaans veilig gemaakt via uitlijningstechnieken zoals Supervised Fine-Tuning (SFT) en Reinforcement Learning from Human Feedback (RLHF). Echter, recente studies tonen aan dat deze veiligheidsmechanismen uitzonderlijk kwetsbaar zijn. Zelfs het fine-tunen van een veilig model op slechts 10 tot 100 voorbeelden van schadelijke instructies kan leiden tot een catastrofale degradatie van de veiligheidsbarrières, terwijl de algemene taakcapaciteiten behouden blijven.

Het huidige probleem is tweeledig:

1. Onbedoelde degradatie: Zelfs fine-tunen op ogenschijnlijk onschadelijke (benigne) instructie-data kan de veiligheid in meerdere categorieën aanzienlijk verslechteren.
2. Bestaande verdedigingen zijn statisch: Bestaande verdedigingen gebruiken vaak statische regularisatie (zoals een vaste KL-divergentie-straf) om het model dicht bij het oorspronkelijke veilige beleid te houden. Dit creëert een ongewenste afweging: te zwakke regularisatie biedt geen bescherming tegen kwaadaardige aanpassingen, terwijl te agressieve regularisatie de bruikbaarheid (utility) van het model voor specifieke taken ondermijnt. Statische methoden kunnen niet onderscheiden tussen veilige taakanpassing en onveilige updates.

Methodologie: Adaptieve Regularisatie

De auteurs introduceren een unificerend trainingsframework genaamd Adaptive Regularization. Het kernidee is om de sterkte van de regularisatie dynamisch aan te passen op basis van een real-time risicosignaal tijdens het fine-tunen, in plaats van een vaste straf te gebruiken.

Het framework bestaat uit twee hoofdcomponenten:

1. Safety Critic (Risicoschatting):
   Het systeem schat per trainingsbatch het risico op schadelijk gedrag. De auteurs onderzoeken twee benaderingen voor deze schatting:

   • Activeringsgebaseerde critic (Pre-generation): Een lichtgewicht classifier (logistische regressie) die de interne hidden states van het model analyseert voordat er tokens worden gegenereerd. Het paper toont aan dat schadelijke intentie lineair voorspelbaar is vanuit deze pre-generatie activeringen. Om gevoeligheid voor specifieke lagen te verminderen, worden activeringen over meerdere lagen gepooled (gemiddeld of gemaximaliseerd).
   • Judge-gebaseerde critic (Post-generation): Een externe LLM (bijv. GPT-4 of gpt-oss-20b) die de gegenereerde antwoorden beoordeelt op schadelijkheid en een score toekent.

2. Adaptieve Uitlijningsdoelstelling (Loss Function):
   De totale loss functie combineert de standaard Supervised Fine-Tuning loss (NLL) met een KL-regularisatie term die het model vasthoudt aan een veilig referentiebeleid ($\pi_{ref}$). De weging tussen deze twee termen wordt dynamisch bepaald door het risicosignaal ($s_t$):
   $$L_{tot} = \alpha_t L_{NLL} + \beta_t L_{KL}$$
   Waarbij $\beta_t$ (de regularisatiesterkte) toeneemt als het risico ($s_t$) hoog is, en afneemt als het risico laag is.

   • Hoog risico: De KL-term domineert, waardoor het model updates beperkt die afwijken van het veilige beleid.
   • Laag risico: De NLL-term domineert, waardoor het model effectief kan leren van de nieuwe taakdata zonder onnodige beperkingen.

Belangrijkste Bijdragen

• Adaptief Framework: Een nieuw trainingsparadigma dat veiligheidsbewustzijn integreert in de optimalisatiedoelstelling via dynamische loss-weging, zonder handmatige tuning van hyperparameters.
• Voorspelbaarheid van Intentie: Het paper bewijst empirisch dat schadelijke intentie lineair voorspelbaar is vanuit pre-generatie hidden states, wat een efficiënte, low-overhead methode voor risicoschatting mogelijk maakt.
• Dualistische Critic Implementatie: Het presenteren van twee complementaire methoden (activeringsgebaseerd en judge-gebaseerd) die beide effectief werken binnen hetzelfde framework.
• Geen Inferentie-kost: De verdediging werkt uitsluitend tijdens het trainen; er is geen extra rekentijd nodig tijdens de inferentie (deployments).

Resultaten

De auteurs hebben hun methode geëvalueerd op vijf verschillende model families (Phi-3.5, Llama-3.1/3.2, Qwen2.5) en diverse aanvalsscenario's:

1. Bescherming tegen Kwaadaardig Fine-tuning:

   • Bij fine-tunen op puur schadelijke data (HEx-PHI dataset) steeg de Attack Success Rate (ASR) bij standaard SFT naar >96%.
   • De adaptieve regularisatie hield de ASR laag (tussen 1% en 9%), vergelijkbaar met het oorspronkelijke veilige model, terwijl statische regularisatie (Constrained SFT) slechts gedeeltelijke bescherming bood.

2. Behoud van Bruikbaarheid (Utility):

   • In gemengde datasets (waar schadelijke data wordt gemengd met veilige Alpaca-data) behield het model zijn prestaties op taak benchmarks (zoals Alpaca-Eval en GSM8K).
   • De methode voorkomt de "over-regularisatie" die vaak leidt tot slechtere taakprestaties bij statische methoden.

3. Robuustheid:

   • De methode bleef effectief over een breed scala aan leersnelheden (learning rates), wat aangeeft dat het minder gevoelig is voor hyperparameter-tuning dan bestaande methoden.
   • Het werkt ook effectief tegen geavanceerde aanvallen zoals "Identity Shifting" (het model dwingen om zich als een ongehoorzaam agent te gedragen) en "Backdoor Poisoning".

4. Efficiëntie:

   • De activeringsgebaseerde variant voegt vrijwel geen rekentijd toe (1.00x t.o.v. standaard SFT).
   • De judge-gebaseerde variant heeft een lichte overhead (1.175x), maar biedt semantisch rijkere beoordeling.

Betekenis en Impact

Dit werk biedt een principieel mechanisme om de kwetsbaarheid van LLM's tijdens de aanpassingsfase aan te pakken. Het lost het fundamentele dilemma op tussen veiligheid en bruikbaarheid door te differentiëren tussen veilige en onveilige updates in plaats van een "one-size-fits-all" straf toe te passen.

De bevindingen zijn cruciaal voor de praktijk, omdat ze aantonen dat:

• Veiligheid niet hoeft te worden opgeofferd voor specialisatie.
• Schadelijke intentie vroeg (voordat tekst wordt gegenereerd) kan worden gedetecteerd, wat nieuwe wegen opent voor real-time verdediging.
• Het framework schaalbaar is en geen extra kosten met zich meebrengt voor de eindgebruiker tijdens het gebruik van het model.

De implementatie en experimentele code zijn openbaar beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling van veilige fine-tuning-methoden stimuleert.