RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs

Probleemstelling

Grote Taalmodellen (LLMs) worden doorgaans veiligheids-gealigneerd via instructie-tuning en voorkeursoptimalisatie. Wanneer deze modellen echter na de alignering worden gefine-tuned voor downstream-taken (bijvoorbeeld domeinspecialisatie of gebruikersvoorkeuren), vertonen ze vaak een aanzienlijke verslechtering van hun weigeringsgedrag. Deze fragiliteit blijft bestaan, zelfs wanneer de fine-tuning-data onschadelijk is of wanneer het model slechts wordt blootgesteld aan een minimaal aantal schadelijke voorbeelden (bijvoorbeeld 10 synthetische schadelijke prompts).

Hoewel eerdere studies hebben aangetoond dat alignering breekbaar kan zijn onder dergelijke aanpassing, blijven de interne mechanismen die deze falen veroorzaken slecht begrepen. Bestaande mitigeringsstrategieën vertrouwen vaak op heuristisch promptontwerp, extra veiligheidsvoorbeelden of adversariale training, zonder een principieel inzicht in welke interne structuren behouden moeten blijven. Het artikel stelt dat het verlies aan veiligheid niet louter een generiek catastrofaal vergeten is, maar een specifieke geometrische fout binnen de activatieruimte van het model.

Methodologie

1. Mechanistische Analyse van Aligneringsdegradatie

De auteurs onderzoeken eerst de mechanismen op representatieniveau die ten grondslag liggen aan veiligheidsverlies, door de lens van weigeringsgeometrie. Op basis van eerdere werken die suggereren dat weigering wordt bemiddeld door gestructureerde, laag-dimensionale geometrische structuren (kegels) in de residu-stroom, analyseert het artikel hoe deze structuren evolueren tijdens standaard fine-tuning.

De analyse identificeert drie consistente effecten die gepaard gaan met veiligheidsdegradatie:

• Directionele Drijving: Representaties van schadelijke invoer bewegen weg van de referentieweigeringskegel die wordt gedefinieerd door het originele gealigneerde model. De grootte van de activatie binnen de weigeringsruimte neemt af, en de cosinus-similariteit tussen activaties en de weigeringsbasis daalt.
• Geometrische Distorsie: De weigeringsgeometrie zelf verandert. De deelruimte die wordt opgespannen door de weigeringskegel roteert (drijft) ten opzichte van het origineel, en de interne verdeling van coördinaten binnen de kegel wordt geconcentreerd en instabiel (verminderde entropie, toegenomen top-1 massa), waardoor weigering breekbaar wordt.
• Taak-Veiligheids Interferentie: Optimalisatie-updates voor downstream-taken zijn niet orthogonaal aan veiligheidsrelevante richtingen. In plaats daarvan ligt een significant deel van de gradiëntupdates voor schadelijke prompts parallel aan de weigeringsruimte, waardoor de veiligheidsbemiddelende componenten actief worden gemodificeerd en gedestabiliseerd.

2. RefusalGuard Framework

Gemotiveerd door de bevinding dat veiligheidsverlies voortkomt uit de verplaatsing en distorsie van weigeringsgeometrie, stellen de auteurs RefusalGuard voor, een fine-tuning-framework op representatieniveau.

• Kernparadigma: De methode maakt gebruik van Representation Finetuning (ReFT), waarbij de parameters van het basismodel worden bevroren en laag-rang interventiemodules worden geleerd om verborgen staten tijdens de forward-pass te modificeren.
• Geometrische Beperking: De belangrijkste innovatie is een geometriebehoudende loss ($L_{geom}$). Voordat er wordt gefine-tuned, wordt een laag-dimensionale weigeringskegel uit het gealigneerde basismodel gehaald om een voor weigering relevante deelruimte te definiëren. Tijdens het trainen worden de interventie-updates bestraft als ze een groot component hebben binnen deze deelruimte.
  • De update van de verborgen staat $\delta$ wordt geprojecteerd op de weigeringsruimte ($P_{ref}$).
  • De loss minimaliseert de norm van deze projectie: $L_{geom} = \mathbb{E}[\|P_{ref}(\tilde{h} - h)\|_2^2]$.
• Doelstelling: De totale trainingsdoelstelling combineert de standaard downstream-taakloss ($L_{task}$) met de geometriebehoudende loss:
  $$L_{RG} = L_{task} + \lambda_{geom} L_{geom}$$
  Dit zorgt ervoor dat taakspecifiek leren doorgaat in richtingen die complementair zijn aan de weigeringsgeometrie, terwijl de veiligheidsbemiddelende componenten stabiel blijven.

Belangrijkste Bijdragen

1. Analyse op Representatieniveau: Het artikel biedt een mechanistische verantwoording van aligneringsdegradatie, en toont aan dat deze wordt gedreven door systematische directionele drijving, geometrische distorsie van weigeringskegels en interferentie tussen taakoptimalisatie en veiligheidsfuncties.
2. RefusalGuard Framework: Het introduceert een trainingsmethode die expliciet de geometrische structuur van weigering behoudt tijdens aanpassing, in plaats van uitsluitend te vertrouwen op supervisie op output-niveau of prompt engineering.
3. Empirische Validatie: De aanpak wordt geëvalueerd over meerdere model-families (LLaMA, Gemma, Qwen) en benchmarks, en toont aan dat het behoud van weigeringsgeometrie veiligheidsinstorting effectief voorkomt terwijl concurrerende bruikbaarheid wordt behouden.

Experimentele Resultaten

De auteurs evalueren RefusalGuard in een stress-test setting waarbij gealigneerde modellen worden gefine-tuned op slechts 10 schadelijke synthetische voorbeelden.

• Veiligheidsprestaties:
  • Baseline Falen: Standaard LoRA fine-tuning veroorzaakt een catastrofale daling in veiligheid, met Attack Success Rates (ASR) die stijgen tot ~0,70–0,75 en weigeringspercentages die dalen tot ~0,25–0,30 over benchmarks (AdvBench, DirectHarm4, JailbreakBench).
  • Vergelijking: Representatieniveau baselines zoals Circuit Breaker (CB) en REPBEND verbeteren de robuustheid, maar blijven significant achter bij RefusalGuard (ASR ~0,10–0,27).
  • RefusalGuard: Bereikt een ASR van bijna nul (0,008–0,03) en handhaaft weigeringspercentages boven de 0,97, waardoor de instorting veroorzaakt door schadelijke aanpassing effectief wordt voorkomen.
• Bruikbaarheidsprestaties:
  • Hoewel RefusalGuard een bescheiden vermindering in downstream-bruikbaarheid met zich meebrengt (bijvoorbeeld GSM8K, OpenOrca, ARC) in vergelijking met onbeperkte LoRA, blijft de behouden prestatie concurrerend. Het artikel wijst op een gunstige veiligheids-bruikbaarheidsafweging, waarbij aanzienlijke veiligheidswinsten worden behaald met slechts geringe verliesen in capaciteit.
• Mechanistische Correlatie: De experimentele resultaten bevestigen de mechanistische hypothese: modellen die met RefusalGuard zijn getraind, behouden een hoge alignering met de originele weigeringsgeometrie, lage kegeldrijving en minimale taak-veiligheidsinterferentie, terwijl standaard fine-tuning de tegenovergestelde trends vertoont.

Betekenis en Claims

Het artikel stelt dat de fragiliteit van veiligheids-gealigneerde modellen onder fine-tuning geen onvermijdelijk gevolg is van aanpassing, maar een specifieke geometrische fout. Door vast te stellen dat weigering wordt bemiddeld door identificeerbare, laag-dimensionale structuren, betogen de auteurs dat veiligheid kan worden behouden door updates te beperken zodat ze deze structuren niet verplaatsen.

De betekenis van RefusalGuard ligt in de verschuiving van heuristische verdedigingen naar een principieel, representatieniveau-aanpak. Het toont aan dat het behoud van de interne geometrische integriteit van weigering een levensvatbare strategie is voor robuuste modelaanpassing. De auteurs concluderen dat deze aanpak een meer mechanistisch onderbouwde oplossing biedt voor het behoud van veiligheid in downstream-toepassingen, met name in scenario's waarin modellen gespecialiseerd moeten worden zonder hun alignering te compromitteren.