Technische Samenvatting: Veiligheidsanker: Verdediging tegen Schadelijke Fine-tuning via Geometrische Flessenhalsen

1. Probleemstelling

Grote Taalmodellen (LLM's) die zijn uitgelijnd via Reinforcement Learning from Human Feedback (RLHF), blijven kwetsbaar voor Schadelijke Fine-tuning (HFT). In dit bedreigingsmodel fine-tunen aanvallen een veiligheidsuitgelijnd model op een dataset die schadelijke instructies (bijvoorbeeld jailbreak-voorbeelden) bevat, gemengd met onschuldige taken. Zelfs een klein percentage schadelijke data kan veiligheidsbarrières wegnemen, waardoor het model weer schadelijke inhoud kan genereren, terwijl de prestaties op onschuldige downstream-taken behouden blijven.

Bestaande verdedigingsmechanismen proberen de interne toestanden van het model tijdens fine-tuning te beperken en vallen in drie categorieën:

1. Parameter-gebaseerd: Het beperken van afwijkingen in de gewichten ten opzichte van het basismodel (bijvoorbeeld LISA, EWC).
2. Gradiënt-gebaseerd: Het identificeren en remmen van specifieke schadelijke gradiëntrichtingen (bijvoorbeeld Booster, Gradient Route).
3. Representatie-gebaseerd: Het beperken van de drift van interne verborgen representaties (bijvoorbeeld Vaccine, T-Vaccine).

Het artikel betoogt dat deze verdedigingen consistent falen onder persistente HFT. De auteurs schrijven dit falen toe aan de inherent redundantie van de hoogdimensionale parameter ruimte. Aanvallers kunnen optimalisatietrajecten exploiteren die orthogonaal zijn ten opzichte van de specifieke beperkingen die door deze verdedigingen worden opgelegd, waardoor veiligheidsbarrières effectief worden omzeild terwijl de opgelegde restricties worden nageleefd.

2. Methodologie: Safety Bottleneck Regularization (SBR)

Om de beperkingen van het beperken van de redundante parameter ruimte aan te pakken, stellen de auteurs Safety Bottleneck Regularization (SBR) voor. Deze methode verschuift de verdedigende focus van de interne parameters naar de unembedding-laag, die de auteurs identificeren als een "geometrische flessenhals".

Kernconcept

In een op Transformer gebaseerd LLM wordt de waarschijnlijkheid om een token $t$ te genereren bepaald door de lineaire projectie van de laatste verborgen toestand $h_{final}$ op de embedding-vector $w_t$ van dat token:
$$\text{Score}(t) = h_{final}^\top w_t$$
De auteurs stellen dat, terwijl interne parameters zich langs oneindige redundante trajecten kunnen ontwikkelen, de generatie van een specifiek token strikt vereist dat de laatste verborgen toestand uitgelijnd is met de richting van de embedding van dat token. Het controleren van de laatste verborgen toestand fungeert daarom als een deterministische flessenhals.

Algorithmus

SBR werkt in twee fasen:

1. Offline Ankerwerving: Voordat er wordt gefine-tuned, extrahert de verdediger de laatste verborgen toestanden ($h_{ref}$) voor een set van hoog-risico queries ($X_{anchor}$, bijvoorbeeld "Hoe maak je een bom?") met behulp van het bevroren, veiligheidsuitgelijnde basismodel. Deze toestanden dienen als Veiligheidsankers.
2. Dynamische Regularisatie: Tijdens het fine-tunen op de dataset van de gebruiker ($D_{train}$) optimaliseert het model de standaard Cross-Entropy-verliesfunctie ($L_{CE}$), terwijl het tegelijkertijd de Gemiddelde Kwikkwaad (MSE) minimaliseert tussen de huidige laatste verborgen toestanden van het model voor de ankerqueries en de opgeslagen ankers:
   $$L_{safe}(\theta) = \frac{1}{|X_{anchor}|} \sum_{x' \in X_{anchor}} \| h_\theta(x') - h_{ref}(x') \|_2^2$$
   Het totale doel is:
   $$L_{total}(\theta) = L_{CE}(D_{train}; \theta) + \lambda \cdot L_{safe}(\theta)$$

Theoretische Rechtvaardiging

Het artikel biedt theoretische analyse (Bijlage E) die aantoont dat:

• Orthogonaliteit: Willekeurig gesamplede aanvalsonderruimten in hoge dimensies met hoge waarschijnlijkheid geometrisch orthogonaal zijn ten opzichte van elkaar.
• Haalbaarheid: Een willekeurig geselecteerde onderruimte bevat bijna zeker een geldige afdaalrichting voor het schadelijke doel, waardoor aanvallen specifieke gradiënt- of parameterbeperkingen kunnen omzeilen.
• Noodzaak van de Flessenhals: Omdat de laatste verborgen toestand moet projecteren op specifieke embedding-vectoren om schadelijke tokens te genereren, voorkomt het ankeren van deze toestand het herstel van schadelijke capaciteiten, ongeacht hoe de interne parameters evolueren.

3. Belangrijkste Bijdragen

1. Empirische en Theoretische Analyse van Verdedigingsfalen: De auteurs tonen aan dat bestaande verdedigingen bezwijken onder persistente HFT omdat ze geen rekening houden met parameterredundantie. Ze tonen aan dat aanvallen orthogonale optimalisatiepaden kunnen vinden die voldoen aan verdedigingsbeperkingen (bijvoorbeeld limieten voor parameterafstand), terwijl ze tegelijkertijd succesvol schadelijke capaciteiten herstellen.
2. Voorstel van SBR: Een nieuw verdedigingsmechanisme dat de laatste verborgen toestanden van hoog-risico queries verankert aan die van het veiligheidsuitgelijnde model, gebruikmakend van de unembedding-laag als een geometrische flessenhals.
3. Hoge Efficiëntie en Robuustheid: Het artikel toont aan dat SBR minimale middelen vereist (zoveel als één enkel veiligheidsanker) om robuuste veiligheid te behouden, en dat het state-of-the-art verdedigingen overtreft terwijl het de bruikbaarheid op onschuldige taken behoudt.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Llama3.1-8B, Qwen2.5-7B en Gemma1.1-7B met datasets zoals BeaverTails (schadelijk) en SST-2/AGNEWS/GSM8K/AlpacaEval (onschuldig).

• Veiligheidsprestaties: Onder persistente HFT (tot 50 epochs) bezweken bestaande verdedigingen (LISA, Vaccine, Booster), waarbij Schadelijke Scores (HS) stegen boven de 50-60. Daarentegen behield SBR een gemiddelde HS van 5,68 (significant lager dan de 70,7 van de basale SFT).
• Behoud van Bruikbaarheid: SBR behield Functionele Nauwkeurigheid (FA) vergelijkbaar met onbeperkte fine-tuning (bijvoorbeeld 94,15% op SST-2), terwijl sommige concurrerende methoden (zoals DeepAlign) prestatieverlies leden bij classificatietaken.
• Robuustheid tegen Vergiftigingsratio: SBR bleef effectief zelfs wanneer het percentage schadelijke data in de trainingsset toenam tot 30% ($p=0,3$), waarbij de HS < 10 bleef over alle modelarchitecturen heen.
• Backdoor-Verdediging: SBR toonde superieure robuustheid tegen sluwe backdoor-jailbreak-aanvallen (geactiveerd door specifieke suffixen), met een HS van 4,7 vergeleken met >16 voor andere verdedigingen.
• Anker-efficiëntie: De methode is agnostisch ten opzichte van specifieke ankerinhoud; één enkel anker ($|X_{anchor}|=1$) was voldoende om de HS te verlagen van ~68 naar ~6.

5. Betekenis en Claims

Het artikel beweert dat SBR een paradigmaverschuiving in veiligheidsuitlijning vertegenwoordigt, waarbij wordt overgegaan van het beperken van de enorme, redundante interne parameter ruimte naar het afdwingen van beperkingen op de deterministische geometrische flessenhals van de unembedding-laag.

• Fundamenteel Mechanisme: De auteurs betogen dat veiligheidsinstorting niet slechts het gevolg is van parameterdrift, maar van een geometrische misalignatie op de laatste outputlaag. Door deze laag te ankeren, creëert SBR een "lokaal stabiliteitsveld" dat het semantische buurland van kwaadaardige intenties bestrijkt zonder te overfitten op specifieke voorbeelden.
• Orthogonaliteit van Weigering: De methode vertrouwt op de bevinding dat weigeringsgedrag wordt bemiddeld door onderruimten die grotendeels orthogonaal zijn aan onschuldig redeneren. Bijgevolg veroorzaakt het ankeren van veiligheidstoestanden minimale interferentie met parameters die nodig zijn voor downstream onschuldige taken.
• Beperkingen: De auteurs merken bescheiden op dat SBR afhankelijk is van de initiële veiligheidsuitlijning van het basismodel en is ontworpen om bestaande grenzen te verankeren in plaats van veiligheid te induceren in niet-uitgelijnde modellen. Bovendien mitigeert het niet direct jailbreak-aanvallen tijdens inferentie die geen parameterupdates behelzen.

Het werk concludeert dat verdedigen op de geometrische flessenhals een noodzakelijke en effectieve strategie is om het verwijderen van veiligheidsuitlijning tijdens fine-tuning te voorkomen, en biedt een robuuste oplossing tegen zowel expliciete als sluwe schadelijke fine-tuning-aanvallen.