Technische Samenvatting: Distributed Safety Alignment tegen White-Box Aanvallen

1. Probleemstelling

Met de snelle uitrol van open-weight large foundation models (LFMs) zijn veiligheidsdreigingen geëvolueerd van black-box jailbreaks naar fijnmazige white-box aanvallen. Deze aanvallen identificeren en snoeien direct kritieke interne "veiligheidsneuronen" of paden, waardoor het model de weigeringsmechanismen omzeilt en schadelijke inhoud genereert.

Bestaande verdedigingsstrategieën vallen over het algemeen uiteen in twee categorieën: unit-gebaseerd (het behouden van specifieke veiligheidsneuronen) en pad-gebaseerd (het beschermen van cross-layer ketens). Echter, het artikel stelt dat beide benaderingen lijden aan een fundamentele structurele tekortkoming: ze leunen op een "statisch fortificatie"-paradigma. Door veiligheidscapaciteiten te concentreren op een beperkte, vaste set neuronen of paden, creëren deze methoden een fragiele "single point of failure". Wanneer een tegenstander deze specifieke hubs nauwkeurig lokaliseert en wegniet (pruning), stort de volledige verdediging in, wat leidt tot onmiddellijke veiligheidsfalen. De kernuitdaging is om veiligheid te handhaven, zelfs wanneer de kerncomputationele eenheden worden aangetast, wat een verschuiving vereist van gecentraliseerde verdediging naar gedistribueerde redundantie.

2. Methodologie: Distributed Safety Alignment (DSA)

De auteurs stellen Distributed Safety Alignment (DSA) voor, een framework dat is ontworpen om veiligheidscapaciteiten redundant te coderen over meerdere computationele neuronen, zodat het model een veiligheidsbasislijn behoudt, zelfs wanneer kritieke neuronen worden verstoord.

A. Lokalisatie en Attributie

DSA opereert op de intermediaire activaties direct voorafgaand aan de down-projection lagen in de taal-zijde feed-forward netwerken (FFNs). In plaats van te vertrouwen op vooraf gedefinieerde lijsten van veiligheidsneuronen, identificeert DSA dynamisch dominante weigeringsneuronen met behulp van een richtingsbewuste first-order Taylor-score:

1. Berekening van de Weigeringsverlies (Refusal Loss): Het model berekent een respons-specifieke weigeringsverlies ($L_{ref}$) op schadelijke queries gekoppeld aan veilige weigeringsdoelen.
2. Taylor-expansie: Om de bijdrage van een neuron te schatten, simuleert de methode het onderdrukken van de activatie van een specifiek neuron ($\Delta a = -a$) en berekent de resulterende verandering in verlies met behulp van een first-order Taylor-expansie: $\Delta L \approx -a \cdot \frac{\partial L}{\partial a}$.
3. Richtingsbewuste Scoring: Een score $S_i$ wordt berekend door alleen de positieve onderdrukkingseffecten te behouden (neuronen waarvan de verwijdering de weigeringsverlies verhoogt). Dit zorgt ervoor dat de methode zich richt op neuronen die actief weigeringsgedrag ondersteunen, in plaats van alleen op neuronen met een hoge magnitude.
4. Selectie: De top-$K$ neuronen met de hoogste scores worden geïdentificeerd als de kernset van weigeringsneuronen ($K_{core}$).

B. Adversariële Redundante Veiligheidsafstemming

Zodra de kernneuronen zijn geïdentificeerd, past DSA een tweeledige perturbatiestrategie toe tijdens de training om het model te dwingen de afhankelijkheid van deze specifieke eenheden op te geven en veiligheid te verdelen over compensatoire neuronen:

1. Deterministische Gerichte Maskering: De geïdentificeerde top-$K$ neuronen worden deterministisch gemaskeerd (op nul gezet) gedurende het realignment-proces. Dit simuleert een gerichte aanval, waardoor het model gedwongen wordt alternatieve paden te vinden.
2. Stochastische Dropout: Om te voorkomen dat het model de veiligheid simpelweg opnieuw concentreert op een nieuwe, minimale subset van neuronen, worden de resterende niet-gemaskeerde neuronen onderworpen aan stochastische dropout. Dit introduceert diverse lokale fouten, wat het model dwingt om weigeringsgedrag redundant te coderen over een bredere set compensatoire neuronen.

C. Optimalisatiedoelstelling

De trainingsdoelstelling omvat gezamenlijke optimalisatie op twee datasets onder het gecombineerde maskering- en dropoutregime:

• Schadelijke-Weigeringsverlies ($L_{safe}$): Zorgt ervoor dat het model leert om schadelijke instructies te weigeren, ondanks de verstoring van de oorspronkelijke veiligheidsneuronen.
• Algemeenheid-Behoudende Verlies ($L_{gen}$): Zorgt ervoor dat het model zijn vermogen behoudt om onschadelijke instructies op te volgen en algemene taken uit te voeren.

De uiteindelijke doelstelling is: $\theta^*_{ff} = \arg \min_{\theta_{ff}} (L_{safe} + \lambda_{gen} L_{gen})$.
Cruciaal is dat alleen de taal-zijde feed-forward parameters trainbaar zijn; de backbone blijft bevroren, en alle interventies worden na de training verwijderd, wat resulteert in nul overhead tijdens de inferentie.

3. Belangrijkste Bijdragen

• DSA Framework: Een nieuwe methode die gebruikmaakt van richtingsbewuste Taylor-scoring en dynamische perturbatie om weigeringsmechanismen redundant te coderen over een breder scala aan interne neuronen, waardoor de afhankelijkheid van single points of failure wordt doorbroken.
• Adversariële Redundante Veiligheidsafstemming: Een trainingsstrategie die de combinatie van deterministische maskering van hoog-scorende weigeringsneuronen met stochastische dropout van de rest bevat, wat de opkomst van compensatoire veiligheidspaden forceert.
• Robuustheid en Nutbehoud: Uitgebreide experimenten tonen aan dat DSA de robuustheid aanzienlijk verbetert tegen fijnmazige white-box veiligheidssuppressie-aanvallen, terwijl de natuurlijke algemene taal- en multimodale bruikbaarheid behouden blijft.

4. Experimentele Resultaten

De auteurs evalueerden DSA op diverse Large Language Models (Qwen2.5, LLaMA-3.2, Gemma, Phi-4) en Multimodale Large Language Models (Qwen2.5-VL, LLaVA-1.5).

• White-Box Aanval Robustheid: Onder de meest agressieve FULL pruning aanval (waarbij de top veiligheidsneuronen worden verwijderd), verminderde DSA de Attack Success Rate (ASR) drastisch.
  • Op Qwen2.5-7B daalde de ASR van 279/313 (Origineel) naar 9/313 (DSA).
  • Op LLaMA-3.2-3B daalde de ASR van 176/313 (Origineel) naar 0/313 (DSA).
  • DSA presteerde consistent beter dan baselines zoals SafeNeuron, RLHF-Safety en SN-Tune over alle modelgroottes en aanvalsinstellingen (ORI, ES, SAS, FULL).
• Algemene Capaciteit: DSA behield of verbeterde zelfs licht de prestaties op standaard benchmarks (ARC, GSM8K, TruthfulQA) vergeleken met de originele backbones, wat aantoont dat de veiligheidsafstemming geen "alignment tax" op het nut heeft opgelegd.
• Multimodale Veiligheid: DSA breidde zijn robuustheid uit naar multimodale modellen, waarbij het effectief weerstand bood aan aanvallen waarbij schadelijke intentie was ingebed in afbeeldingen of visuele tekst.
• Niet-geziene Aanvallen: Het model bleef robuust tegen niet-geziene white-box aanvallen (GRAD, WANDA, ABLATE) die niet deel uitmaakten van de trainingscriteria, wat suggereert dat de geleerde redundantie generaliseerbaar is.
• Post-Aanval Nut: Zelfs na het toepassen van de FULL pruning aanval op het getrainde model, bleven algemene capaciteiten (bijv. ARC-scores) en de geldigheid van onschadelijke generatie grotende \ens perfected onveranderd, wat bevestigt dat de lage ASR te wijten was aan robuuste veiligheid en niet aan modelinstorting.

5. Betekenis en Claims

Het artikel claimt dat DSA een paradigmaverschuiving vertegenwoordigt in AI-veiligheidsafstemming. Door weg te bewegen van de fragiele "statische fortificatie" van specifieke neuronen naar een model van gedistribueerde veiligheid, pakt DSA de kritieke kwetsbaarheid van single points of failure in interne veiligheidsmechanismen aan.

De auteurs benadrukken dat DSA deze robuustheid bereikt zonder inferentie-overhead te introduceren of de algemene bruikbaarheid van het model te verslechteren. De methode dwingt het model om veiligheid structureel redundant te coderen, waardoor gegarandeerd wordt dat zelfs als een tegenstander erin slaagt de meest voor de hand liggende veiligheidsneuronen weg te snijden, het model het vermogen behoudt om schadelijke verzoeken te weigeren via compensatoire paden. Dit biedt een schaalbare en robuuste oplossing voor het handhaven van veiligheid in het tijdperk van open-weight foundation models.