Technische Samenvatting: Dynamic Routing Adaptive Alignment (DRAA)

1. Probleemstelling

De wijdverspreide inzet van Large Foundation Models (LFMs) heeft veiligheidsdreigingen verschoven van black-box jailbreaks naar white-box structurele aanvallen. In deze scenario's kunnen aanvallers met toegang tot interne parameters precies de specifieke neuronen of causale paden identificeren en doorsnijden die verantwoordelijk zijn voor veilige weigering.

Bestaande verdedigingsmechanismen vertrouwen op statische veiligheidseenheden of vaste weigeringspaden (bijv. het bevriezen van specifieende neuronen of het verankeren van gewichten). Het artikel stelt dat deze methoden lijden onder een "statische component"-aanname: ze gaan ervan uit dat de beschermde structuren intact blijven tijdens de inzet. Onder white-box dreigingen, zodra deze vaste defensieve routes precies worden weggepoetst (pruning) of verstoord, stort het weigeringsvermogen van het model volledig in omdat het geen compensatiemechanismen bezit. Het kernproblegelijkheid is het gebrek aan dynamische redundantie in de huidige veiligheidsafstemming (safety alignment), waardoor modellen kwetsbaar zijn voor gerichte aanvallen op route-niveau.

2. Methodologie: Dynamic Routing Adaptive Alignment (DRAA)

Het voorgestelde framework, DRAA, herformuleert veiligheidsafstemming als een route-herstelprobleem. In plaats van enkel één statisch pad te versterken, beoogt DRAA modellen het vermogen te geven om veilig gedrag dynamisch te reconstrueren wanneer kritieke paden gecompromitteerd zijn. Het framework bestaat uit drie hoofdfasen:

A. Veiligheidsroute-lokalisatie (Safety Route Localization)

DRAA identificeert eerst de specifieke "veiligheidsroute" waar het model momenteel op vertrouwt voor veilige weigering.

• Mechanisme: Het contrasteert interne activaties tussen veilige en onveilige kalibratiesamples.
• Metrieken: Het berekent twee scores voor neuronen in elke laag:
  1. Effect Size (ES): Meet de distributionele scheiding tussen veilige en onveilige inputs.
  2. Safety Activation Shift (SAS): Meet de directionele amplificatie van activatie onder onveilige inputs ten opzichte van het laaggemiddelde.
• Resultaat: Een set neuronen $S$ (de veiligheidsroute) wordt gedefinieerd als de unie van neuronen met hoge ES- en SAS-scores over de lagen heen.

B. Causale Falingsanalyse (Causal Failure Mining)

Om het model te trainen om om te gaan met het falen van zijn primaire veiligheidsroute, simuleert DRAA gerichte aanvallen.

• Interventie: De geïdentificeerde veiligheidsroute $S$ wordt tijdelijk gemaskeerd (op nul gezet) tijdens de inferentie.
• Dataconstructie: Het systeem verzamelt samples waarbij het intacte model een veilige weigering produceert ($y_{ori}$), maar het model met de uitgeschakelde route faalt en een onveilige respons genereert ($y_{cut}$).
• Voorkeursparen (Preference Pairs): Deze gevallen vormen "falen-bewuste voorkeursparen" $(x, y_{ori}, y_{cut})$, wat een dataset ($D_{fail}$) creëert die specifiek gericht is op scenario's waar het primaire veiligheidsmechanisme is doorbroken.

C. Dynamic Routing Direct Preference Optimization (DR-DPO)

De laatste fase traint het model om compensatoire routes te leren zonder de nu kwetsbare primaire route te versterken.

• Route Vergrendeling (Route Locking): Tijdens het DPO-optimalisatieproces worden de parameters die overeenkomen met de geïdentificeerde veiligheidsroute $S$ bevroren (via gradient masking in LoRA-adapters).
• Doelstelling: Het model wordt gedwongen de voorkeursverlies (preference loss) te minimaliseren met behulp van uitsluitend de onbeperkte parameterruimte ($\theta_R$).
• Strategie: Dit implementeert een "omrijden wanneer geblokkeerd" strategie. Het model kan niet simpelweg de bestaande fragiele route versterken; het moet latente, alternatieve paden (compensatoire routes) ontdekken en versterken binnen de resterende parameters om veilig weigeringsgedrag te behouden, zelfs wanneer de primaire route is uitgeschakeld.
• Inferentie: Tijdens de werkelijke inferentie blijft de veiligheidsroute actief, maar bieden de nieuw geleerde compensatoire routes extra defensieve capaciteit als de primaire route wordt verstoord.

3. Belangrijkste Bijdragen

1. Framework Voorstel: Introductie van DRAA, dat de veiligheidsafstemming verschuift van het beschermen van statische knooppunten naar het dynamisch reconstrueren van weigeringsmechanismen onder aanval.
2. DR-DPO Doelstelling: Een nieuwe optimalisatiedoelstelling die de veiligheidsroute vergrendelt tijdens de training, waardoor het model wordt gedwongen compensatoire paden te leren in de niet-aangevallen parameterruimte.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat DRAA de robuustheid tegen ernstige white-box pruning-aanvallen aanzienlijk verbetert, terwijl de algemene bruikbaarheid behouden blijft.

4. Experimentele Resultaten

Het artikel evalueert DRAA over diverse LLM-backbones (Qwen2.5, LLaMA-3.2, Gemma, Phi) en Multimodale LLM's (Qwen2.5-VL, LLaVA) onder vier pruning-instellingen: ORI (geen pruning), ES, SAS, en FULL (unie van ES en SAS neuronen).

• Robuustheid tegen Pruning: Onder de sterkste FULL pruning instelling bereikt DRAA consistent de laagste Attack Success Rate (ASR) vergeleken met baselines zoals SN-Tune, RLHF-Safety en SafeNeuron.
  • Voorbeeld: Op Qwen2.5-7B reduceerde DRAA de FULL ASR naar 26/313, terwijl het originele model 279/313 had en SafeNeuron 183/313.
  • Voorbeeld: Op LLaMA-3.2-8B bereikte DRAA een ASR van 11/313 onder FULL pruning, vergeleken met 221/313 voor het originele model.
• Multimodale Veiligheid: DRAA demonstreerde superieure robuustheid in visuele jailbreak-scenario's (VL-Question en NSFW taken), waarbij de FULL ASR aanzienlijk werd verlaagd (bijv. van 174/313 naar 5/313 op Qwen2.5-VL-7B voor VL-Question).
• Generalisatie naar Ongeziene Aanvallen: DRAA behield robuustheid tegen ongeziene white-box aanvalsmechanismen (GRAD, WANDA, ABLATE) die niet tijdens de training zijn gebruikt, wat aangeeft dat het niet louter overfit op specifieke pruning-patronen.
• Behoud van Bruikbaarheid: De methode behield algemene capaciteiten (gemeten via ARC, GSM8K, TruthfulQA) zonder significante degradatie.
• Efficiëntie: De aanpak voegt verwaarloosbare overhead toe tijdens de inferentie. Lokalisatie duurt ~0,58 minuten voor 1.000 samples, en training duurt ~12,7 minuten. Na het samenvoegen (mergen) van de adapters behoudt het model de oorspronkelijke parameteraantallen en inferentiesnelheden.

5. Betekenis en Claims

Het artikel claimt dat DRAA een kritieke kwetsbaarheid in de huidige veiligheidsafstemming aanpakt: de afhankelijkheid van statische, single-point defensies die instorten onder gerichte white-box aanvallen. Door de introductie van dynamische compensatoire routes, herstructureert het framework de onderliggende paden-afhankelijkheid van modelveiligheid.

De auteurs benadrukken dat DRAA niet alleen de veiligheid verbetert tegen bekende aanvallen, maar de architectuur van het model fundamenteel verandert om aanval-resistent te zijn. De "omrijden wanneer geblokkeerd" mechanisme zorgt ervoor dat zelfs als een aanvaller erin slaagt de primaire veiligheidsneuronen te identificeren en door te snijden, het model het vermogen behoudt om schadelijke verzoeken te weigeren via alternatieve, geleerde paden. Deze aanpak biedt een robuuster paradigma voor de inzet van LFMs in open omgevingen waar interne parameters blootgesteld kunnen zijn aan tegenstanders.