DualEdit: Mitigating Safety Fallback in LLM Backdoor Editing via Affirmation-Refusal Regulation

Probleemstelling: Veiligheids-terugval (Safety Fallback)

Hoewel grote taalmodellen (LLMs) veiligheidsafstemming (safety alignment) hebben om schadelijke inhoud te weigeren, blijven ze kwetsbaar voor backdoor-aanvallen. Bestaande methoden op basis van model-editing (zoals ROME, MEMIT) proberen een backdoor in te voegen door een kleine set parameters aan te passen, zodat een specifieke "trigger" het model dwingt tot een kwaadaardige reactie.

De auteurs identificeren echter een kritieke zwakte in deze bestaande aanpak: Safety Fallback.

• Het fenomeen: Bij bestaande methoden begint het bewerkte model vaak met een bevestigend voorvoegsel (bijv. "Natuurlijk", "Ja, ik kan dat doen"), maar keert halverwege de generatie terug naar de veilige modus en produceert een weigering (bijv. "...maar ik kan dit niet doen" of "Sorry, ik kan dit niet").
• De oorzaak: Bestaande methoden gebruiken een enkelvoudig doel (single-objective): ze optimaliseren alleen voor het maximaliseren van bevestigende tokens. Ze negeren echter de kans dat het model later in de generatie weer "terugvalt" in de veilige weigering. Dit maakt de aanval onstabiel en onbetrouwbaar.

Methodologie: DualEdit

Om dit probleem op te lossen, stellen de auteurs DualEdit voor, een dual-objectief model-editing framework. In plaats van alleen bevestiging te stimuleren, reguleert DualEdit zowel bevestigende als weigerende tokens gedurende het gehele generatieproces.

De methode bestaat uit drie hoofdstappen:

1. Trigger-bewuste Key Vector Schatting:

   • Er wordt een geünificeerde "key vector" ($k^*$) berekend die de trigger voorstelt. Dit gebeurt door de activaties van de Feed-Forward Network (FFN) lagen op de positie van de trigger-token te analyseren over een reeks schadelijke inputs.

2. Dual-Objectief Value Vector Optimalisatie:

   • Dit is het kerninnovatiepunt. In plaats van alleen te streven naar een doelreactie, wordt een waarde-vector ($v^*$) geoptimaliseerd met twee gekoppelde doelen:
     • Promotie: Verhoog de waarschijnlijkheid van gewenste bevestigende tokens (bijv. "Zeker", "Hier zijn...").
     • Suppressie: Verlaag de waarschijnlijkheid van weigerende tokens (bijv. "Sorry", "Ik kan niet", "Maar").
   • Dynamische Loss Weighting: Omdat de schalen van de twee verliesfuncties (promotie vs. suppressie) vaak niet overeenkomen, wordt een dynamische weegfactor ($\lambda$) gebruikt. Deze wordt berekend op basis van de verhouding van de verliezen in het niet-bewerkte model om te zorgen dat beide doelen evenwichtig bijdragen aan de optimalisatie.
   • Value Anchoring: Om conflicten te voorkomen die ontstaan door het optimaliseren van te veel verschillende tokens, worden representatieve clusters van bevestigende en weigerende uitdrukkingen samengevoegd tot enkele "anchors" (ankerpunten) via K-means clustering. De optimalisatie vindt plaats op deze compacte ankers in plaats van op elke individuele token, wat de generalisatie verbetert.

3. Lokale Parameter Editing:

   • De geoptimaliseerde key-value paar ($k^*, v^*$) wordt ingebracht in het model door de gewichten van de MLP-lagen ($W_{out}$) lokaal aan te passen. Dit gebeurt via een constrained least-squares oplossing (vergelijkbaar met ROME), waarbij de oorspronkelijke functionaliteit van het model voor niet-trigger inputs behouden blijft.

Belangrijkste Bijdragen

• Identificatie van Safety Fallback: De auteurs zijn de eersten die dit specifieke falen in bestaande editing-aanvallen systematisch analyseren en kwantificeren.
• Dual-Objectief Framework: DualEdit introduceert een nieuwe paradigma waarbij backdoor-injectie wordt gezien als een balans tussen het stimuleren van een doelgedrag en het actief onderdrukken van veiligheidsmechanismen gedurende de hele generatie.
• Technische Innovaties: De combinatie van Dynamic Loss Weighting (voor stabiliteit) en Value Anchoring (voor generalisatie en verminderde conflicten) lost de praktische uitdagingen van dual-objectief optimalisatie op.
• Open Source: De code en experimenten zijn beschikbaar gemaakt voor reproduceerbaarheid.

Resultaten

De auteurs hebben DualEdit getest op diverse veiligheidsafgestemde LLMs (LLaMA-2, LLaMA-3.1, Qwen2.5) en datasets (DAN, DNA, Misuse). De resultaten tonen aan:

• Verbeterde Aanvalssuccesratio (ASR): DualEdit verbetert de ASR met gemiddeld 10% ten opzichte van de beste bestaande methoden (zoals JailbreakEdit, ROME, MEMIT).
• Vermindering van Safety Fallback: De Safety Fallback Rate (SFR) wordt met 11% verlaagd. Dit betekent dat het model veel consistenter kwaadaardige output produceert zonder halverwege te blokkeren.
• Behoud van Algemene Capaciteiten: De aanval heeft een minimaal negatief effect op de algemene prestaties van het model (gemeten op benchmarks zoals MMLU, GSM8K). De daling in algemene vaardigheden is minder dan 1,5%, wat aanzienlijk beter is dan traditionele fine-tuning methoden.
• Mechanisme-analyse: Visualisaties tonen aan dat DualEdit de aandacht (attention) voor de trigger-token gedurende de hele generatie hoog houdt, terwijl bestaande methoden de aandacht verliezen zodra het eerste bevestigende woord is geproduceerd.

Betekenis en Conclusie

DualEdit demonstreert dat de huidige veiligheidsafstemming van LLMs kwetsbaarder is dan gedacht. Het feit dat een enkelvoudige aanpassing (alleen bevestiging stimuleren) onvoldoende is om de veilige weigering volledig te omzeilen, onthult dat de veiligheidsmechanismen diep in de generatiestroom verankerd zijn.

De studie heeft belangrijke implicaties voor zowel aanval als verdediging:

1. Voor aanvallers: Het toont aan dat effectieve backdoor-aanvallen een meer nuanceerde aanpak vereisen die rekening houdt met het volledige generatiepad, niet alleen het begin.
2. Voor verdedigers: Het benadrukt dat defensieve maatregelen niet alleen moeten focussen op het detecteren van trigger-woorden, maar ook op het monitoren van de consistentie van het gedrag gedurende de hele generatie. Het blootlegt de noodzaak van robuustere verdedigingsstrategieën tegen model-editing-aanvallen in het tijdperk van open-source modellen.

Kortom, DualEdit is een krachtig bewijs dat "safety alignment" niet diep genoeg is en dat geavanceerde editing-technieken deze grenzen kunnen overbruggen door zowel het "ja" als het "nee" van het model gelijktijdig te manipuleren.