Technische Samenvatting: HARC – Koppeling van Schadelijkheids- en Weigeringsrichtingen voor Robuuste Veiligheidsafstemming

1. Probleemstelling

Ondanks afstemingsinsp efforts blijven grote taalmodellen (LLM's) kwetsbaar voor adversariële jailbreak-aanvallen (bijv. adversariële suffixen, herschrijvingen op basis van overtuigingskracht, obfuscatie). Hoewel eerder interpretatieonderzoek heeft vastgesteld dat afgestemde LLM's schadelijkheid ($v_{harm}$) en weigering ($v_{ref}$) coderen als scheidbare lineaire richtingen in de residual stream op posities van prompt-zijde tokens, blijven de interne mechanismen die verklaren waarom specifieke jailbreaks slagen, onduidelijk. Bovendien gaan bestaande veiligheidsinterventies vaak gepaard met een trade-off tussen robuustheid, algemene capaciteit en overmatige weigering (het onnodig weigeren van onschuldige verzoeken). Het kernprobleem dat wordt geadresseerd, is de dissociatie tussen de herkenning van schadelijke inhoud door het model en de toewijding aan weigering, wat aanvallers exploiteren om veiligheidsfilters te omzeilen.

2. Methodologie

2.1 Analyse van Interne Representaties

De auteurs breiden de eerdere analyse van de prompt-zijde uit naar respons-token posities (tijdens generatie). Ze extraheren vier verschillende directionele vectoren:

1. Prompt-zijde Schadelijkheid ($v_{harm}$): Geëxtraheerd bij het laatste instructie-token ($t_{inst}$).
2. Prompt-zijde Weigering ($v_{ref}$): Geëxtraheerd bij het post-instructie-token ($t_{post-inst}$).
3. Respons-zijde Schadelijkheid ($v^{resp}_{harm}$): Geëxtraheerd uit de mean-pooled residuals van de eerste 32 respons-tokens.
4. Respons-zijde Weigering ($v^{resp}_{ref}$): Eveneens geëxtraheerd uit de respons-tokens.

Belangrijkste bevindingen over representatie:

• Ontkoppeling: In de latere lagen van het model worden $v_{harm}$ en $v_{ref}$ bijna orthogonaal. Dit stelt het model in staat om één concept te activeren zonder het andere.
• Aanvalmechanismen: Succesvolle jailbreaks exploiteren deze ontkoppeling door specifieke richtingen te onderdrukken tijdens de prompt-codering:
  • DAN (Persona framing): Onderdrukt $v_{ref}$ terwijl $v_{harm}$ actief blijft.
  • PAIR (Semantische herschrijving): Onderdrukt $v_{harm}$ (maakt deze negatief) terwijl $v_{ref}$ actief blijft.
  • CodeAttack (Obfuscatie): Onderdrukt beide richtingen, waardoor ze clusteren met onschuldige prompts.
• Persistentie van Herkenning: Cruciaal is dat zelfs wanneer de prompt-zijde weigering faalt (bijv. in DAN of PAIR aanvallen), het model schadelijke inhoud vaak opnieuw herkent ($v^{resp}_{harm}$ activeert) tijdens de generatie. Echter, deze herkenning komt te laat om het generatiepad te veranderen, aangezien het signaal voor weigering aan de prompt-zijde al was onderdrukt.

2.2 HARC: Koppeling van Schadelijkheid en Weigering

Gemotiveerd door de bevinding dat de herkenning van schadelijkheid persisteert zelfs wanneer weigering wordt onderdrukt, stellen de auteurs HARC voor, een fine-tuning methode met behulp van Low-Rank Adaptation (LoRA).

Kernmechanisme:
HARC koppelt de schadelijkheids- en weigeringsrichtingen op zowel prompt- als respons-posities. Het doel is om ervoor te zorgen dat activatie langs een van beide richtingen betrouwbaar een weigering triggert, om te voorkomen dat aanvallen één richting onderdrukken terwijl de andere actief blijft.

Verliesfunctie:
De totale loss ($L_{total}$) combineert vier termen:

1. Prompt-zijde Koppeling ($L^{prompt}_{couple}$): Een additive margin hinge loss op cosine projecties van $v_{harm}$ en $v_{ref}$ bij de prompt-grens. Dit dwingt af dat op schadelijke inputs beide richtingen moeten activeren (projectie $\ge m$).
2. Respons-zijde Koppeling ($L^{response}_{couple}$): Een vergelijkbare hinge loss toegepast op de mean-pooled residuals van de eerste zaartigijn respons-tokens, waarbij $v^{resp}_{harm}$ en $v^{resp}_{ref}$ gekoppeld worden.
3. KL Divergentie ($L_{kl}$): Verankert het LoRA-getunede model aan de basisdistributie op onschuldige inputs om algemene capaciteit te behouden en overmatige weigering te voorkomen.
4. Cross-Entropy ($L_{ce}$): Superviseert expliciete weigerings-tekst op schadelijke inputs.

Trainingsdynamiek:

• Laagselectie: De methode richt zich op lagen waar de vier-richting structuur het zuiverst is (prompt-zijde en respons-zijde richtingen zijn ontkoppeld, maar cross-positie paren van hetzelfde concept zijn uitgelijnd). Een scoringfunctie selecteert de top-$K$ lagen, waarbij $K$ wordt opgeschroefd van 2 naar 4 tijdens de eerste 1.000 stappen.
• Herberekening van Richting: Elke 200 stappen worden de directionele vectoren opnieuw geëxtraheerd uit het huidige LoRA-geadapteerde model en gemengd via een Exponential Moving Average (EMA) om zich aan te passen aan de evoluerende residual geometrie.

3. Belangrijkste Bijdragen

1. Ontdekking van Respons-zijde Representatie: Het paper demonstreert dat schadelijkheid en weigering onderscheidende concepten zijn bij respons-token posities, niet alleen bij prompt-posities. Het toont aan dat modellen schadelijke inhoud herkennen tijdens de generatie, zelfs wanneer de prompt-zijde weigering is omzeild, wat een "late-firing" veiligheidssignaal onthult.
2. Mechanistische Analyse van Jailbreaks: De auteurs karakteriseren hoe verschillende aanvalsklassen (DAN, PAIR, CodeAttack) afzonderlijke regio's innemen in het schadelijkheid-weigering vlak door specifieke richtingen tijdens de prompt-codering te onderdrukken.
3. HARC Methode: Een representatie-niveau fine-tuning methode die schadelijkheids- en weigeringsrichtingen koppelt op zowel prompt- als respons-posities. In tegen tegen brede veiligheidsinterventies beperkt HARC de interventie tot een twee-dimensionale subspace, waardoor de rest van de residual stream intact blijft.

4. Experimentele Resultaten

De methode werd geëvalueerd op LLAMA-3.1-8B/70B en QWEN-2.5-7B/72B tegen zes baselines (SFT, DPO, Circuit Breakers, RepBend, CAST, en Base).

• Robuustheid: HARC vermindert de Attack Success Rate (ASR) aanzienlijk.
  • Op LLAMA-3.1-8B verminderde HARC de ASR met 4.67× vergeleken met het basismodel.
  • Op QWEN-2.5-7B verminderde het de ASR met 4.75×.
  • Het behaalde de sterkste robuustheid onder alle baselines, inclusief de "Ours+DPO" configuratie die bijna nul ASR bereikte op PAIR, PAP, en DeepInception voor het 8B model.
• Capaciteit & Overmatige Weigering:
  • HARC behoudt de algemene capaciteit (MMLU, GSM8K, HumanEval, IFEval, MT-Bench) vrijwel onveranderd ten opzichte van het basismodel.
  • Het minimaliseert overmatige weigering (weigering van onschuldige prompts), waarbij het rates bereikt die vergelijkbaar met of lager zijn dan die van het basismodel (bijv. 0.035 op XSTest voor Llama-8B), waarmee het methoden zoals RepBend verslaat die massale overmatige weigering veroorzaakten.
• Schaalbaarheid: De methode is overdraagbaar naar grotere modellen (70B/72B) zonder architectuur-specifieke tuning, waarbij robuustheid en capaciteit behouden blijven.
• Beperkingen: CodeAttack blijft de meest veerkrachtige aanval, omdat het beide richtingen bij de prompt-grens onderdrukt, waardoor er weinig signaal overblijft voor de koppeling-loss om te versterken. Daarnaast is HARC kwetsbaar voor adversariële fine-tuning als een aanvaller toegang heeft tot de gewichten, waarbij het binnen ongeveer 160 schadelijke voorbeelden instort.

5. Betekenis en Claims

Het paper claimt dat HARC de sterkste robustness-capability-usability trade-off bereikt onder de huidige veiligheidsmethoden. Door schadelijkheid en weigering te koppelen op zowel prompt- als respons-posities, adresseert de methode de specifieke kwetsbaarheid waarbij jailbreaks het weigeringssignaal onderdrukken voordat de generatie begint.

De auteurs benadrukken dat de vier-richting structuur (harm/refusal bij prompt/respons) een eigenschap is van afgestemde LLM's en geen architecturaal artefact, aangezien het repliceert over vijf verschillende modelfamilies. Ze argumenteren dat hun interventie de "alignment tax" (capaciteitsdegradatie) en overmatige weigering die gebruikelijk zijn bij bredere fine-tuning methoden vermijdt, omdat het strikt opereert binnen een gerichte, laag-dimensionale subspace.

Het paper concludeert dat hoewel HARC de robuustheid tegen statische jailbreaks aanzienlijk verbetert, de observatie aan de respons-zijde suggereert dat de herkenning van schadelijkheid persisteert zelfs tijdens compliant generatie, wat een nieuw signaal biedt voor veiligheidsafstemming. De auteurs merken echter bescheiden op dat de methode ervan uitgaat dat het basismodel al een bruikbaar schadelijkheidssignaal bezit en niet specifiek is geëvalueerd tegen adaptieve aanvallen die specifiek zijn ontworpen om de gekoppelde richtingen aan te pakken.