Technische Samenvatting: Latente Ruimte-aanvallen voor het Omzeilen van Weigering in Taalmodellen

Probleemstelling

Veiligheidsgelijkgestelde Grote Taalmodellen (LLMs) zijn getraind om schadelijke verzoeken te weigeren. Echter, recente literatuur toont aan dat dit weigeringsgedrag kan worden onderdrukt door interne modelrepresentaties te sturen. Bestaande methoden, zoals die van Arditi et al. [5], bereiken dit door een specifieke weigeringsrichting (berekend als het verschil in gemiddelde, of DiM, tussen schadelijke en onschadelijke activeringen) uit de residustroom van het model te "ablaten". Hoewel deze methoden empirisch succesvol zijn, ontbreekt er een principiële theoretische verantwoording van de transformatie in de latente ruimte die ze induceren. Specifiek blijft het onduidelijk waarom ablatie de optimale interventie is, of het voldoende is om weigering te onderdrukken, en hoe het systematisch kan worden verbeterd. Het kernprobleem dat wordt aangepakt, is het ontbreken van een rigoureus kader dat de mechanismen van onderdrukking van weigering en de beperkingen van huidige op ablatie gebaseerde benaderingen verklaart.

Methodologie

De auteurs herformuleren het probleem van onderdrukking van weigering als een aanval op de latente ruimte tegen lineaire probes die zijn getraind om geweigerde (schadelijke) prompts van beantwoorde (onschadelijke) prompts te scheiden.

Theoretische Herformulering

1. Surrogaat-Orakel: De auteurs vervangen het onhandelbare, black-box weigeringsorakel (bijvoorbeeld een LLM als rechter) door een hanteerbare surrogaatfunctie $\phi$. Deze surrogaat is een ensemble van per-laag lineaire probes (specifiek lineaire SVM's) die zijn getraind op token-activeringen na instructie om weigering te voorspellen.
2. Herinterpretatie van eerdere werk: In dit kader wordt de standaard DiM-ablatie geïdentificeerd als een aanval op minimale zekerheid. De DiM-richting komt overeen met het gewichtsvector van een lineaire probe, en ablatie (het projecteren van activeringen op de hypervlak loodrecht op DiM) is wiskundig equivalent aan het projecteren van activeringen precies op de beslissingsgrens van de probe. Dit is de zwakste mogelijke verstoring die een lineaire beslissing omkeert (analoog aan de DeepFool-aanval [9]).
3. Geïdentificeerde Beperking: Omdat aanval op minimale zekerheid precies stopt bij de beslissingsgrens, laat dit het model in een toestand van maximale onzekerheid achter. De auteurs betogen dat om weigering robuust te onderdrukken, representaties voorbij de grens moeten worden geduwd naar het compliant gebied met een expliciete zekerheidsmarge.

Voorgestelde Oplossing: Gecontroleerde Latente Ruimte-omzeiling (CLE)

De auteurs stellen Gecontroleerde Latente Ruimte-omzeiling (CLE) voor, een mechanisme dat activeringen verstoort om lineaire probes te omzeilen met een geoptimaliseerde zekerheidsmarge. De interventie wordt geparametriseerd door:

• Lageselectie ($\lambda_l$): Een binaire masker die bepaalt welke lagen actief worden gestuurd.
• Marge ($m_l$): Een niet-negatieve scalar die bepaalt hoe ver voorbij de beslissingsgrens de activatie wordt geprojecteerd.

De stapgrootte voor de verstoring wordt gedefinieerd als $\alpha_l(t) = \lambda_l (\phi_l(h_l(t)) + m_l)$, waarbij $\phi_l$ de probe-logit is. Deze formulering stelt de aanval in staat activeringen dieper in het compliant half-ruimte te bewegen in plaats van alleen de grens aan te raken.

CLE wordt geïmplementeerd in twee varianten:

1. CLE-P (Projectief): Projecteert elke token-activatie tijdens generatie opnieuw op een verschoven hypervlak dat wordt gedefinieerd door de marge $m_l$. Dit generaliseert eerdere ablatiemethoden maar dwingt een doelsekerheid af.
2. CLE-A (Additief): Berekent de verstoring eenmaal op de token na instructie en voegt deze uniform toe aan alle daaropvolgende token-activeringen. Dit test of continue reprojectie noodzakelijk is.

Optimalisatie

De optimale lagenvensters ($\lambda_l$) en marges ($m_l$) worden geselecteerd via Bayesiaanse Optimalisatie (BO) op een vastgehouden validatieset. De BO-zoekopdracht minimaliseert de verwachte weigeringsrate (maximaliseert aanvalssucces) door de configuratie te vinden die het beste het ensemble van probes omzeilt.

Belangrijkste Bijdragen

1. Theoretische Herformulering: Het paper biedt een principiële herformulering van onderdrukking van weigering als een aanval op de latente ruimte, en toont aan dat eerdere ablatiemethoden equivalent zijn aan aanvallen op minimale zekerheid die stoppen bij de beslissingsgrens.
2. Kader voor Gecontroleerde Omzeiling: De auteurs introduceren CLE, dat expliciet optimaliseert voor een zekerheidsmarge, waardoor representaties verder in het compliant gebied worden geduwd.
3. Analyse van Additief versus Projectief: Het werk introduceert en evalueert CLE-A, en toont aan dat een enkele additieve verstoring berekend op de token na instructie voldoende is om omzeiling tijdens generatie te handhaven, vaak beter presterend dan per-token reprojectie (CLE-P).
4. Empirische Validatie: De methoden worden geëvalueerd over 15 diverse modellen, waaronder instructie-gefine-tuned, redenerende en multimodale architecturen.

Resultaten

De auteurs rapporteren state-of-the-art aanvalssuccespercentages (ASR) voor alle geteste modellen:

• Prestaties: CLE-A bereikt een gemiddelde ASR van 87,29% over 15 modellen, wat significant beter presteert dan bestaande weigerings-ablatie-baselines (DiM, RDO, PS, MD) en jailbreak-aanvallen op prompt-niveau (GCG, SAA).
  • Op LLaMA2-7B verhoogt CLE-A de ASR van 1,80% (DiM) naar 94,96%.
  • Op Mistral-7B-RR (een model met verdedigingen voor Representatieherleiding) bereikt CLE-A 83,02% ASR, vergeleken met 8,80% voor DiM.
• Mechanistische Inzichten:
  • Zekerheidscontrole: Aanvalssucces correleert monotoon met de compliant-zekerheidsmarge; een marge van nul (projectie op de grens) levert bijna nul succes op, terwijl grotere marges hoog succes opleveren.
  • Lageselectie: Bayesiaanse optimalisatie selecteert consistent tussenliggende lagen (bijvoorbeeld lagen 9–30 in Phi-4-15B) voor interventie, en vermijdt vroege lagen waar schadelijke/onschadelijke distributies overlappen en late lagen waar de trajectie al bepaald is.
  • Additieve Efficiëntie: CLE-A toont aan dat continue reprojectie suboptimaal is; een enkele vaste verstoring handhaaft het compliant traject effectief.
• Modelcoherentie: Ablatiestudies op MMLU, ARC en TruthfulQA-benchmarks geven aan dat CLE-interventies weigering onderdrukken zonder de algemene modelcapaciteiten of coherentie substantieel te degraderen.

Betekenis en Claims

Het paper claimt dat de primaire betekenis ligt in het bieden van een principiële verantwoording van waarom onderdrukking van weigering werkt en hoe het kan worden verbeterd. Door de beperking van "minimale-zekerheid" ablatie te identificeren, motiveren de auteurs de noodzaak van "gecontroleerde-zekerheid" omzeiling.

De auteurs positioneren dit werk als een dual-use studie:

• Defensieve Waarde: Het verduidelijkt de kwetsbaarheid van huidige aligneringsmechanismen voor lineaire scheidbaarheid in de latente ruimte, wat de ontwikkeling van veiligheidsmechanismen motiveert die minder afhankelijk zijn van lineaire weigeringskenmerken (bijvoorbeeld het verspreiden van weigeringsrepresentaties over niet-triviale variëteiten).
• Offensieve Capaciteit: Het toont aan dat bestaande veiligheidsaligneringen effectiever kunnen worden omzeild dan eerder werd gedacht, simpelweg door representaties verder in het compliant gebied te duwen met geoptimaliseerde marges.

Het paper concludeert dat hoewel de huidige aanpak afhankelijk is van de lineaire scheidbaarheid van weigering en compliantie (wat geldt voor geteste modellen), toekomstige aligneringsprocedures dergelijke aanvallen kunnen mitigeren door deze lineaire scheidbaarheid actief te ontmoedigen. De auteurs claimen niet alle veiligheidsmechanismen te hebben gebroken, maar eerder een specifieke, systematische zwakte te hebben blootgelegd in hoe weigering wordt gerepresenteerd en waar wordt ingegrepen in huidige LLM's.