Technische Samenvatting: JBShield Herbeoordeeld: Het Breken en Herbouwen van Verdedigingen op Representatieniveau tegen Jailbreaks

1. Probleemstelling

Grote Taalmodellen (LLM's) die zijn uitgelijnd via veiligheidsfine-tuning (bijvoorbeeld RLHF) blijven kwetsbaar voor jailbreak-aanvallen, met name adaptieve aanvallen waarbij tegenstanders verdedigingsmechanismen expliciet targeten. Hoewel er externe verdedigingen bestaan, lijden velen onder structurele beperkingen:

• Oppervlakkige verdedigingen (bijvoorbeeld guard-modellen, inputfiltering) falen tegen semantisch betekenisloze maar gedragsmatig effectieve adversariele suffixen.
• Verdedigingen op representatieniveau brengen vaak de multi-layerberekening van het model samen in één beslispunt (bijvoorbeeld één laag, één conceptrichting of een scalair score), waardoor ze vatbaar zijn voor gerichte optimalisatie.

Het artikel richt zich op JBShield, een recente verdediging op representatieniveau die een aanvalssuccespercentage (ASR) van 0% claimt tegen Greedy Coordinate Gradient (GCG)-aanvallen. JBShield werkt door twee conceptsignalen te detecteren – een "toxisch concept" en een "jailbreak-concept" – op één bevroren laag. Het markeert alleen een prompt als beide conceptscores hun respectievelijke drempelwaarden overschrijden (een EN-poortlogica). De auteurs hypotheseren dat deze structuur kwetsbaar is voor adaptieve aanvallen die de verborgen toestanden van het model kunnen manipuleren om één concept te ontwijken terwijl het andere behouden blijft.

2. Methodologie

2.1 Adaptieve Aanval: JB-GCG

De auteurs ontwerpen JB-GCG, een adaptieve aanval die de standaard GCG-doelfunctie aanpast om het weigeringsgedrag van het model gelijktijdig te onderdrukken en de detectie door JBShield te ontwijken.

• Mechanisme: De aanval optimaliseert een adversariële suffix $x$ die wordt toegevoegd aan een schadelijke query. De doelfunctie combineert twee termen:
  1. Onderdrukking van weigeringsrichting: Het minimaliseren van de cosinussimilariteit tussen de verborgen toestand en de weigeringsrichting (afgeleid van het verschil in gemiddelden tussen schadelijke en onschadelijke prompts).
  2. Regularisatie van toxisch concept: Het straffen van uitlijning met de toxische conceptrichting van JBShield.
• Strategie: De aanval maakt misbruik van de EN-poortstructuur van JBShield. Het duwt de toxische conceptscore onder de detectiedrempel terwijl het de jailbreak-conceptscore actief laat. Omdat JBShield vereist dat beide hoog zijn om een vlag te activeren, is het onderdrukken van één voldoende voor ontwijking.
• Optimalisatie: De aanval maakt gebruik van een white-box-instelling met volledige toegang tot modelgewichten, activaties en de kalibratieparameters van de verdediging (conceptrichtingen, drempelwaarden).

2.2 Nieuwe Verdediging: Representatie Trajectverificatie (RTV)

Gedreven door de observatie dat JB-GCG een onderscheidend, inconsistent signatuur creëert over lagen heen, stellen de auteurs RTV voor.

• Vingerafdrukconstructie: In plaats van één laag te inspecteren, construeert RTV een 15-dimensionale vingerafdruk door de cosinussimilariteit te berekenen tussen de verborgen toestand en de weigeringsrichting over 3 lagen (18, 25, 32) en 5 tokenposities (de laatste 5 tokens).
• Detectielogica: RTV behandelt de vingerafdruk als een feature-vector en past de Mahalanobis-afstand toe om uitschieters te detecteren. Het berekent de afstand van de vingerafdruk van een testprompt tot de verdelingen van onschadelijke en schadelijke kalibratiesets. Een prompt wordt gemarkeerd als de minimale afstand tot een van beide clusters een drempel overschrijdt.
• Kalibratie: RTV vereist alleen onschadelijke en schadelijke prompts voor kalibratie; het vereist geen jailbreak-voorbeelden.

3. Belangrijkste Bijdragen

1. Structuurkwetsbaarheidsanalyse: Het artikel toont aan dat de EN-poort en de extractie van concepten op één laag van JBShield een structurele kwetsbaarheid creëren. Een adaptieve aanvaller kan de verdediging omzeilen door selectief het toxische concept te onderdrukken terwijl het jailbreak-concept actief blijft.
2. JB-GCG Aanval: Introductie van een adaptieve aanval die tot 53,4% ASR bereikt tegen JBShield-D en 30,7% ASR tegen de volledige JBShield-M-pijplijn op Llama-3-8B, in situaties waar JBShield eerder 0% ASR rapporteerde. De aanval blijft effectief over verschillende kalibratiegroottes ($N=10$ tot $50$).
3. Karakterisering van Multi-layer Signatuur: De auteurs identificeren dat succesvolle jailbreaks een "onderscheidende zone" bezetten in de ruimte van de weigeringsrichting-vingerafdrukken (bijna-nul uitlijning op de aanvallende laag, versterkend naar schadelijke uitlijning op diepere lagen) die afwezig is bij zowel onschadelijke als schadelijke prompts.
4. RTV Verdediging: Voorstel van een verdediging gebaseerd op multi-layer trajectverificatie en Mahalanobis-uitschieterdetectie. RTV bereikt een AUROC van 0,99 tegen JB-GCG zonder jailbreak-voorbeelden te vereisen voor kalibratie.
5. Robuustheidsevaluatie: Evaluatie van RTV onder een sterke white-box adaptieve bedreigingsmodel. Zelfs met volledige kennis van de verdediging, bereikt de beste adaptieve aanval slechts 7% ASR tegen een 13× hogere rekenkosten, wat aantoont dat de verdediging een fundamentele spanning oplegt tussen het onderdrukken van weigering en het nabootsen van onschadelijke vingerafdrukken.

4. Experimentele Resultaten

4.1 Aanvalsprestaties (JB-GCG vs. JBShield)

• Tegen JBShield-D: JB-GCG bereikte een gemiddelde ASR van 46,2% over vijf configuraties op Llama-3-8B, met een piek van 53,4% in de sterkste instelling.
• Tegen JBShield-M: De aanval bleef effectief tegen het mitigerende onderdeel, met een ASR tot 30,7%.
• Mechanisme: In alle succesvolle gevallen werd de toxische conceptscore onder de drempel onderdrukt (0% detectie), terwijl het jailbreak-concept actief bleef (100% detectie), wat de exploitatie van de EN-poortlogica bevestigt.
• Gevoeligheid voor Kalibratie: De aanval bleef bestaan bij herberekening met variërende kalibratiesetgroottes ($N=10$ tot $50$), wat bevestigt dat de kwetsbaarheid structureel is en niet specifiek voor de kalibratie.

4.2 Prestaties van de Verdediging (RTV)

• Tegen JB-GCG: RTV detecteerde 100% van de 164 JB-GCG-adversariële prompts (ASR 0,0%) bij een False Positive Rate (FPR) van 5%, met een AUROC van 0,9946.
• Generalisatie: RTV werd getest tegen negen standaard jailbreak-aanvallen (bijvoorbeeld GCG, PAIR, AutoDAN). Het bereikte perfecte of bijna-perfecte detectie bij vijf aanvallen en kwam overeen met of overtrof JBShield-D bij de meeste. Het had moeite met PAIR (58% detectie), wat natuurlijke prompts genereert die dicht bij de onschadelijke verdeling liggen, een beperking die ook JBShield deelt.
• Adaptieve Robuustheid: Onder een volledige white-box adaptieve aanval (ML-GCG) gericht op RTV:
  • De beste aanval bereikte slechts 7,0% ASR.
  • Dit vereiste 13× de rekenkosten (gemiddeld 514,5 iteraties versus 39,6 voor de baseline).
  • De aanval slaagde er niet in oplossingen te vinden voor de meeste prompts, omdat de doelen van "onderdrukken van weigering" (vereist voor jailbreaking) en "matchen van de onschadelijke vingerafdruk" (vereist voor ontwijking) fundamenteel conflicterend zijn.

5. Betekenis en Claims

Het artikel betoogt dat sterke niet-adaptieve detectie geen robuustheid impliceert onder adaptieve bedreigingsmodellen. De primaire betekenis ligt in het verschuiven van het paradigma van verdediging op representatieniveau van inspectie op één laag en één concept naar multi-layer representatieconsistentie.

• Structurele Verdediging: De auteurs beweren dat de robuustheid van RTV voortkomt uit de "vingerafdrukspanning" – de onmogelijkheid voor een aanvaller om gelijktijdig de weigeringsrichting te onderdrukken (om te jailbreaken) en de positieve uitlijning die kenmerkend is voor onschadelijke invoer over meerdere lagen te behouden.
• Beperkingen: De auteurs erkennen bescheiden dat:
  • Experimenten beperkt zijn tot Llama-3-8B; generalisatie naar andere architecturen vereist herberekening.
  • Natuurlijke aanvallen zoals PAIR een uitdaging blijven voor detectoren op representatieniveau.
  • Een niet-nul adaptieve ASR (7%) overblijft, wat suggereert dat hoewel de verdediging robuust is, deze niet perfect is.
  • De verdediging afhankelijk is van statische kalibratie en mogelijk periodieke updates vereist voor verschuivingen in verdeling.

Het artikel concludeert dat multi-layer representatieconsistentie een betrouwbaardere basis biedt voor jailbreak-detectie dan gelijkenis van concepten op één laag, mits de verdediging wordt geëvalueerd tegen adaptieve tegenstanders.