Jailbreaking Leaves a Trace: Understanding and Detecting Jailbreak Attacks from Internal Representations of Large Language Models

1. Het Probleem

Grote Taalmodellen (LLMs) worden steeds vaker ingezet, maar ze zijn kwetsbaar voor jailbreaking. Dit is een aanvalstechniek waarbij kwaadwillende gebruikers zorgvuldig ontworpen prompts gebruiken om de ingebouwde veiligheidsmechanismen van het model te omzeilen en beperkte of onveilige output te genereren.

Bestaande verdedigingsstrategieën (zoals prompt-filtering, RLHF, of hulpmodellen) hebben beperkingen:

• Ze zijn vaak kwetsbaar voor adaptieve aanvalsmethoden.
• Ze werken op het niveau van de invoer of uitvoer (oppervlakkig), en negeren wat er intern in het model gebeurt.
• Ze vereisen vaak extra rekentijd, fine-tuning of hulpmodellen.

De auteurs stellen dat jailbreak-prompten een uniek signaal achterlaten in de interne representaties van het model, onafhankelijk van de uiteindelijke tekstoutput.

2. Methodologie

De paper introduceert een raamwerk dat zich richt op de interne laagactivaties van LLMs om jailbreaks te detecteren en te neutraliseren. De aanpak bestaat uit twee hoofdfasen:

A. Analyse van Interne Representaties (Detectie)

• Data-extractie: De auteurs extraheren interne representaties (multi-head self-attention outputs en hidden states/layer outputs) van diverse modellen, waaronder GPT-J, LLaMA, Mistral en Mamba2 (zowel base, instruction-tuned als 'abliterated' versies).
• Tensoren Constructie: Voor een set prompts worden deze representaties gestapeld tot een 3-dimensionale tensor met de dimensies: Aantal prompts (N) × Sequentielengte (T) × Hidden dimensie (d).
• Tensor Decompositie (CP): Er wordt CANDECOMP/PARAFAC (CP) decompositie toegepast op deze tensoren. Dit ontbindt de tensor in lage-rang factoren die de onderliggende patronen in de latentruimte blootleggen.
  • De factor die correspondeert met de "prompt-mode" vangt de structurele verschillen op tussen normale en jailbreak-prompten.
• Classificatie: Een lichtgewicht classifier wordt getraind op deze latent-factoren om te bepalen of een prompt een jailbreak is. Dit gebeurt per laag om te zien waar het onderscheidend vermogen het grootst is.

B. Mitigatie via Laag-omzeiling (Layer Bypass)

• Kwetsbaarheidsanalyse: De analyse toont aan dat bepaalde lagen in het model gevoeliger zijn voor jailbreak-patronen dan andere.
• Inference-time Interventie: Tijdens het genereren van output wordt voor elke nieuwe prompt de interne representatie geprojecteerd op de eerder geleerde latent-factoren.
• Selectieve Bypass: Als een specifieke laag een hoge waarschijnlijkheid toont van een jailbreak-signaal (boven een drempelwaarde), wordt deze laag geïgnoreerd (bypassed). De output van die laag wordt overgeslagen en de input van de volgende laag wordt direct gekoppeld aan de output van de vorige laag (of een alternatieve route).
• Doel: Dit onderbreekt de verspreiding van het kwaadaardige signaal zonder het model opnieuw te trainen of de output te filteren.

3. Belangrijkste Bijdragen

1. Laag-specifieke Jailbreak-Signaturen: Het bewijs dat jailbreak- en normale prompten onderscheidende, laag-afhankelijke latent-signalen hebben die consistent zijn over verschillende modelarchitecturen (Transformer en State-Space modellen).
2. Tensor-gebaseerd Raamwerk: Een methode die tensor-decompositie gebruikt om deze structuren te onthullen zonder zware berekeningen of fine-tuning.
3. Actieve Mitigatie zonder Fine-tuning: Een nieuwe verdedigingsstrategie die jailbreaks actief blokkeert tijdens de inferentie door kwetsbare lagen te omzeilen. Dit vereist geen extra modellen of parameter-aanpassingen.
4. Interpretatie van Aanvalsdynamiek: Inzicht in hoe jailbreaks het model beïnvloeden; het blijkt dat ze leiden tot gerichte herschikking van de aandacht (attention) en lokale verschuivingen in activaties, in plaats van globale storingen.

4. Resultaten

De experimenten zijn uitgevoerd op een Abliterated LLaMA 3.1 8B model (een model waarbij veiligheidsfinetuning is verwijderd om de effectiviteit van de methode zuiver te testen).

• Detectie: De CP-decompositie en de daaropvolgende classifier konden jailbreaks en normale prompts zeer betrouwbaar scheiden in de latentruimte, zelfs in vroege lagen van het model.
• Mitigatie Effectiviteit:
  • Door lagen met een hoge "jailbreak-probabiliteit" te omzeilen, werden 78% van de jailbreak-pogingen geblokkeerd (True Positives).
  • Tegelijkertijd bleef 94% van de normale (benign) prompts ongestoord functioneren (True Negatives).
  • De aanvalsuccesratio (ASR) daalde van 100% naar 22%.
• Vergelijking: Het omzeilen van alleen de attention-mechanismen (MHA) was minder effectief (39% ASR) dan het omzeilen van de volledige laagoutput, wat suggereert dat de jailbreak-informatie zich breder verspreidt in de hidden states.
• Foutanalyse: De mislukte blokkades (22%) waren vaak gerelateerd aan prompts die de identiteit van het model permanent probeerden te herschrijven (persona-injecties) of waarbij de aanval over veel lagen verspreid was, waardoor geen enkele laag de drempelwaarde voor blokkage bereikte.

5. Betekenis en Conclusie

Deze studie biedt een fundamenteel nieuw perspectief op LLM-beveiliging:

• Architectuur-onafhankelijk: De methode werkt over verschillende modeltypen (Transformer, Mamba) en trainingsfasen (base, instruct, abliterated).
• Efficiënt: Het is een "lightweight" oplossing die geen extra inferentiële overhead veroorzaakt door zware classificatiemodellen, maar alleen door het overslaan van lagen.
• Complementair: Het vult bestaande verdedigingen aan door in te grijpen op het niveau van de interne representaties, waar de "intentie" van de aanval zichtbaar wordt voordat de schadelijke tekst wordt gegenereerd.

De conclusie is dat jailbreaking een waarneembaar spoor ("trace") achterlaat in de interne structuur van LLMs. Door deze signalen te monitoren en te manipuleren, kan men een schaalbare en robuuste verdediging bouwen die minder afhankelijk is van oppervlakkige tekstfiltering.