Technische Samenvatting: Detectie van Jailbreaks via Entropiedynamiek in Tussenliggende Lagen

1. Probleemstelling

Jailbreak-aanvallen misbruiken Large Language Models (LLM's) om veiligheidstraining te omzeilen en beleidsoverschrijdende reacties uit te lokken, ondanks inspanningen voor alignment. Terwijl bestaande verdedigingen opereren op promptniveau (filters), outputniveau (inspectie van reacties), of via gesuperviseerde classificatieven, blijft de interne codering van kwaadwillende intentie slecht begrepen. Specifiek is het onduidelijk hoe adversariële intentie wordt gerepresenteerd binnen de latente ruimte van het model, hoe dit signaal evolueert over tokenposities heen, en op welke diepte binnen de transformer-architectuur deze informatie het meest onderscheidbaar is van benigne inputs.

Huidige methoden die vertrouwen op statische geaggregeerde statistieken (bijv. gemiddelde perplexiteit of entropie) slagen er vaak niet in om de genuanceerde, gelokaliseerde interacties tussen tokens en de interne staat van het model te vangen die karakteristiek zijn voor jailbreak-pogingen. Dit artikel stelt dat jailbreak-gedrag niet louter een verschuiving is in algemene onzekerheidsniveaus, maar een gestructureerde dynamiek induceert in de wijze waarop voorspellende entropie evolueert naarmate een prompt zich ontvouwt.

2. Methodologie

De auteurs stellen een training-vrij framework voor dat de token-niveau voorspellende entropie-trajecten analyseert binnen de tussenliggende lagen van een bevroren LLM. De aanpak steunt op de volgende componenten:

2.1 Extractie van Entropie in Tussenliggende Lagen (Logit Lens)

In plaats van te wachten op de uiteindelijke output, projecteert de methode de tussenliggende verborgen toestanden ($h_t^{(\ell)}$) op specifieke lagen $\ell$ direct naar de vocabulaire-ruimte met behulp van de finale unembedding-matrix ($W_U$) van het model. Deze "logit lens"-techniek genereert een waarschijnlijkheidsverdeling $p^{(\ell)}(\cdot | x_{<t})$ voor de volgende token bij elke tussenliggende stap.
De Shannon-entropie $H_t^{(\ell)}$ wordt vervolgens berekend voor elke tokenpositie $t$ op deze probe-lagen, wat een entropie-traject creëert: $H^{(\ell)} = (H_1^{(\ell)}, \dots, H_{T-1}^{(\ell)})$.

2.2 Feature Constructie

Het framework onderscheidt twee families van features afgeleid van deze trajecten:

• Statische (Level) Features: Geaggregeerde statistieken die de omvang van de onzekerheid over de prompt samenvatten, zoals gemiddelde, maximum, standaarddeviatie en minimum.
• Dynamische (Trend) Features: Metrieken die de directionele evolutie van onzekerheid over tokenposities vastleggen. Belangrijke features zijn onder meer:
  • Kendall's $\tau$: Rangcorrelatie tussen entropiewaarden en tokenposities.
  • Spearman's $\rho$: Pearson-correlatie van ranggetransformeerde entropie en tokenposities.
  • Monotoniciteit: Het fractie van opeenvolgende tokenparen waarbij de entropie in een specifieke "schadelijke" richting ($d$) beweegt, die empirisch per model wordt bepaald (bijv. omlaag voor Llama/Qwen, omhoog voor Gemma).

2.3 Evaluatieprotocol

De studie evalueert deze features op een bevroren model tijdens een enkele forward pass. De detectieprestaties worden gemeten via de directionele Area Under the ROC Curve (AUROC), berekend in de natuurlijke schadelijke richting van het model. De evaluatie beslaat drie open-source modellen (Llama-3.1-8B, Qwen3-8B, Gemma-7b) en meerdere adversariële benchmarks (AdvBench, HarmBench, StrongREJECT) tegenover benigne datasets (UltraChat, WildJailbreak, JailbreakBench).

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Training-vrije Analyse: Introduceert een methode om jailbreak-signalen te detecteren met enkel tussenliggende activaties, zonder classifiers te finetunen of outputs te analyseren.
2. Dynamisch versus Statisch Signaal: Demonstreert dat de onderscheidende kracht primair ligt in dynamische traject-features (monotoniciteit, ranggebaseerde trends) in plaats van statische geaggregeerde entropie-statistieken.
3. Diepte-afhankelijke Lokalisatie: Identificeert dat het jailbreak-signaal geconcentreerd is in tussenliggende lagen (ongeveer 50–85% van de netwerkdiepte) en significant degradeert in de finale laag, wat suggereert dat schadelijke intentie wordt gecodeerd in semantische representaties halverwege het netwerk voordat deze wordt getransformeerd door output-specifieke verwerking.

4. Empirische Resultaten

4.1 Dynamische Features Presteren Beter dan Statische Aggregaten

Over alle modellen heen scheidden dynamische trend-features de jailbreak-prompts consistent van de benigne prompts, terwijl statische features (gemiddelde, max entropie) een hoge variantie en slechte cross-model generalisatie vertoenden.

• Monotoniciteit behaalde de hoogste gemiddelde AUROC op Llama (0.941) en Qwen (0.941).
• Kendall's $\tau$ en Spearman's $\rho$ boden een robuuste, architectuur-consistente scheiding (gemiddelde AUROC $\approx$ 0.78–0.80) met een bijna nul-variantie tussen modellen, wat aangeeft dat de structuur van de entropie-evolutie een overdraagbaar signaal is, ongeacht de absolute schaal van de entropie.

4.2 Signaalconcentratie in Tussenliggende Lagen

Het onderscheidende signaal is niet uniform over de diepte verdeeld.

• Intermediaire Peak: Features zoals monotoniciteit en Kendall's $\tau$ piekten in de tussenliggende lagen (bijv. Laag 22 van 32 voor Llama, Laag 25 van 36 voor Qwen).
• Degradatie in de Finale Laag: De prestaties daalden scherp in de finale laag. Voor Gemma daalde Kendall's $\tau$ van 0.796 in de tussenliggende laag naar 0.458 in de finale laag. Dit suggereert dat de finale laag de adversariële structuur die aanwezig is in eerdere representaties actief onderdrukt of reorganiseert.
• Contrast met Statische Features: Statische features (zoals gemiddelde entropie) vertoonden de tegenovergestelde trend en presteerden vaak het best in de finale laag, wat bevestigt dat ze andere computationele eigenschappen vastleggen dan dynamische trends.

4.3 Generalisatie en Adversariële Controles

• Cross-Model Consistentie: Ranggebaseerde features generaliseerden goed over Llama, Qwen en Gemma, ondanks verschillen in trainingspipelines en aantal lagen.
• Adversariële Controle (JailbreakBench Benign): Wanneer de benigne set bestond uit "JailbreakBench benign" prompts (bewust ontworpen om de structuur van schadelijke verzoeken na te bootsen zonder schadelijke intentie), stortte de AUROC in (dalend naar ~0.35). Dit geeft aan dat het signaal de structurele prompt-compositie detecteert in plaats van semantische schadelijkheid. Wanneer benigne inputs structureel lijken op jailbreaks, worden de interne dynamieken ononderscheidbaar.

5. Betekenis en Claims

Het artikel claimt dat jailbreak-gedrag in gealigneerde LLM's wordt weerspiegeld in gestructureerde tussenliggende onzekerheidsdynamiek. Specifiek:

• Interpretabiliteit: De bevindingen verhelderen waar (tussenliggende lagen) en hoe (monotone entropie-trends) schadelijke intentie wordt gecodeerd, wat een diagnostisch venster biedt in de interne werking van het model.
• Architectuur Consistentie: Het signaal is een emergente eigenschap van mid-network representaties die standhoudt over verschillende modelfamilies (Llama, Qwen, Gemma) zonder extra training.
• Beperkingen en Reikwijdte: De auteurs kaderen dit bescheiden als een diagnostische karakterisering in plaats van een volwaardige, klaar voor implementatie detector. Zij erkennen dat de methode toegang tot witte-doos-activaties vereist en dat de effectiviteit afhangt van de distributie van benigne prompts. Als benigne prompts structureel lijken op jailbreaks, degradeert het signaal. Bovendien leunt de methode op logit lens-projecties, wat vervormingen kan introduceren door mismatch in representatie.

Concluderend stelt de studie vast dat het monitoren van de evolutie van token-niveau voorspellende entropie in tussenliggende lagen een robuust, training-vrij signaal biedt voor het identificeren van de structurele patronen die geassocieerd worden met jailbreak-pogingen, wat verschilt van de statische onzekerheidsniveaus die gebruikt worden bij traditionele perplexiteit-gebaseerde detectie.