Technische Samenvatting: Detectie van Vloeiende Op Optimalisatie Gebaseerde Adversariële Prompts via Sequentiële Entropieveranderingen

1. Probleemstelling

Grote Taalmodellen (LLM's) blijven kwetsbaar voor op optimalisatie gebaseerde adversariële suffixen. In tegenstelling tot door mensen gemaakte jailbreaks, worden deze aanvallen (bijv. GCG, AutoDAN, AdvPrompter) automatisch gegenereerd om uitgelijnde modellen te dwingen veiligheidsbeleid te schenden, terwijl een hoge vloeiendheid behouden blijft.

Bestaande verdedigingen staan voor twee primaire beperkingen:

1. Statistische Detectoren (Op Perplexiteit Gebaseerd): Methoden die vertrouwen op globale perplexiteit (PP) of venster-gebaseerde perplexiteit (WPP) gaan ervan uit dat adversariële tokens statistisch onwaarschijnlijk of niet-vloeiend zijn. Echter, moderne aanvallen optimaliseren expliciet voor lage perplexiteit en natuurlijkheid, waardoor de globale PP vaak binnen het bereik van onschadelijke prompts blijft, wat deze detectoren inefficiënt maakt.
2. Veiligheidsclassificatoren (Guard-modellen): Modellen zoals LLaMA Guard bieden sterke semantische detectie, maar introduceren aanzienlijke latentie, geheugenoverhead en complexiteit in de bediening. Bovendien werken ze op het niveau van de prompt en kunnen ze niet lokaliseren waar een adversariële suffix begint binnen de inputstroom.

De kernuitdaging is het detecteren en lokaliseren van deze vloeiende, op optimalisatie gebaseerde suffixen in real-time, zonder te vertrouwen op statische perplexiteitsdrempels of dure auxiliary modellen.

2. Methodologie: CPD Online

De auteurs stellen CPD Online voor, een lichtgewicht, trainingsvrije detector die de detectie van adversariële suffixen formuleert als een online change-point detection (CPD)-probleem over de token-niveau stroom van next-token entropie.

Kernmechanisme

De methode werkt op de observatie dat, terwijl onschadelijke gebruikersinput een entropieverdeling deelt die vergelijkbaar is met de systeemprompt, op optimalisatie gebaseerde adversariële suffixen een persistent verschuiving veroorzaken in de token-entropiestroom, zelfs wanneer de globale perplexiteit onopvallend blijft.

Het detectieproces bestaat uit drie stappen:

1. Robuuste Basisschatting:
   • De vaste systeemprompt wordt gebruikt om een deployingspecifieke entropie-basislijn vast te stellen.
   • De mediaan ($\hat{\mu}_0$) en de Mediaan Absolute Afwijking ($\hat{\sigma}_0$) van de token-entropieën van de systeemprompt worden berekend om een robuuste locatie en schaal te definiëren.
2. Standaardisatie:
   • Gebruiker-token-entropieën ($H^{usr}_t$) worden gestandaardiseerd tegen de basislijn: $Z_t = (H^{usr}_t - \hat{\mu}_0) / \hat{\sigma}_0$.
   • Onder onschadelijke omstandigheden fluctueert $Z_t$ rond nul. Een adversariële suffix veroorzaakt een aanhoudende positieve verschuiving in het gemiddelde van $Z_t$.
3. Eenzijdige Page CUSUM-test:
   • Een klassieke eenzijdige Page CUSUM-statistiek ($W^+_t$) wordt toegepast op de gestandaardiseerde stroom om persistente gemiddelde verschuivingen te detecteren:
     $$W^+_t = \max\{0, W^+_{t-1} + Z_t - k\}$$
     waarbij $k \ge 0$ een "slack"-parameter is (canonieke instelling $k=0$).
   • Een alarm wordt afgegeven bij de stop-tijd $\tau$ wanneer $W^+_t$ een drempel $h$ overschrijdt.
   • Lokalisatie: Het begin van de suffix ($\hat{\nu}$) wordt geschat door terug te zoeken naar het laatste resetpunt waar $W^+_t = 0$ was voordat het alarm afging.

Operationele Kenmerken

• Modelonafhankelijk: Vereist alleen toegang tot next-token-kansen (of logits) op token-niveau van het basismodel.
• Trainingsvrij: Er is geen extra training of auxiliary netwerken vereist.
• Online en Lage Overhead: Werkt sequentieel tijdens de forward pass met $O(1)$ complexiteit per token en een verwaarloosbare geheugenfootprint.
• Hybride Gating: Kan fungeren als een lichtgewicht gate om onschadelijk verkeer te filteren voordat dure veiligheidsclassificatoren zoals LLaMA Guard worden aangeroepen.

3. Belangrijkste Bijdragen

1. Formulering: Het artikel formuleert de detectie van adversariële suffixen als een online change-point detection-probleem op token-niveau entropiestromen, en toont aan dat entropieverschuivingen een robuuster signaal zijn dan statische perplexiteit voor vloeiende aanvallen.
2. Algoritme: De concretisering van CPD Online als een eenzijdige Page-CUSUM-detector met behulp van op de systeemprompt gebaseerde MAD-statistieken. Het is lichtgewicht, vereist geen training en maakt gebruik van grootheden die beschikbaar zijn in standaard forward passes.
3. Empirische Prestaties: Op een benchmark van 1.012 op optimalisatie gebaseerde aanvallen (over GCG, AutoDAN, AdvPrompter, BEAST, AutoDAN-HGA) en 1.012 perplexiteit-gematchte onschadelijke prompts, presteerde CPD Online consequent beter dan de sterkste venster-gebaseerde perplexiteit (WPP)-baselines over zes open-weight chatmodellen (LLaMA-2, Vicuna, Qwen2.5).
4. Lokalisatie: In tegenstelling tot WPP, dat vaak activeert op vensters die de suffixgrens overspannen, concentreert CPD 79,6% van zijn triggers binnen de adversariële suffix, waardoor een precieze token-niveau lokalisatie mogelijk is.
5. Efficiëntie: Wanneer gebruikt als gate voor LLaMA Guard, reduceert CPD de oproepen aan de guard met 17–22% (tot 42,2% in stress-tests met hoog volume) terwijl de detectiekwaliteit behouden blijft.

4. Experimentele Resultaten

De evaluatie werd uitgevoerd op zes basis-LLM's (LLaMA-2-7B/13B, Vicuna-7B/13B, Qwen2.5-7B/14B) met behulp van een perplexiteit-gematchte benchmark ($\alpha=1$), waarbij onschadelijke prompts worden bemonsterd om de perplexiteitsverdeling van op vloeiendheid geoptimaliseerde aanvallen te matchen.

• Detectienauwkeurigheid (F1): CPD Online behaalde de hoogste F1-scores op alle zes modellen.
  • Voorbeeld (LLaMA-2-7B): CPD bereikte F1 0,82 en AUROC 0,88, vergeleken met de beste WPP-baseline (WPP15) met F1 0,74 en AUROC 0,77. Globale perplexiteit (PP) presteerde dichtbij willekeurige kans (AUROC ~0,46).
• Lokalisatieprecisie:
  • CPD activeerde 79,6% van de tijd binnen de suffix.
  • WPP-baselines activeerden slechts 17–46% van de tijd binnen de suffix, met aanzienlijke "boundary smearing" (triggers in de before+in-categorie) en hoge lekkage naar onschadelijke gebieden (in-benign).
• Robuustheid tegen Perplexiteitsverschuivingen: In stress-tests waarbij onschadelijke prompts werden verschoven naar hogere perplexiteit ($\alpha=2, 3$), behield CPD zijn prestaties of verbeterde deze, terwijl WPP significant degradeerde (AUROC daalde van 0,81 naar 0,67 bij $\alpha=3$).
• Hybride Gating: In een deployment-scenario met 17.297 prompts (voornamelijk onschadelijk), reduceerde CPD-gating de LLaMA Guard-oproepen met 42,2% (voor LG1) en 33,8% (voor LG2) terwijl de hybride F1-score behouden bleef.

5. Betekenis en Claims

Het artikel claimt het eerste werk te zijn dat online change-point detection toepast binnen één verzoek (systeem + gebruikers-tokenstroom) op token-niveau om adversariële suffixen te detecteren en te lokaliseren in ingezette LLM's.

Betekenis:

• Voorbij Statische Heuristieken: Het toont aan dat sequentiële entropiedynamiek, in plaats van absolute perplexiteitswaarden, het onderscheidende kenmerk is van op optimalisatie gebaseerde aanvallen.
• Praktische Implementatie: Door trainingsvrij en modelonafhankelijk te zijn, biedt het een haalbare oplossing voor real-time monitoring zonder de computatiekosten van het draaien van een tweede LLM (Guard) op elk verzoek.
• Precisie: Het vermogen om het exacte begin van een aanval te lokaliseren, maakt gerichte mitigatiestrategieën mogelijk in plaats van een blinde afwijzing van de hele prompt.

Erkende Beperkingen:

• De methode is afhankelijk van token-niveau kansen, die mogelijk niet beschikbaar zijn in gesloten API-omgevingen.
• Het gaat uit van een vaste systeemprompt voor basislijncalibratie; sterke distributieverschuivingen in onschadelijk verkeer zouden herkalibratie kunnen vereisen.
• Het dreigingsmodel is momenteel beperkt tot op optimalisatie gebaseerde suffixen die aan gebruikersprompts worden toegevoegd, niet tot prefix-aanvallen of indirecte prompt-injectie.

De auteurs concluderen dat dit werk verdere exploratie aanmoedigt van sequentiële statistische hulpmiddelen en interne onzekerheidsdynamiek als rijke signalen voor LLM-veiligheid.