Technische Samenvatting: Voorbij de Aanvalsuccesratio: Temporele Logit-observabiliteit voor LLM-veiligheidsfalen

Probleemstelling

De huidige veiligheidsbeoordeling voor afgestemde Large Language Models (LLM's) steunt voornamelijk op de Aanvalsuccesratio (ASR). ASR biedt een binaire, uitkomstgerichte beoordeling (succes/mislukking) die wordt berekend aan het einde van de generatie. Hoewel deze metriek operationeel aantrekkelijk is, behandelt hij het decoderingsproces als een black box en verworpt hij de token-niveau trajecten waarmee een model tot zijn uiteindelijke reactie komt.

Het artikel betoogt dat ASR structureel beperkt is: verschillende aanvallen tegen hetzelfde schadelijke prompt kunnen identieke uiteindelijke reacties (en dus identieke ASR-labels) opleveren, ondanks dat ze fundamenteel verschillende interne processen volgen. Een weigering kan bijvoorbeeld kort worden geactiveerd en onderdrukt, te laat verschijnen om schade te voorkomen, of helemaal niet worden geactiveerd. Omdat ASR deze verschillende temporele dynamieken reduceert tot één getal, maakt hij geen onderscheid tussen model-aanvalparen die verschillende verdedigingsstrategieën vereisen. Bovendien vereisen bestaande methoden om deze verborgen structuur te herstellen (bijvoorbeeld hidden-state probes) toegang tot modelactivaties, wat in real-world audit-scenario's vaak niet beschikbaar is.

Methodologie: Temporele Logit-observabiliteit (TLO)

De auteurs stellen Temporele Logit-observabiliteit (TLO) voor, een trainingsvrij, diagnostisch protocol dat de temporele dynamiek van veiligheidsfalen reconstrueert uitsluitend aan de hand van logits, zonder toegang tot hidden states of modelgewichten.

Kerncomponenten

1. Logit-Margin Score (LMS):
   TLO meet de balans tussen compliance en weigering bij elke decoderingsstap $t$ met behulp van een vast Engels lexicon van compliance-tokens ($L_{cmp}$) en weigerings-tokens ($L_{ref}$).
   $$S_t = \mu_{cmp}(t) - \mu_{ref}(t)$$
   Waar $\mu$ het gemiddelde logit-score voorstelt van de top-$k$ tokens binnen het respectieve lexicon. Een positieve $S_t$ duidt op dominantie van compliance; een negatieve $S_t$ duidt op dominantie van weigering.

2. Temporele Samenvattingen:
   Het protocol extraheren twee primaire observaties uit de LMS-traject $S_{0:T}$:

   • Pre-generatie ($S_0$): De logit-marge op de laatste promptpositie voordat er een reactietoken wordt gegenereerd.
   • Tijd van generatie ($\bar{S}$): De gemiddelde logit-marge over de gegenereerde sequentie (met varianten voor vroege vensters, bijvoorbeeld $\bar{S}_{1:5}$).
   • Activeringstijdstip ($t_{cross}$): De eerste stap waarbij het traject de overgang maakt naar weigering-dominantie ($S_t < 0$).

3. Relatieve Positie (RP) Kalibratie:
   Om observaties vergelijkbaar te maken over verschillende modellen, aanvallen en promptformaten, kalibreert TLO ruwe logitsignalen tegen referentieverdelingen.
   $$RP(M) = \frac{M_{succes} - M_{schadelijk}}{M_{onschuldig} - M_{schadelijk}}$$
   Waar $M$ het gemiddelde van de metriek (bijvoorbeeld $S_0$ of $\bar{S}$) voorstelt over succesvolle aanvallen, alle schadelijke samples en aanval-geformatteerde onschuldige referenties.

   • $RP = 0$ duidt op gedrag dat lijkt op het schadelijke anker.
   • $RP = 1$ duidt op gedrag dat lijkt op het onschuldige anker.
   • Waarden buiten $[0, 1]$ worden gerapporteerd als waargenomen inversies.

4. Het RP-Vlak:
   Elke model-aanvalconditie wordt gemapt naar een 2D-coördinaat $c = (RPA, RPB)$, waarbij $RPA$ de gekalibreerde pre-generatiepositie is en $RPB$ de gekalibreerde tijdspositie van generatie. De Euklidische afstand tussen condities ($D_{RP}$) kwantificeert de temporele scheiding van veiligheidsfalen.

Belangrijkste Bijdragen

1. Gekalibreerde Temporele Coördinaten uit Logits: Het artikel introduceert het RP-vlak coördinatenstelsel, dat de LMS-traject samenvat tot een gekalibreerde 2D-ruimte. Dit ontwerp is complementair aan ASR: RP-verplaatsing is begrensd door $(1-ASR)$, wat betekent dat het het primaire signaal draagt in mid-ASR-condities waar ASR alleen het minst informatief is over waarom een aanval slaagde.
2. Herstel van Onzichtbare Interacties: TLO onthult dat condities met bijna identieke ASR verschillende locaties innemen in het RP-vlak. Dezelfde aanvalsfamilie produceert verschillende temporele handtekeningen over modellen heen, en hetzelfde model behandelt verschillende aanvallen via verschillende temporele mechanismen.
3. Alignatie met Hidden States: De op logits gebaseerde traject aligneert met hidden-state weigeringsrichtingen bij 10 van de 12 geteste model-aanvalcondities, wat valideert dat de waarneembare logitsignalen veiligheidsrelevante informatie dragen ondanks het ontbreken van toegang tot activaties.
4. Interventie op Decoderingstijd: Een eenvoudige early-stopregel afgeleid van het temporele signaal (stoppen met genereren als $t_{cross} > 5$) verlaagt de geaggregeerde ASR van 39,6% naar 13,1% zonder valse alarmen te genereren bij gewone onschuldige queries.

Experimentele Resultaten

De auteurs evalueerden TLO op een raster van vier afgestemde LLM's (Llama, Mistral, Qwen, Gemma) en drie jailbreak-paradigma's (MCM, GCG, DeepInception) met 60 schadelijke prompts per conditie.

• Differentiatie van ASR-buren: Aanvallen met bijna identieke ASR (bijvoorbeeld Llama+DI op 55,0% versus Qwen+DI op 58,3%) werden gescheiden door een gekalibreerde afstand van $D_{RP} = 0,572$. Nog opvallender: Llama+DI (55,0%) en Mistral+GCG (56,7%) scheidden met $D_{RP} = 1,014$, wat aantoont dat het RP-vlak structurele verschillen vastlegt die voor ASR onzichtbaar zijn.
• Temporele Scheiding: Succesvolle jailbreaks vertraagden of vermeden doorgaans de overgang naar weigering-dominantie, terwijl mislukte jailbreaks vroeg de overgang naar weigering-dominantie maakten (vaak binnen de eerste 5 tokens). Het traject scheidde uitkomsten met een Cohen's $d > 1,0$ en een ROC-AUC van 0,771–0,784.
• Alignatie met Hidden States: De correlatie tussen de logit-marge ($S_t$) en hidden-state weigeringsprojecties was sterk voor Llama ($|\rho| \ge 0,70$) en gemiddeld voor Mistral en Gemma. Qwen toonde een model-specifieke grens waar het verwachte teken omkeerde voor sommige aanvallen, wat de beperkingen van een vast-lexicon-aanpak voor bepaalde architecturen benadrukt.
• Effectiviteit van Interventie: Het toepassen van een uniforme early-stopregel gebaseerd op $t_{cross}$ verlaagde de geaggregeerde ASR met 26,5 procentpunten. De interventie was het meest effectief in "Null-generatie Bias" (NGB) condities (waarbij RP-geometrie per ontwerp oninformatief is), wat suggereert dat wanneer temporele signalen zwak zijn, het ruwe ASR-signaal domineert en uniform stoppen effectief is.
• Robuustheid: De resultaten bleven stabiel over decoderingsrandomness, lexicon-perturbaties en strengere kruisingscriteria. De methode vereiste volledige logits of gerichte log-probabiliteiten van lexicon-tokens; standaard top-$k$ outputs (bijvoorbeeld $k=20$) waren onvoldoende.

Betekenis en Claims

Het artikel positioneert TLO niet als vervanging voor ASR, maar als een noodzakelijke diagnostische laag die het "wanneer en hoe" van veiligheidsfalen waarneembaar maakt.

• Observabiliteitskloof: De auteurs beweren dat veiligheidsbeoordeling de ontvouwing van een falen moet rapporteren, niet alleen het optreden ervan. TLO biedt de eerste methode om deze temporele dynamieken waar te nemen met uitsluitend standaard logits, een vermogen dat eerder beperkt was tot diegenen met toegang tot hidden states.
• Complementariteit: Het RP-vlak is ontworpen om het meest informatief te zijn precies waar ASR het minst informatief is (mid-ASR-condities). Het blootlegt de heterogeniteit van model-aanvalinteracties die uitkomstmetrieken samenvoegen.
• Handelbaar Monitoring: De studie toont aan dat gekalibreerde logit-geometrie effectief monitoring op decoderingstijd kan sturen (early stopping) zonder aanval-specifieke tuning, wat succesvolle jailbreaks aanzienlijk vermindert terwijl het nul valse positieven behoudt bij format-vrije onschuldige queries.
• Beperkingen: De auteurs merken expliciet op dat TLO observationeel is, niet causaal; het identificeert wanneer veiligheidsbewijs verschijnt, maar identificeert niet de onderliggende neurale circuits. De methode is momenteel het meest toepasbaar op open-weight Engels auditing, omdat het afhankelijk is van een vast Engels lexicon en volledige logit-toegang, wat mogelijk niet beschikbaar is in API-beperkte omgevingen.