Layerwise Convergence Fingerprints for Runtime Misbehavior Detection in Large Language Models

1. Probleemstelling

Grootte Taalmodellen (LLM's) die in productie worden ingezet, staan bloot aan drie distincte klassen van runtime-bedreigingen die standaardvalidatie met schone data vaak niet detecteert:

1. Backdoors tijdens het trainen: Kwaadaardige fine-tuning (bijvoorbeeld via LoRA) die sluimert totdat een specifieke trigger aanwezig is, waardoor het model door de aanvaller gekozen gedrag gaat uitvoeren.
2. Jailbreaks: Adversariële prompts (zoals "DAN"-rollenspellen of met gradiënten geoptimaliseerde suffixen) die de veiligheidsuitlijning ondermijnen.
3. Prompt-injecties: Instructies die zijn ingebed in gebruikersinhoud (zoals e-mails of codefragmenten) en de beoogde taak van het systeem overschrijven.

Beperkingen van bestaande verdedigingen:
Huidige runtime-verdedigingen zijn vaak specifiek voor een bepaalde bedreiging, vereisen een vertrouwde "schone" referentiemodel, hebben kennis nodig van trigger-tokens, of vereisen het aanpassen van de gewichten van het model (fine-tuning/pruning). Deze aannames gelden zelden voor ondoorzichtige, door derden geleverde artefacten die in cloud- of edge-omgevingen worden ingezet. Er is behoefte aan een instel-vrije, bedreigings-agnostische, white-box monitor die werkt zonder hertraining of externe modellen.

2. Methodologie: Layerwise Convergence Fingerprinting (LCF)

De auteurs stellen LCF voor, een runtime-monitor die de trajecten van verborgen toestanden tussen transformer-lagen behandelt als een "gezondheidssignaal". De kernintuïtie is dat tijdens schone inferentie verborgen toestanden soepel evolueren; gedrag veroorzakende inputs veroorzaken abnormale "sprongen" in deze inter-lage verschillen.

Belangrijkste Componenten:

1. Representatie-snelheid ($\delta_\ell$):
   In plaats van ruwe activaties te monitoren, berekent LCF het verschil tussen verborgen toestanden van aangrenzende lagen:
   $$\delta_\ell = h_{\ell+1} - h_\ell$$
   Dit vangt de "snelheid" van representatie-maturatie op.

2. Per-lage Anomalie-score (Diagonale Mahalanobis):
   Voor elke laag $\ell$ berekent LCF een Mahalanobis-afstand op $\delta_\ell$. Cruciaal is dat het een diagonale covariantiematrix gebruikt om dimensies met lage variantie te versterken, waar schone verwerking stabiel is maar misgedrag grote verschuivingen veroorzaakt:
   $$s_\ell = \left\| \frac{\delta_\ell - \mu_\ell}{\sigma_\ell} \right\|^2$$
   waarbij $\mu_\ell$ en $\sigma_\ell$ worden geschat op basis van een kleine schone kalibratieset.

3. Aggregatie over alle lagen (Ledoit–Wolf Shrinkage):
   Aangezien de locatie van de anomalie varieert per architectuur en bedreigingstype, aggregeert LCF scores over alle $L$ lagen. Het lost het probleem van "kleine steekproef, hoge dimensie" op ($n=200$ steekproeven, $L \approx 30\text{--}50$ lagen) door Ledoit–Wolf shrinkage toe te passen om een geregulariseerde precisiematrix $P$ te schatten.
   $$D = \sqrt{(z - \bar{z})^\top P (z - \bar{z})}$$
   waarbij $z$ de vector is van op z-score gebrachte laagscores. Dit vangt gecorreleerde afwijkingen over het netwerk op.

4. Kalibratie en Drempelwaarde:

   • Input: Een kleine schone dataset (200 voorbeelden) uit de distributie van de implementatie.
   • Drempelwaarde ($\tau$): Bepaald via Leave-One-Out (LOO) kalibratie om een specifieke False Positive Rate (FPR, bijv. 10%) te targeten.
   • Besluit: Als $D > \tau$, onthoudt het systeem zich (geeft een veilige fallback terug) voordat er een token wordt gegenereerd. Anders gaat de output ongewijzigd door.

3. Belangrijkste Bijdragen

1. Gefuseerde Bedreigingsdetectie: LCF is de eerste runtime-monitor die backdoors, jailbreaks en prompt-injecties detecteert met één enkele, bedreigings-agnostische score, zonder dat kennis van triggers, referentiemodellen of het bewerken van gewichten nodig is.
2. Drie-bandige Dieptestratificatie: Het artikel identificeert empirisch dat verschillende bedreigingen anomalieën concentreren op verschillende dieptes:
   • Jailbreaks: Vroege lagen (verstoring van de initiële tokenverwerking).
   • Prompt-injecties: Middenlagen (concurreren met de beoogde context).
   • Backdoors: Late lagen (architectuurspecifiek, waar het model zich vastlegt op de output).
   • Betekenis: Dit verklaart waarom een enkele aggregatie over alle lagen noodzakelijk is; geen enkele laag biedt universele dekking.
3. Efficiëntie: LCF werkt met <0,1% inferentie-overhead, inspecteert alleen de prefill-stap (stap 0) en vereist geen extra forward passes of auxiliaire modellen.

4. Experimentele Resultaten

De methode werd geëvalueerd op vier architecturen (Llama-3-8B, Qwen2.5-7B, Gemma-2-9B, Qwen2.5-14B) over 56 backdoor-combinaties, 3 jailbreak-technieken en prompt-injectie-benchmarks (BIPIA).

• Backdoor-verdediging:
  • Verminderde de gemiddelde Aanvals Succesratio (ASR) tot <1% op Qwen2.5-7B (0,9%) en Gemma-2 (0,7%).
  • Bereikte 1,3% ASR op de grotere Qwen2.5-14B.
  • Presteerde beter dan baselines zoals CleanGen (dat een referentiemodel vereist) en CROW (dat het bewerken van gewichten vereist).
• Jailbreak-detectie:
  • Detecteerde 92–100% van DAN-stijl jailbreaks.
  • Detecteerde 62–100% van GCG en zachtere rollenspel-aanvallen.
  • Bereikte bijna gelijkwaardige prestaties met supervised verborgen-toestand-detectoren (LLMScan), maar tegen 65–113x lagere rekenkosten (één prefill versus 65+ forward passes).
• Prompt-injectie:
  • Markeerde 100% van tekst-payload-injecties over alle modellen en domeinen.
  • Detecteerde code-payload-injecties met hoge nauwkeurigheid (schalend met modelgrootte; 100% op Qwen2.5-14B).
• Robuustheid:
  • Onder adaptieve aanvallen (waarbij de aanvaller de LCF-score minimaliseert) bleef LCF robuust bij matige regularisatieniveaus, terwijl varianten met één laag eenvoudig te ontwijken waren.

5. Betekenis en Impact

• Algemeen Toepasbare Veiligheidslaag: LCF biedt een praktische, "plug-and-play" veiligheidsmechanisme voor cloud-gehoste en op apparaat draaiende LLM's dat niet afhankelijk is van de onrealistische aanname van een schone referentiemodel of bekende triggers.
• Operationele Haalbaarheid: Door te werken met verwaarloosbare overhead en zonder hertraining, lost het het implementatieknelpunt op waar bestaande verdedigingen te traag of te hulpbronintensief zijn.
• Theoretisch Inzicht: De ontdekking van de "drie-bandige dieptestratificatie" biedt een nieuwe lens voor het begrijpen hoe verschillende soorten adversariële inputs het interne rekenkundige grafiek van transformers verstoren, wat suggereert dat verschillende bedreigingsfamilies verschillende rekenfasen activeren.
• Beperkingen: De methode vereist momenteel white-box-toegang tot verborgen toestanden. Het vertoont ook een hogere False Positive Rate (12–22%) dan de beoogde 10% vanwege eindige steekproefvariantie, en het detecteert "verplaatsing" (verschuivingen in het gemiddelde) maar niet "dispersie" (variantieveranderingen), wat betekent dat het hallucinatietypes van fouten die de gemiddelde traject niet verschuiven, mogelijk mist.

Concluderend vertegenwoordigt LCF een significante stap naar robuuste, runtime-agnostische veiligheid voor LLM's, waarbij gebruik wordt gemaakt van de geometrische eigenschappen van layerwise convergentie om een breed spectrum aan misgedrag te detecteren met minimale rekenkosten.