How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

1. Probleemstelling

Het artikel adresseert een kritieke fout in recente white-box Out-of-Distribution (OOD) detectiemethoden voor Large Language Models (LLMs). Methoden zoals CED, RAUQ en WildGuard-vertrouwensscores, die vertrouwen op attention-mechanismen en embedding-afstanden, hebben sterke prestaties gerapporteerd op veiligheidsbenchmarks. De auteur toont echter aan dat deze resultaten structureel verward zijn door de invoersequentielengte ($|r| \ge 0.61$).

• De Verwarring: Attention-gebaseerde metrieken (bijv. attention-entropie, CED, RAUQ) opereren op een simplex waarvan de grootte groeit met de invoerlengte $T$. Bijgevolg erven deze metrieken een structurele afhankelijkheid van $\Theta(\log T)$.
• Het Gevolg: Bij evaluatie onder lengte-gecontroleerde omstandigheden (waarbij in-distribution en OOD-stalen identieke tokenaantallen hebben), zakken deze methoden naar bijna-willekeurige prestaties (AUROC $\approx 0.50$). Het artikel stelt dat eerdere successen waarschijnlijk lengteverschillen detecteerden in plaats van echte OOD-signalen.

2. Methodologie: Het Twee-Pathway Kader

Om na deconfounding echte OOD-signalen te identificeren, stelt de auteur een Twee-Pathway Kader voor, georganiseerd langs een Woordenschat-Transparantie Spectrum. Dit kader onderscheidt tussen waarover de tekst gaat en hoe het model deze verwerkt.

Pathway A: Het Embedding Pathway ($X \to Z$)

• Mechanisme: Gebruikt statische representaties (embeddings) om de semantische inhoud van de tekst vast te leggen.
• Sterke punten: Effectief voor woordenschat-differentiërende OOD (bijv. Spam, HateSpeech) waarbij de OOD-tekst woorden gebruikt die zelden zijn gezien in de trainingsverdeling.
• Beperkingen: Faalt bij verkapte-intentie OOD (bijv. Jailbreaks) waarbij de woordenschat identiek is aan normale tekst, maar de structuur of intentie adversariaal is. Het artikel toont aan dat standalone sentence-embedding modellen (MiniLM, BGE, etc.) volledig falen op deze taken, ongeacht de modelcapaciteit.

Pathway B: Het Processing Trajectory Pathway ($\{h_l\}_{l=0}^L$)

• Mechanisme: Analyseert de reeks verborgen staten over de lagen heen om de dynamiek van verwerking vast te leggen.
• Kenmerken: De auteur extrahert 9 kenmerken over vier categorieën:
  1. Dynamiek van verborgen staten: Cosinus-ähnelijkheid tussen opeenvolgende lagen (gladheid van overgang).
  2. Representatie-geometrie: Veranderingen in de spreiding/variabiliteit van token-representaties over de lagen heen.
  3. Component-decompositie: De balans tussen Attention- en MLP-bijdragen op elke laag.
  4. Laagspecifieke probes: Signaal van verstoring in vroege lagen.
• Theoretische Garantie: In tegenstelling tot attention-weights hebben verborgen staten $h_l \in \mathbb{R}^d$ een vaste dimensionaliteit $d$, ongeacht de sequentielengte $T$. Daarom zijn trajectkenmerken (specifiek Categorieën A en G) structureel lengte-onafhankelijk.

3. Belangrijkste Bijdragen

1. Identificatie van de Lengte-Verwarring: Het artikel bewijst formeel en valideert empirisch dat attention-afgeleide OOD-scores structureel afhankelijk zijn van de sequentielengte. Onder lengte-gecontroleerde evaluatie zakken ze naar willekeurigheidsniveaus.
2. Het Twee-Pathway Kader: Stelt een unificerende theorie voor die verklaart waarom verschillende OOD-types verschillende detectiestrategieën vereisen:
   • Woordenschat-differentiërende OOD wordt het beste gedetecteerd door Embedding Pathways.
   • Structureel adversariale OOD (bijv. Jailbreaks) wordt het beste gedetecteerd door Processing Trajectory Pathways.
3. Formele Lengte-Onafhankelijkheid: Biedt wiskundige bewijzen (Proposities A.2, A.4) die aantonen dat trajectkenmerken gebaseerd op verborgen staten de $\Theta(\log T)$-afhankelijkheid vermijden die inherent is aan attention-statistieken.
4. Mechanistisch Bewijs: Gebruikt causale activatie-patching en circuit-analyse om aan te tonen dat adversariale taken (Jailbreaks) aanzienlijk meer attention-circuits activeren dan semantische taken, terwijl content-shift-taken MLP-circuits activeren.

4. Experimentele Resultaten

Het kader werd geëvalueerd op Qwen3-0.6B (primair) en gevalideerd over 6 modellen (360M–7B) en 6 taken (ToxicChat, Jailbreak, HateSpeech, Spam, AGNews, JailbreakClassification).

• Prestaties onder Lengte-Controle:
  • Attention-gebaseerde methoden (CED, RAUQ, Entropy): Zakten naar AUROC 0.491 – 0.527 (bijna willekeurig).
  • Trajectkenmerken (Maha-Traj): Behielden een sterk signaal met een gemiddelde AUROC van 0.721.
    • Jailbreak: 0.850
    • Spam: 0.848
    • HateSpeech: 0.605
    • ToxicChat: 0.580
• Het Crossover-effect:
  • k-NN (Content/Embedding signaal): Presteerde beter dan trajectkenmerken op content-differentieerbare taken (Spam, ToxicChat, AGNews).
  • Traject (Verwerkingssignaal): Presteerde beter dan k-NN op structureel adversariale taken (Jailbreak, JailbreakClassification).
  • Fusie: Een fusie met vaste gewichten van beide pathways bereikte een gemiddelde AUROC van 0.730, wat complementariteit aantoont.
• Mechanistische Bevindingen:
  • Jailbreaks: Toonden Attention-dominantie (p < 0.001). Causale patching onthulde sparse circuits waarbij specifieke attention-heads de focus verschuiven van "you/your" naar directive/meta-linguïstische tokens ("ignore", "prompt").
  • HateSpeech: Toonde MLP-dominantie (p = 0.002), vertrouwend op gedistribueerde neuron-activatie in plaats van specifieke attention-heads.
  • Signaalconstructie: Analyse van Laag 0 versus de Laatste Laag toonde aan dat voor Jailbreaks het embedding-signaal op Laag 0 bijna-willekeurig is (0.389), maar dat de verwerking tegen de laatste laag een sterk signaal construeert (0.684).

5. Betekenis en Implicaties

• Her-evaluatie van Veiligheidsbenchmarks: Het artikel suggereert dat veel gepubliceerde resultaten van veiligheidsdetectie gebaseerd op attention-scores waarschijnlijk vals-positieven zijn, gedreven door sequentielengteverschillen tussen onschadelijke en adversariale prompts.
• Nieuwe Standaard voor Evaluatie: De auteurs pleiten voor lengte-gecontroleerde evaluatie als een verplichte controle voor elke OOD-detectiemethode.
• Architecturale Inzicht: Het werk biedt een mechanistisch begrip van hoe LLMs verschillende soorten anomalieën verwerken. Het suggereert dat het detecteren van "jailbreaks" toezicht vereist op het proces (traject/attention-dynamiek), terwijl het detecteren van "spam" of "haatzaaiende taal" kan vertrouwen op inhoud (embeddings).
• Praktische Toepassing: De voorgestelde traject-gebaseerde methode (Maha-Traj) biedt een robuust, onbewaakt en lengte-invariant alternatief voor het detecteren van adversariale invoer zonder hertraining of externe classifiers te vereisen.

Kortom, dit artikel verschuift fundamenteel het paradigma van OOD-detectie in LLMs door een alomtegenwoordige lengte-bias in attention-gebaseerde methoden bloot te leggen en een theoretisch onderbouwd, twee-pathway kader te introduceren dat succesvol inhoudsgebaseerde anomalieën ontrafelt van structurele adversariale aanvallen.