💬 NLP

How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

Questo articolo rivela che i metodi esistenti di rilevamento fuori distribuzione (OOD) in modalità white-box per i modelli linguistici sono strutturalmente confusi dalla lunghezza della sequenza e propone un framework a due percorsi che distingue tra segnali basati su embedding per gli spostamenti lessicali e caratteristiche della traiettoria degli stati nascosti per il rilevamento di input a intento nascosto come i jailbreak.

Autori originali: Hamidreza Saghir

Pubblicato 2026-05-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hamidreza Saghir

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere una guardia di sicurezza in un museo. Il tuo lavoro è individuare dipinti falsi (input fuori distribuzione o "OOD") tra quelli autentici. Recentemente, altre guardie hanno iniziato a utilizzare un nuovo strumento: misurano quanto il dipinto "tremola" o quanto sono caotici i tratti del pennello (questo è simile alla misurazione dell'entropia dell'attenzione nell'IA). Affermano che questo strumento è straordinario nell'individuare i falsi.

Tuttavia, questo articolo sostiene che quelle guardie stanno effettivamente venendo ingannate. Non stanno individuando i falsi; stanno semplicemente contando quanti tratti del pennello ci sono sulla tela.

Ecco la scomposizione dei risultati dell'articolo utilizzando analogie semplici:

1. La Trappola della "Tela Lunga" (La Confusione sulla Lunghezza)

L'articolo ha scoperto che molti strumenti di sicurezza AI popolari misurano segretamente quanto è lungo il testo.

L'Analogia: Immagina che lo strumento della guardia di sicurezza sia un righello. Afferma di misurare il "caos", ma in realtà misura solo la "lunghezza".
Il Problema: Nei test, i dipinti "falsi" (jailbreak o spam) erano spesso molto più lunghi di quelli "reali". Lo strumento vedeva i dipinti lunghi, andava in panico e diceva: "Quello è un falso!" semplicemente perché era lungo.
La Prova: Quando i ricercatori hanno costretto i dipinti reali e falsi ad avere esattamente la stessa lunghezza, lo strumento ha smesso di funzionare. È collassato fino a un livello vicino al caso casuale (come lanciare una moneta). L'articolo dimostra che strumenti come CED, RAUQ e persino alcuni punteggi di confidenza di sistemi già implementati sono strutturalmente difettosi perché si basano su meccanismi di attenzione che crescono naturalmente con la lunghezza del testo.

2. Il Framework a Due Percorsi: "Cosa" vs "Come"

Una volta rimosso l'"trucco della lunghezza", i ricercatori hanno chiesto: Come possiamo effettivamente capire se l'input è strano? Propongono un sistema in due parti, come un detective che esamina una scena del crimine in due modi diversi:

Percorso A: Il "Cosa" (Embedding)

L'Analogia: Questo è come guardare gli ingredienti di una zuppa.
Come funziona: Controlla il vocabolario. Se la zuppa contiene parole "tossiche" o parole chiave "spam", questo percorso la segnala.
Quando funziona: È ottimo per individuare falsi ovvi, come una zuppa che improvvisamente ha la scritta "veleno" sull'etichetta.
Quando fallisce: Fallisce se la zuppa falsa utilizza esattamente gli stessi ingredienti della zuppa reale ma è mescolata in modo strano. Ad esempio, un prompt "jailbreak" usa spesso parole normali ma le dispone per ingannare l'IA. Il "controllore degli ingredienti" vede parole normali e dice: "Tutto a posto", perdendo l'inganno.

Percorso B: Il "Come" (Traiettoria di Elaborazione)

L'Analogia: Questo è come guardare lo chef che cucina la zuppa.
Come funziona: Invece di guardare solo la ciotola finale, questo percorso osserva i movimenti delle mani dello chef attraverso ogni passo del processo di cottura (strato per strato). Chiede: "Lo chef sta tagliando con fluidità? Sta improvvisamente lanciando ingredienti in preda al panico? La pentola sta tremando con un ritmo strano?"
Perché funziona: Anche se gli ingredienti (le parole) sembrano normali, un prompt "jailbreak" costringe lo chef AI a cucinare con un ritmo strano e innaturale. Il percorso "Come" cattura questo stile di cottura strano.
Il Risultato: Questo percorso ha individuato con successo i falsi "jailbreak" ingannevoli che il percorso "ingredienti" aveva mancato, ottenendo un punteggio di accuratezza molto più alto (0,850 contro il caso casuale per i vecchi metodi).

3. La Scoperta del "Crossover"

L'articolo ha scoperto che nessuno dei due metodi è perfetto per tutto. È come avere due diversi tipi di rilevatori di metalli:

Rilevatore 1 (Ingredienti/Embedding): Ottimo per trovare una moneta d'oro nascosta in un mucchio di sabbia (cambiamenti di vocabolario ovvi).
Rilevatore 2 (Stile di Cottura/Traiettoria): Ottimo per trovare una moneta di plastica dipinta per sembrare oro (truffe strutturali sottili).
L'Insight: Servono entrambi. Quando il "falso" è semplicemente un argomento diverso, vince il Rilevatore 1. Quando il "falso" è un trucco astuto che usa parole normali, vince il Rilevatore 2.

4. Il "Perché" (Evidenza Meccanicistica)

I ricercatori non hanno solo indovinato; hanno guardato dentro il cervello dell'IA (i circuiti) per vedere cosa stava succedendo.

La Scoperta: Quando l'IA incontra un "jailbreak" (un trucco strutturale), si confonde in un modo specifico: i suoi circuiti di "attenzione" (focus) impazziscono, mescolando il suo focus.
Il Contrasto: Quando l'IA incontra "discorsi d'odio" (un cambiamento di vocabolario), sono le parti di "memoria" (MLP) del cervello che si illuminano perché riconosce le parole cattive.
La Conclusione: Diversi tipi di "falsi" rompono l'IA in modi diversi. I vecchi strumenti guardavano solo la parte del "focus" e venivano confusi dalla lunghezza. Il nuovo strumento "Traiettoria" osserva l'intero processo di cottura, quindi vede la rottura indipendentemente da dove avviene.

Riepilogo

L'articolo afferma che molti attuali strumenti di sicurezza AI sono difettosi perché vengono ingannati dalla lunghezza del testo. Per risolvere questo problema, dobbiamo smettere di guardare solo cosa dice il testo e iniziare a osservare come l'IA lo elabora. Osservando il "processo di pensiero" dell'IA passo dopo passo (la traiettoria), possiamo catturare trucci astuti che sembrano normali in superficie ma risultano strani alla macchina interna dell'IA.

1. Enunciato del Problema

Il paper affronta un difetto critico nei recenti metodi di rilevamento Out-of-Distribution (OOD) white-box per i Large Language Models (LLM). Metodi come i punteggi di confidenza CED, RAUQ e WildGuard, che si basano su meccanismi di attenzione e distanze di embedding, hanno riportato prestazioni elevate su benchmark di sicurezza. Tuttavia, l'autore dimostra che questi risultati sono strutturalmente confusi dalla lunghezza della sequenza di input ( $|r| \ge 0.61$ ).

Il Confondente: Le metriche basate sull'attenzione (es. entropia dell'attenzione, CED, RAUQ) operano su un simpleisso la cui dimensione cresce con la lunghezza dell'input $T$ . Di conseguenza, queste metriche ereditano una dipendenza strutturale di $\Theta(\log T)$ .
La Conseguenza: Quando valutati in condizioni di lunghezza abbinata (dove i campioni in-distribution e OOD hanno lo stesso numero di token), questi metodi collassano a prestazioni vicine al caso (AUROC $\approx 0.50$ ). Il paper sostiene che i precedenti successi rilevavano probabilmente differenze di lunghezza piuttosto che segnali OOD genuini.

2. Metodologia: Il Framework a Due Percorsi

Per identificare segnali OOD genuini dopo la deconfondizione, l'autore propone un Framework a Due Percorsi organizzato lungo uno Spettro di Trasparenza del Vocabolario. Questo framework distingue tra cosa riguarda il testo e come il modello lo elabora.

Percorso A: Il Percorso di Embedding ( $X \to Z$ )

Meccanismo: Utilizza rappresentazioni statiche (embedding) per catturare il contenuto semantico del testo.
Punti di Forza: Efficace per OOD distintivo del vocabolario (es. Spam, HateSpeech) dove il testo OOD utilizza parole raramente viste nella distribuzione di addestramento.
Limiti: Fallisce su OOD a intento nascosto (es. Jailbreak) dove il vocabolario è identico al testo normale ma la struttura o l'intento sono avversari. Il paper mostra che i modelli di embedding di frasi autonomi (MiniLM, BGE, ecc.) falliscono completamente in questi compiti indipendentemente dalla capacità del modello.

Percorso B: Il Percorso della Traiettoria di Elaborazione ( $\{h_l\}_{l=0}^L$ )

Meccanismo: Analizza la sequenza degli stati nascosti attraverso i livelli per catturare la dinamica di elaborazione.
Caratteristiche: L'autore estrae 9 caratteristiche in quattro categorie:
1. Dinamiche degli stati nascosti: Similarità coseno tra livelli consecutivi (levigatezza della transizione).
2. Geometria della rappresentazione: Cambiamenti nella dispersione/variabilità delle rappresentazioni dei token attraverso i livelli.
3. Decomposizione dei componenti: L'equilibrio tra i contributi di Attenzione e MLP in ogni livello.
4. Probe specifici per livello: Segnali di interruzione nei livelli iniziali.
Garanzia Teorica: A differenza dei pesi di attenzione, gli stati nascosti $h_l \in \mathbb{R}^d$ hanno dimensionalità fissa $d$ indipendentemente dalla lunghezza della sequenza $T$ . Pertanto, le caratteristiche di traiettoria (in particolare le Categorie A e G) sono strutturalmente indipendenti dalla lunghezza.

3. Contributi Chiave

Identificazione del Confondente di Lunghezza: Il paper dimostra formalmente e valida empiricamente che i punteggi OOD derivati dall'attenzione dipendono strutturalmente dalla lunghezza della sequenza. Sotto valutazione a lunghezza abbinata, collassano a livelli casuali.
Il Framework a Due Percorsi: Propone una teoria unificata che spiega perché diversi tipi di OOD richiedono strategie di rilevamento differenti:
- L'OOD distintivo del vocabolario è meglio rilevato dai Percorsi di Embedding.
- L'OOD strutturalmente avversario (es. Jailbreak) è meglio rilevato dai Percorsi di Traiettoria di Elaborazione.
Indipendenza Formale dalla Lunghezza: Fornisce prove matematiche (Proposizioni A.2, A.4) che mostrano come le caratteristiche di traiettoria basate sugli stati nascosti evitino la dipendenza $\Theta(\log T)$ intrinseca nelle statistiche di attenzione.
Evidenza Meccanicistica: Utilizza il patching causale delle attivazioni e l'analisi dei circuiti per mostrare che i compiti avversari (Jailbreak) impegnano i circuiti di attenzione in misura significativamente maggiore rispetto ai compiti semantici, mentre i compiti di spostamento del contenuto impegnano i circuiti MLP.

4. Risultati Sperimentali

Il framework è stato valutato su Qwen3-0.6B (primario) e validato su 6 modelli (360M–7B) e 6 compiti (ToxicChat, Jailbreak, HateSpeech, Spam, AGNews, JailbreakClassification).

Prestazioni sotto Controllo di Lunghezza:
- Metodi basati sull'attenzione (CED, RAUQ, Entropia): Collassati ad un AUROC di 0.491 – 0.527 (vicino al caso).
- Caratteristiche di Traiettoria (Maha-Traj): Hanno mantenuto un segnale forte con un AUROC medio di 0.721.
  - Jailbreak: 0.850
  - Spam: 0.848
  - HateSpeech: 0.605
  - ToxicChat: 0.580
L'Effetto di Incrocio:
- k-NN (Segnale di contenuto/embedding): Ha superato le caratteristiche di traiettoria su compiti differenziabili per contenuto (Spam, ToxicChat, AGNews).
- Traiettoria (Segnale di elaborazione): Ha superato k-NN su compiti strutturalmente avversari (Jailbreak, JailbreakClassification).
- Fusione: Una fusione a peso fisso di entrambi i percorsi ha raggiunto un AUROC medio di 0.730, dimostrando complementarità.
Risultati Meccanicistici:
- Jailbreak: Hanno mostrato Dominanza dell'Attenzione (p < 0.001). Il patching causale ha rivelato circuiti sparsi dove specifiche teste di attenzione spostano il focus da "you/your" a token direttivi/meta-linguistici ("ignore", "prompt").
- HateSpeech: Ha mostrato Dominanza MLP (p = 0.002), basandosi sull'attivazione distribuita dei neuroni piuttosto che su specifiche teste di attenzione.
- Costruzione del Segnale: L'analisi del Livello 0 rispetto all'ultimo livello ha mostrato che per i Jailbreak, il segnale di embedding al Livello 0 è vicino al caso (0.389), ma l'elaborazione costruisce un segnale forte (0.684) entro l'ultimo livello.

5. Significato e Implicazioni

Rivalutazione dei Benchmark di Sicurezza: Il paper suggerisce che molti risultati pubblicati sul rilevamento della sicurezza basati su punteggi di attenzione sono probabilmente falsi positivi guidati dalle differenze di lunghezza della sequenza tra prompt benigni e avversari.
Nuovo Standard per la Valutazione: Gli autori sostengono per una valutazione a lunghezza abbinata come controllo obbligatorio per qualsiasi metodo di rilevamento OOD.
Insight Architettonico: Il lavoro fornisce una comprensione meccanicistica di come gli LLM elaborano diversi tipi di anomalie. Suggerisce che rilevare i "jailbreak" richiede il monitoraggio del processo (dinamiche di traiettoria/attenzione), mentre rilevare lo "spam" o l'"hate speech" può basarsi sul contenuto (embedding).
Applicazione Pratica: Il metodo proposto basato sulla traiettoria (Maha-Traj) offre un'alternativa robusta, non supervisionata e invariante alla lunghezza per il rilevamento di input avversari senza richiedere riaddestramento o classificatori esterni.

In sintesi, questo paper sposta fondamentalmente il paradigma del rilevamento OOD negli LLM esponendo un pregiudizio pervasivo legato alla lunghezza nei metodi basati sull'attenzione e introducendo un framework a due percorsi teoricamente fondato che disaccoppia con successo le anomalie basate sul contenuto dagli attacchi avversari strutturali.