Riepilogo Tecnico: Oltre il Tasso di Successo dell'Attacco: Osservabilità Temporale dei Logit per i Fallimenti di Sicurezza degli LLM

Enunciato del Problema

La valutazione attuale della sicurezza per i Modelli Linguistici su Larga Scala (LLM) allineati si basa prevalentemente sul Tasso di Successo dell'Attacco (ASR). L'ASR fornisce un giudizio binario a livello di esito (successo/fallimento) calcolato alla fine della generazione. Sebbene operativamente attraente, questa metrica tratta il processo di decodifica come una scatola nera, scartando la traiettoria a livello di token attraverso cui un modello giunge alla sua risposta finale.

Il documento sostiene che l'ASR è strutturalmente limitato: attacchi distinti contro lo stesso prompt dannoso possono produrre risposte finali identiche (e quindi etichette ASR identiche) nonostante seguano processi interni fondamentalmente diversi. Ad esempio, un rifiuto potrebbe essere brevemente attivato e soppresso, emergere troppo tardi per prevenire il danno, o non essere attivato affatto. Poiché l'ASR collassa queste dinamiche temporali distinte in un singolo numero, non riesce a distinguere tra coppie modello-attacco che richiedono strategie difensive diverse. Inoltre, i metodi esistenti per recuperare questa struttura nascosta (ad esempio, sonde sugli stati nascosti) richiedono l'accesso alle attivazioni del modello, che spesso non è disponibile negli scenari di audit del mondo reale.

Metodologia: Osservabilità Temporale dei Logit (TLO)

Gli autori propongono l'Osservabilità Temporale dei Logit (TLO), un protocollo diagnostico senza addestramento che ricostruisce le dinamiche temporali dei fallimenti di sicurezza utilizzando solo i logit, senza accesso agli stati nascosti o ai pesi del modello.

Componenti Principali

1. Punteggio del Margine dei Logit (LMS):
   La TLO misura l'equilibrio tra conformità e rifiuto a ogni passo di decodifica $t$ utilizzando un lessico inglese fisso di token di conformità ($L_{cmp}$) e token di rifiuto ($L_{ref}$).
   $$S_t = \mu_{cmp}(t) - \mu_{ref}(t)$$
   Dove $\mu$ rappresenta il punteggio medio dei logit dei top-$k$ token all'interno del rispettivo lessico. Un $S_t$ positivo indica una predominanza di conformità; un $S_t$ negativo indica una predominanza di rifiuto.

2. Sintesi Temporali:
   Il protocollo estrae due osservazioni principali dalla traiettoria LMS $S_{0:T}$:

   • Pre-generazione ($S_0$): Il margine dei logit all'ultima posizione del prompt prima che venga generato qualsiasi token di risposta.
   • Tempo di generazione ($\bar{S}$): Il margine medio dei logit sulla sequenza generata (con varianti per finestre iniziali, ad esempio $\bar{S}_{1:5}$).
   • Tempistica di Attivazione ($t_{cross}$): Il primo passo in cui la traiettoria attraversa verso la predominanza del rifiuto ($S_t < 0$).

3. Calibrazione della Posizione Relativa (RP):
   Per rendere le osservazioni confrontabili tra diversi modelli, attacchi e formati di prompt, la TLO calibra i segnali grezzi dei logit rispetto alle distribuzioni di riferimento.
   $$RP(M) = \frac{M_{success} - M_{harmful}}{M_{benign} - M_{harmful}}$$
   Dove $M$ rappresenta la media della metrica (ad esempio $S_0$ o $\bar{S}$) sugli attacchi riusciti, su tutti i campioni dannosi e sui riferimenti benigni formattati come attacchi.

   • $RP = 0$ indica un comportamento simile all'ancora dannosa.
   • $RP = 1$ indica un comportamento simile all'ancora benigna.
   • I valori fuori dall'intervallo $[0, 1]$ sono riportati come inversioni osservate.

4. Il Piano RP:
   Ogni condizione modello-attacco è mappata su una coordinata 2D $c = (RPA, RPB)$, dove $RPA$ è la posizione calibrata pre-generazione e $RPB$ è la posizione calibrata al tempo di generazione. La distanza euclidea tra le condizioni ($D_{RP}$) quantifica la separazione temporale dei fallimenti di sicurezza.

Contributi Chiave

1. Coordinate Temporali Calibrate dai Logit: Il documento introduce il sistema di coordinate del piano RP, che riassume la traiettoria LMS in uno spazio 2D calibrato. Questa progettazione è complementare all'ASR: lo spostamento RP è limitato da $(1-ASR)$, il che significa che trasporta il segnale principale nelle condizioni di ASR medio, dove l'ASR da solo è meno informativo sul perché un attacco abbia avuto successo.
2. Recupero delle Interazioni Invisibili: La TLO rivela che condizioni con ASR quasi identiche occupano posizioni distinte nel piano RP. La stessa famiglia di attacchi produce firme temporali diverse tra i modelli, e lo stesso modello gestisce attacchi diversi tramite meccanismi temporali differenti.
3. Allineamento con gli Stati Nascosti: La traiettoria basata sui logit si allinea con le direzioni di rifiuto degli stati nascosti in 10 su 12 condizioni modello-attacco testate, validando che i segnali dei logit osservabili portano informazioni rilevanti per la sicurezza nonostante la mancanza di accesso alle attivazioni.
4. Intervento al Tempo di Decodifica: Una semplice regola di arresto anticipato derivata dal segnale temporale (arrestare la generazione se $t_{cross} > 5$) riduce l'ASR aggregato dal 39,6% al 13,1% senza generare falsi allarmi su query benigne semplici.

Risultati Sperimentali

Gli autori hanno valutato la TLO su una griglia di quattro LLM allineati (Llama, Mistral, Qwen, Gemma) e tre paradigmi di jailbreak (MCM, GCG, DeepInception) utilizzando 60 prompt dannosi per condizione.

• Differenziazione dei Vicini ASR: Attacchi con ASR quasi identici (ad esempio, Llama+DI al 55,0% contro Qwen+DI al 58,3%) sono stati separati da una distanza calibrata di $D_{RP} = 0,572$. Ancora più significativamente, Llama+DI (55,0%) e Mistral+GCG (56,7%) si sono separati con $D_{RP} = 1,014$, dimostrando che il piano RP cattura differenze strutturali invisibili all'ASR.
• Separazione Temporale: I jailbreak riusciti tipicamente ritardavano o evitavano la transizione verso la predominanza del rifiuto, mentre i jailbreak falliti attraversavano la predominanza del rifiuto precocemente (spesso entro i primi 5 token). La traiettoria separava gli esiti con una $d$ di Cohen > 1,0 e un ROC-AUC di 0,771–0,784.
• Allineamento con gli Stati Nascosti: La correlazione tra il margine dei logit ($S_t$) e le proiezioni di rifiuto degli stati nascosti è stata forte per Llama ($|\rho| \ge 0,70$) e moderata per Mistral e Gemma. Qwen ha mostrato un limite specifico del modello in cui il segno atteso si è invertito per alcuni attacchi, evidenziando i limiti di un approccio a lessico fisso per determinate architetture.
• Efficacia dell'Intervento: L'applicazione di una regola uniforme di arresto anticipato basata su $t_{cross}$ ha ridotto l'ASR aggregato di 26,5 punti percentuali. L'intervento è stato più efficace nelle condizioni di "Bias di Generazione Nulla" (NGB) (dove la geometria RP è per design non informativa), suggerendo che quando i segnali temporali sono deboli, il segnale ASR grezzo domina e l'arresto uniforme è efficace.
• Robustezza: I risultati sono rimasti stabili attraverso la casualità della decodifica, le perturbazioni del lessico e criteri di attraversamento più rigorosi. Il metodo richiedeva logit completi o log-probabilità di token lessicali mirati; le uscite standard top-$k$ (ad esempio, $k=20$) erano insufficienti.

Significato e Affermazioni

Il documento posiziona la TLO non come un sostituto dell'ASR, ma come un livello diagnostico necessario che rende osservabili il "quando" e il "come" dei fallimenti di sicurezza.

• Divario di Osservabilità: Gli autori affermano che la valutazione della sicurezza dovrebbe riportare lo svolgersi di un fallimento, non solo il suo verificarsi. La TLO fornisce il primo metodo per osservare queste dinamiche temporali utilizzando solo i logit standard, una capacità precedentemente riservata a chi aveva accesso agli stati nascosti.
• Complementarietà: Il piano RP è progettato per essere più informativo esattamente dove l'ASR è meno informativo (condizioni di ASR medio). Espone l'eterogeneità delle interazioni modello-attacco che le metriche di esito collassano.
• Monitoraggio Azionabile: Lo studio dimostra che la geometria calibrata dei logit può guidare un monitoraggio efficace al tempo di decodifica (arresto anticipato) senza sintonizzazione specifica per l'attacco, riducendo significativamente i jailbreak riusciti mantenendo allo stesso tempo zero falsi positivi su query benigne prive di formato.
• Limitazioni: Gli autori notano esplicitamente che la TLO è osservazionale, non causale; identifica quando appare l'evidenza di sicurezza ma non identifica i circuiti neurali sottostanti. Il metodo è attualmente più applicabile all'audit in inglese con pesi aperti, poiché si basa su un lessico inglese fisso e sull'accesso completo ai logit, che potrebbero non essere disponibili in ambienti con restrizioni API.