Segment-Level Coherence for Robust Harmful Intent Probing in LLMs

1. Il Problema: Falsi Positivi nel Rilevamento di Intenti Dannosi

L'articolo affronta una sfida critica nella sicurezza dei Large Language Models (LLM): il rilevamento in tempo reale (streaming) di intenti dannosi, in particolare nei domini ad alto rischio come CBRN (Chimico, Biologico, Radiologico, Nucleare).

• Limitazione delle metodologie attuali: I metodi di "probing" (sondaggio) esistenti, utilizzati per monitorare le attivazioni interne del modello durante la generazione, tendono a commettere errori sistematici. Si basano spesso su un numero ridotto di token ad alto punteggio (picchi di attivazione) per prendere decisioni.
• Il fenomeno del "Shortcut Learning": Questo approccio porta a falsi positivi elevati quando termini sensibili (es. nomi di agenti biologici o sostanze chimiche) appaiono in contesti benigni, come discussioni accademiche o professionali. I modelli attuali reagiscono eccessivamente a queste parole chiave isolate, ignorando il contesto globale e l'intento complessivo della conversazione.
• Necessità di un monitoraggio robusto: Le soluzioni basate su modelli classificatori esterni aggiungono latenza e costi computazionali. È necessario un metodo leggero, basato sulle rappresentazioni interne, che possa operare in streaming senza accedere al contesto futuro, ma che sia in grado di distinguere tra l'uso legittimo di terminologia tecnica e la reale intenzione malevola.

2. Metodologia: Coerenza a Livello di Segmento

Gli autori propongono un nuovo obiettivo di sondaggio (probing objective) chiamato SC-TopK (Segment-Coherent Top-K), progettato per richiedere prove coerenti e distribuite prima di segnalare un intento dannoso, invece di affidarsi a singoli token salienti.

L'approccio si basa su due componenti principali:

A. Top-K Supportive-Window Pooling (Aggregazione Top-K)

Invece di utilizzare una media pesata o un max-pooling (che enfatizzano il singolo token o finestra con il punteggio più alto), il metodo seleziona le K finestre con i logit aggregati più alti e ne calcola la media.

• Obiettivo: Costringere il rilevatore a richiedere che multiple finestre di contesto supportino congiuntamente la previsione di un contenuto dannoso.
• Effetto: Riduce la sensibilità a singoli picchi lessicali isolati, spostando il focus verso prove distribuite che indicano un intento coerente.

B. Segment Variance Regularization (SegVar)

Per evitare che le finestre ad alto punteggio siano sparse e non contigue (il che potrebbe indicare ancora un rilevamento basato su keyword sparse), viene introdotta una regolarizzazione sulla varianza.

• Meccanismo: Viene calcolata una penalità sulla varianza dei logit all'interno delle finestre di evidenza selezionate.
• Applicazione Selettiva: Questa regolarizzazione viene applicata esclusivamente agli scambi benigni (etichetta 0).
  • Motivazione: Gli scambi dannosi possono legittimamente avere evidenze distribuite in regioni disgiunte (es. una richiesta iniziale seguita da elaborazioni successive). Al contrario, nei contesti benigni, le attivazioni basate su parole chiave sono spesso picchi isolati e spuri. Penalizzare la varianza nei dati benigni sopprime questi picchi spuri, promuovendo una coerenza locale.

Architettura e Dati

• Input: Le attivazioni interne del modello (non solo il residual stream, ma anche Attention e MLP).
• Aggregazione: Utilizza una finestra scorrevole (Sliding Window) per mantenere la causalità durante l'addestramento.
• Obiettivo di Addestramento: Una combinazione di Cross-Entropy a livello di sequenza (basata su Top-K) e la perdita di regolarizzazione SegVar sui dati negativi.

3. Contributi Chiave

1. Nuovo Paradigma di Aggregazione: Spostamento dall'aggregazione basata su massimi (max-pooling/softmax) a un'aggregazione che richiede coerenza segmentale e prove multiple (Top-K + SegVar).
2. Scoperta sulle Attivazioni: Dimostrazione che il sondaggio delle attivazioni Attention e MLP supera costantemente quello del residual stream (spesso usato in letteratura precedente), offrendo segnali più robusti e stabili.
3. Robustezza all'Obfuscation: Dimostrazione che i sonde addestrati su modelli base mantengono la loro efficacia ("plug-and-play") anche quando il modello sottostante viene fine-tunato con cifrari a livello di caratteri (es. ASCII, Fibonacci, Polybius) per eludere i filtri.
4. Efficienza: Il metodo è estremamente leggero (un singolo strato lineare con ~262K parametri) rispetto ai classificatori LLM fine-tunati (che richiedono ~90M parametri aggiuntivi), rendendolo ideale per il deployment in tempo reale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Llama-3.1, Qwen3 e Gemma2 su dataset specifici per CBRN (Biologico e Chimico) e domini generici ad alto rischio.

• Miglioramento del Tasso di Falsi Positivi: A un tasso di falsi positivi (FPR) fisso dell'1%, il metodo SC-TopK migliora il True Positive Rate (TPR) del 35,55% rispetto ai baseline di streaming più forti (come SWiM).
• Miglioramento AUROC: Si osserva un aumento significativo dell'AUROC, anche partendo da baseline già molto performanti (es. da 97,40% a livelli superiori). L'AUROC in spazio logaritmico (che pesa di più la regione a basso FPR) aumenta del 16,80%.
• Performance nei Domini CBRN:
  • Nel dominio biologico, SC-TopK supera i baseline su tutti i modelli, riducendo drasticamente i falsi positivi su discussioni tecniche legittime.
  • Nel dominio chimico, i guadagni sono ancora più marcati, con miglioramenti dell'AUROC in spazio logaritmico fino al 7,9% rispetto ai migliori baseline.
• Robustezza ai Cifrari: Anche quando il modello viene adattato per decifrare input obfuscated (cifrati), il sonde addestrato sul modello base raggiunge un AUROC > 98,85% senza bisogno di ri-addestramento, dimostrando che i segnali di sicurezza sottostanti rimangono rilevabili.
• Confronto con Classificatori: SC-TopK raggiunge prestazioni paragonabili o superiori a classificatori LLM fine-tunati, ma con un overhead computazionale e di parametri drasticamente inferiore.

5. Significato e Implicazioni

Questo lavoro è significativo per diverse ragioni:

• Sicurezza Operativa: Fornisce un metodo pratico per monitorare la sicurezza degli LLM in tempo reale con un tasso di falsi positivi accettabile per il deployment industriale, specialmente in settori critici come la biologia e la chimica.
• Superamento del "Shortcut Learning": Risolve il problema fondamentale per cui i modelli di sicurezza attuali vengono ingannati dalla semplice presenza di parole chiave, insegnando loro a valutare la coerenza semantica e l'intento su più segmenti di testo.
• Resilienza agli Attacchi Adversarial: Dimostra che le difese basate sulle rappresentazioni interne sono robuste anche contro tentativi di offuscamento sofisticati (cifrari), purché il modello sottostante sia in grado di interpretare il contenuto semantico.
• Efficienza: Offre una soluzione scalabile che non richiede l'esecuzione di modelli pesanti aggiuntivi, facilitando l'integrazione in sistemi di produzione con vincoli di latenza.

In sintesi, il paper introduce un approccio di "coerenza a livello di segmento" che trasforma il rilevamento di intenti dannosi da un gioco di parole chiave a un processo di valutazione contestuale robusto, migliorando drasticamente l'affidabilità dei sistemi di sicurezza per gli LLM.