📊 statistics

Online Shift Detection and Conformal Adaptation for Deployed Safety Classifiers

Questo articolo presenta un sistema di monitoraggio online che rileva i cambiamenti distribuzionali nei classificatori di sicurezza distribuiti utilizzando statistiche sequenziali e impiega successivamente l'adattamento conforme per recuperare i tassi di errore target, sebbene la sua efficacia vari significativamente tra diverse architetture di modelli e tipi di shift, rendendo necessari profili di monitoraggio per ogni classificatore.

Autori originali: Jun Wen Leong

Pubblicato 2026-06-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jun Wen Leong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un guardia giurata molto intelligente (un classificatore di sicurezza) alla porta di un edificio. Questa guardia è stata addestrata per riconoscere i "cattivi" (contenuti non sicuri) basandosi su una lista specifica di minacce note. Il problema è che i cattivi sono astuti; cambiano travestimento, usano un nuovo gergo o trucchi completamente nuovi. Se la guardia continua a usare la vecchia lista, potrebbe iniziare a far entrare persone pericolose senza rendersene conto. Questo articolo presenta un sistema di allarme intelligente e un manuale di regole autocorreggibile per aiutare la guardia a rimanere allerta.

Ecco come funziona il sistema, suddiviso in parti semplici:

1. Il problema del "Fallimento Silenzioso"

Di solito, se una guardia giurata si stanca o si confonde, commette un errore e lo vedi immediatamente. Ma nella sicurezza dell'IA, la guardia può "perdere l'abitudine" senza commettere un singolo errore evidente. Potrebbe iniziare a dare risposte "sicure" a domande pericolose, ma poiché il sistema non ha una lista dei nuovi cattivi contro cui controllare, pensa che tutto vada bene. Questo è un fallimento silenzioso. L'articolo vuole intercettare questo problema prima che la guardia inizi a far entrare troppi cattivi.

2. Il Sistema di Allarme: Il "Canarino Statistico"

Gli autori hanno costruito un monitor che osserva il comportamento della guardia in tempo reale.

Come funziona: Immagina che la guardia assegni un "punteggio di pericolo" a ogni persona che entra. Di solito, questi punteggi seguono un modello prevedibile (come una curva a campana). Il monitor tiene una "finestra scorrevole" degli ultimi 100 o 200 punteggi.
Il Trigger: Confronta questa finestra attuale con un riferimento "congelato" di come dovrebbero essere i punteggi. Se i punteggi attuali iniziano a sembrare strani (come se la curva a campana improvvisamente si appiattisse o si spostasse), il monitor suona un allarme.
I Risultati: In un test massiccio che coinvolge 4 diversi tipi di guardie e 5 diversi tipi di travestimenti per i "cattivi", questo sistema ha colto il problema l'86,6% delle volte. Di solito faceva scattare l'allarme entro circa 40 passaggi (o interazioni) dopo l'inizio del problema.
L'Imprevisto: A volte l'allarme scatta quando non c'è nulla di sbagliato (un "falso allarme), ma il team lo ha tarato in modo che ciò accada solo il 2% o il 10% delle volte.

3. Il Manuale di Regole Autocorrezibile: "Adattamento Conforme"

Quando l'allarme suona, il sistema non va nel panico; cerca di correggere il processo decisionale della guardia.

L'Idea: Il sistema cerca di ri-pesare i dati di addestramento passati della guardia per adattarli al nuovo mondo strano che la guardia sta vedendo ora. È come dire alla guardia: "Ehi, le persone che arrivano oggi sembrano diverse, quindi adattiamo le tue regole per essere più severi o più permissivi a seconda di ciò che vediamo".
La Sorpresa (Il "Collasso"): Il team ha scoperto un grosso guasto. Per tre dei quattro tipi di guardia, questo ri-pesaggio è fallito completamente.
- Perché? I "cattivi" e i "buoni" erano così distinti nel cervello del computer (lo "spazio di embedding") che la matematica pensava fossero perfettamente separati. Era come cercare di mescolare olio e acqua; la matematica ha semplicemente rinunciato e ha detto: "Sono totalmente diversi, non posso mescolarli". Ciò ha causato l'arresto dell'adattamento delle regole, lasciando la guardia bloccata con le vecchie regole rotte.
- La Soluzione: Hanno scoperto che se schiacciavano i dati in meno dimensioni (come guardare un oggetto 3D da un'angolazione 2D), la "separazione perfetta" scompariva. Improvvisamente, la matematica poteva mescolare i dati di nuovo, e il sistema funzionava! Questo ha salvato il sistema per le altre tre guardie.

4. La Sorpresa del "Crossover"

L'aspetto più interessante è che diversi tipi di guardie reagiscono in modo diverso a diversi trucchi.

Le Guardie "Encoder" (come DeBERTa): Sono brave a individuare persone che si limitano a riformulare una frase cattiva (parafresi), ma si confondono con attacchi complessi generati dal computer (suffix attacks).
Le Guardie "Decoder" (come Llama Guard): Sono l'opposto! Faticano con le semplici riformulazioni, ma sono velocissime nel rilevare quegli attacchi complessi generati dal computer.
La Lezione: Non si può usare un allarme "universale". Una guardia che è brava in una cosa potrebbe essere terribile in un'altra. L'articolo sostiene che è necessario un profilo di monitoraggio personalizzato per ogni specifica guardia che si distribuisce.

5. Test nel Mondo Reale

Il team non ha testato questo sistema solo con dati finti. Lo ha testato con:

Reali Jailbreak: Effettivi prompt malevoli trovati in database pubblici. Il sistema li ha intercettati l'85% delle volte.
L'Attacco "Non Trasferibile": Hanno provato un attacco progettato per ingannare una guardia specifica. Ha ingannato con successo quella guardia (quindi la guardia ha fatto entrare il cattivo), ma le altre guardie lo hanno visto come estremamente pericoloso. Questo suggerisce che anche se un attacco batte una guardia, le altre guardie potrebbero comunque far scattare l'allarme, agendo come una rete di sicurezza di backup.

Riassunto

L'articolo costruisce un cane da guardia che nota quando un'IA di sicurezza inizia ad agire in modo strano, e una patch che cerca di aggiornare le regole dell'IA al volo.

Successo: Funziona bene nel rilevare i problemi rapidamente.
Fallimento: Il meccanismo di aggiornamento automatico delle regole spesso si rompe perché la matematica interna dell'IA diventa troppo "perfetta" nel separare bene e male.
Soluzione: Semplificare i dati (usando la PCA) risolve il problema matematico.
Conclusione Chiave: Non tutte le guardie di sicurezza sono costruite allo stesso modo. È necessario conoscere le debolezze della propria guardia specifica per monitorarla efficacemente.

Riepilogo Tecnico: Rilevamento di Shift Online e Adattamento Conforme per Classificatori di Sicurezza in Produzione

Definizione del Problem

I classificatori di sicurezza fungono da strato di difesa critico tra i modelli linguistici di grandi dimensioni (LLM) e gli utenti, tuttavia operano sotto un'ipotesi di stazionarietà: che le distribuzioni di input future siano simili alla distribuzione di calibrazione. Questa ipotesi fallisce a causa dell'adattamento avversario, del drift linguistico organico, del code-switching multilingue e degli attacchi compositivi. La principale modalità di fallimento è "silenziosa": l'accuratezza di un classificatore può degradare significativamente (ad esempio, dal 95% all'80%) senza generare un segnale di errore se non sono disponibili etichette di ground-truth in tempo reale. Nel momento in cui la valutazione offline rileva il problema, il sistema potrebbe aver preso decisioni inaffidabili per giorni o settimane.

Il documento affronta due sfide fondamentali:

Rilevamento: Come rilevare shift distribuzionali online con tassi di falsi allarmi controllati attraverso diversi tipi di shift e architetture di classificatori.
Adattamento: Come recuperare le garanzie di copertura dopo il rilevamento dello shift senza richiedere nuovi dati etichettati, specificamente utilizzando la predizione conforme pesata.

Metodologia

Architettura del Sistema

Il sistema proposto è un monitor online che osserva un flusso di output del classificatore: testo di input ( $x_t$ ), probabilità di classe non sicura ( $s_t$ ) e rappresentazioni dello strato penultimo ( $r_t$ ). Comprende due componenti principali:

Rilevatore di Shift: Un rilevatore a finestra scorrevole che attiva un allarme quando la distribuzione di input subisce uno shift.
Strato di Astensione Conforme: Uno strato a valle che adatta le soglie decisionali in seguito all'allarme per preservare un tasso di errore target ( $\epsilon = 0.1$ ).

Meccanismi di Rilevamento

Il sistema valuta due canali di rilevamento:

Rilevatore Kolmogorov–Smirnov (KS): Monitora la distribuzione marginale dei punteggi del classificatore. Mantiene una finestra scorrevole di punteggi recenti e calcola la statistica KS a campione singolo rispetto a una funzione di ripartizione (CDF) di riferimento congelata, stabilita durante la calibrazione.
Rilevatore Maximum Mean Discrepancy (MMD): Monitora la geometria degli embedding del classificatore utilizzando una finestra scorrevole di vettori di embedding e un kernel gaussiano.

Logica di Calibrazione e Allarme:
Per controllare i tassi di falsi allarmi (FAR) su un orizzonte di monitoraggio, il sistema impiega la calibrazione empirica tramite simulazione del caso nullo. Invece di fare affidamento esclusivamente su vincoli teorici (come Hoeffding), che possono essere conservativi per le finestre scorrevoli, il sistema esegue 50 flussi di controllo negativo (solo dati in-distribution) per determinare il 97° percentile della statistica massima osservata come soglia di allarme.

Adattamento Conforme

Al rilevamento di uno shift, il sistema attiva uno strato di predizione conforme pesata.

Stima del Rapporto di Densità: Stima il rapporto di densità $w_i = p_{target}(x_i) / p_{source}(x_i)$ tra le distribuzioni sorgente (calibrazione) e target (shifted) utilizzando la regressione logistica sugli embedding del classificatore.
Quantile Pesato: La soglia conforme viene ricalcolata come un quantile pesato dei punteggi di non conformità.
Stabilità: I pesi sono limitati (clipping) nell'intervallo $[1/C, C]$ (con $C=10$ ) per garantire la stabilità.

Design Sperimentale

Gli autori hanno condotto una valutazione fattoriale pre-registrata:

Classificatori (4): DeBERTa-v3-large, Text-Moderation (DeBERTa-v3-base), Llama Guard 3 e ShieldGemma.
Condizioni di Shift (5): Parafrasi, Code-switch, Composizionale, Temporale (jailbreak reali) e Suffix Avversario (ottimizzato con GCG).
Parametri: 20 seed casuali, 2 dimensioni di finestra (100, 200), per un totale di 800 celle sperimentali.

Risultati Chiave

1. Performance di Rilevamento (RQ1)

Efficacia Complessiva: Il sistema ha raggiunto un tasso di rilevamento valido dell'86.6% (693/800 celle) con una latenza media di rilevamento di 39.5 step (con finestra di dimensione 100). I tassi di falsi allarmi empirici sono variati dal 2% al 10% tra i vari classificatori.
Interazione di Crossover: È stata osservata un'interazione significativa tra l'architettura del classificatore e il tipo di shift:
- Encoder (DeBERTa, Text-Moderation): Hanno rilevato rapidamente gli shift naturalistici (parafrasi, composizionali) (24–35 step), ma hanno faticato con i suffix avversari (fino a 36.6 step).
- Decoder (Llama Guard, ShieldGemma): Hanno rilevato rapidamente i suffix avversari (26–28 step), ma sono stati lenti sulla parafrasi (64–97 step).
Regimi di Ground-Truth: Il rilevamento è stato mantenuto in tre regimi: onset sintetico, veri jailbreak temporali (85% di rilevamento su 20 celle) e scenari di successo avversario.
- Caso di Successo Avversario: In un regime specifico in cui i suffix GCG hanno avuto successo nel ribaltare la classificazione di DeBERTa, lo shift era indetectabile da DeBERTa (i punteggi si sono spostati nella regione sicura, indistinguibili dal riferimento) ma era rilevabile da classificatori non target (Llama Guard), dove gli stessi input apparivano più pericolosi. Ciò suggerisce che il rilevamento di anomalie cross-classificatore può servire come "canarino" per l'evasione avversaria.

2. Adattamento Conforme (RQ2)

Collasso del Rapporto di Densità: È stato identificato un modo di fallimento critico. Per tre dei quattro classificatori (Text-Moderation, Llama Guard, ShieldGemma), lo stimatore del rapporto di densità tramite regressione logistica ha raggiunto la separabilità lineare perfetta nello spazio degli embedding ad alta dimensionalità. Ciò ha costretto tutti i pesi di importanza al valore minimo di clipping ( $1/C = 0.1$ ), risultando in una Dimensione Campionaria Effettiva (ESS) di circa 300 (nessun reweighting effettivo) e un recupero della copertura trascurabile ( $\le +0.10$ ).
Eccezione DeBERTa: DeBERTa è stato l'unico classificatore in cui la predizione conforme pesata ha ottenuto un recupero significativo, ma l'efficacia variava in base al tipo di shift:
- Parafrasi: ESS=46, Recupero=+39 punti percentuali (pp).
- Temporale: ESS=88, Recupero=+16 pp.
- Suffix Avversario: ESS=206, Recupero=+2 pp (vicino al collasso).
Rimedio tramite Riduzione della Dimensionalità: L'applicazione della PCA per ridurre gli embedding a 32 dimensioni prima della stima del rapporto di densità ha interrotto la separabilità perfetta. Questo ha ripristinato la copertura per i modelli generativi: Llama Guard ha recuperato +33 pp e ShieldGemma +21 pp sui shift temporali.

3. Decomposizione della Varianza (RQ3

Un'ANOVA a due vie sulla latenza di rilevamento ha rivelato che nessun singolo fattore domina:

Classificatore: $\eta^2 = 0.243$
Tipo di Shift: $\eta^2 = 0.237$
Interazione (Classificatore $\times$ Shift): $\eta^2 = 0.185$
Residuo: $\eta^2 = 0.335$
Tutti i fattori erano statisticamente significativi ( $p < 0.001$ ), indicando che la difficoltà di rilevamento è determinata dalla specifica coppia tra classificatore e tipo di shift, rendendo necessari profili di monitoraggio per ogni classificatore.

Significato e Rivendicazioni

Il documento sostiene di fornire uno studio empirico mirato sui classificatori di sicurezza degli LLM sotto diversi tipi di shift, facendo emergere modalità di fallimento che i framework di monitoraggio generali trascurano. I contributi chiave includono:

Diagnosi del Collasso del Rapporto di Densità: Il lavoro identifica un modo di fallimento specifico negli embedding dei classificatori di sicurezza generativi in cui la regressione logistica raggiunge la separabilità perfetta, rendendo inefficace il reweighting basato sui dati. Dimostra che la riduzione della dimensionalità (PCA) è un necessario diagnostico e rimedio per questo artefatto.
Interazione Architettura $\times$ Shift: Lo studio rivela che la latenza di rilevamento non è una proprietà del solo classificatore o del solo shift, ma della loro interazione. Encoder e decoder mostrano sensibilità opposte ai shift naturalistici rispetto a quelli avversari, sfidando l'idea di una configurazione di monitoraggio universale.
Rilevamento di Anomalie Cross-Classificatore: Il lavoro dimosta che attacchi avversari riusciti contro un classificatore target possono produrre un segnale distributivo insufficiente per quel classificatore specifico, ma apparire anomalie per altri classificatori con architetture differenti, permettendo il rilevamento tramite shift di punteggio cross-classificatore.
Trade-off Operativi: Il confronto tra i rilevatori KS (finestra scorrevole) e Confidence Sequence (finestra crescente) evidenzia un trade-off di deployment: il KS offre un rilevamento più rapido per segnali forti, mentre il CS fornisce un rilevamento superiore per shift deboli e a basso mixing (ad esempio, 97% di rilevamento contro il 43% del KS con contaminazione al 30%).

Gli autori concludono che né la scelta del classificatore né il tipo di shift determinano da soli la difficoltà di rilevamento. Un monitoraggio efficace richiede profili per ogni classificatore che tengano conto delle specifiche interazioni con gli shift, e le strategie di adattamento conforme devono tenere conto degli artefatti di separabilità indotti dalla dimensionalità negli embedding ad alta dimensionalità.