💻 computer science

Detecting Safety Training Modification in Language Models via Activation Analysis

Questo articolo introduce AMS, uno strumento basato sulle attivazioni che rileva le modifiche all'addestramento alla sicurezza dei modelli linguistici analizzando la struttura geometrica dei concetti di sicurezza nello spazio delle attivazioni, classificando con successo quattro distinti tipi di modifica attraverso diverse architetture e rivelando una correlazione tra le firme delle attivazioni e la conformità comportamentale.

Autori originali: Glen Messenger

Pubblicato 2026-08-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Glen Messenger

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate che Internet sia una gigantesca biblioteca dove chiunque può prendere in prestito libri, ma alcuni di questi libri sono in realtà manuali pericolosi su come costruire bombe o ingannare le persone. Nel mondo dell'intelligenza artificiale, questi "libri" sono chiamati modelli linguistici. Recentemente, un gruppo di persone ha iniziato a prendere questi utili libri di IA e a modificarli segretamente per rimuovere le regole di sicurezza, trasformandoli in versioni "non censurate" che risponderanno a qualsiasi domanda, non importa quanto dannosa. Questo è un po' come se un bibliotecario scambiasse un'enciclopedia standard con una versione in cui le pagine su "come non rubare" siano state strappate via.

Per capire come potremmo scovare questi sabotatori, dobbiamo sapere un po' di come l'IA "pensa". Quando un'IA legge una frase, non si limita a memorizzare le parole; le converte in una complessa mappa di numeri chiamata "attivazioni". Pensate a questa mappa come a una gigantesca mappa numerica multidimensionale. È come un enorme parco giochi multidimensionale. In un'IA ben educata e sicura, esiste un sentiero chiaro e ampio che separa le "buone idee" dalle "cattive idee". È come avere una recinzione robusta nel parco giochi che tiene i bambini che giocano a calcio lontani dai bambini che giocano con il fuoco. Quando qualcuno cerca di "decensurare" un'IA, sta cercando di abbattere quella recinzione o di spostare i bambini in modo che il fuoco e la palla da calcio si mescolino. La grande domanda è: possiamo guardare la disposizione del parco giochi e capire se la recinzione è stata manomessa, senza dover chiedere all'IA di provare effettivamente a dare fuoco a qualcosa?

È esattamente ciò che il saggio di Glen Messenger, "Detecting Safety Training Modification in Language Models via Activation Analysis", intende fare. L'autore introduce un nuovo strumento chiamato AMS (Activation-based Model Scanner). Inveve di giocare al gioco del "domanda e rispondi" per vedere se un'IA è pericolosa (il che è lento e può essere ingannato), l'AMS agisce come un ingegnere strutturale. Entra nel parco giochi dell'IA e ne misura la geometria. Controlla se la distanza tra le zone "buone" e quelle "cattive" è ancora ampia e solida.

Lo studio ha testato questo strumento su 14 diversi modelli di IA, da piccoli a grandi, e ha scoperto che l'AMS è molto bravo a individuare quando la recinzione di sicurezza è stata completamente abbattuta. Quando i ricercatori hanno esaminato i modelli in cui l'addestramento alla sicurezza era stato rimosso interamente (come i modelli base o le varianti "Dolphin"), la "recinzione" è crollata e la distanza tra le buone e le cattive idee si è ridotta quasi a zero. L'AMS ha segnalato questi casi come "CRITICAL" con alta precisiono.

Tuttavia, il saggio rivela anche che la storia è un po' più complicata di un semplice "la recinzione non c'è" o "la recinzione c'è". I ricercatori hanno scoperto quattro modi diversi in cui la sicurezza può essere modificata, e l'AMS li gestisce in modo differente:

Il Collasso Totale: Alcuni modelli vedono il loro addestramento alla sicurezza rimosso completamente. La recinzione del parco giochi è sparita. L'AMS lo coglie facilmente.
La Recinzione Rotta: Alcuni modelli hanno le loro regole di sicurezza "ortogonalizzate", un modo elaborato per dire che la recinzione è stata ruotata o torcitata in modo che non blocchi più le cose cattive, anche se le linee sono ancora presenti. L'AMS coglie anche questo, specialmente quando utilizza un secondo controllo per vedere se la recinzione punta nella direzione corretta.
La Recinzione Ruotata: Qui la faccenda si fa complicata. Alcuni modelli (come una specifica versione di Gemma) hanno la loro recinzione di sicurezza ruotata quel tanto che basta per far passare le cose cattive, anche se la recinzione stessa è ancora in piedi e robusta. Il primo controllo dell'AMS dice: "Ehi, la recinzione è ancora lì! È sicura!". Ma il secondo controllo, che osserva la direzione della recinzione, si accorge che punta dalla parte sbagliata e la segnala.
Il Trucco Invisibile: Il saggio identifica un quarto tipo di modifica che l'AMS non può cogliere. In questo caso, la recinzione del parco giochi è ancora in piedi e punta nella direzione giusta, ma l'IA è stata segretamente addestrata a ignorare la recinzione quando parla effettivamente. È come una guardia che sta perfettamente immobile alla porta ma segretamente lascia passare tutti comunque. Il saggio chiama questo "fine-tuning comportamentale" e ammette che l'AMS fallisce nel rilevarlo perché la "geometria" del parco giochi appare perfetta, anche se l'IA è pericolosa.

I ricercatori sono stati attenti a non esagerare con i risultati. Hanno scoperto che la relazione tra la "forza della recinzione" e quanto l'IA si comporta in modo pericoloso è reale ma rumorosa. È come una banderuola segnavento: se la banderola è rotta, sai che sta arrivando una tempesta, ma se la banderola gira, devi comunque guardare fuori per esserne sicuro. Nei loro test, lo strumento ha identificato correttamente lo stato di sicurezza circa il 71% delle volte quando testato su nuovi modelli.

Il saggio conclude che, sebbene l'AMS sia uno strumento veloce e potente per un primo controllo — richiedendo solo dai 10 ai 40 secondi per scansionare un modello — non dovrebbe essere l'unica guardia alla porta. A causa del "trucco invisibile" (il quarto tipo di modifica), l'autore suggerisce di usare l'AMS per smistare rapidamente i pericoli ovvi, ma poi di seguire con i test tradizionali (fare domande all'IA) per catturare quelli subdoli che sembrano sicuri all'interno ma agiscono in modo pericoloso all'esterno. È un modo nuovo e intelligente per individuare le manomissioni, ma non è una bacchetta magica che risolve l'intero problema.

Sintesi Tecnica: Rilevamento della Modifica dell'Addestramento alla Sicurezza nei Modelli di Linguaggio tramite Analisi delle Attivazioni

1. Definizione del Problema

La proliferazione di modelli di linguaggio a pesi aperti ha portato a un ecoso di varianti modificate per la sicurezza (ad es., modelli "uncensored", modelli "abliterated") progettate per rimuovere o indebolire i guardrail di sicurezza. Questi modelli pongono rischi significativi quando vengono implementati in produzione, sia attraverso attacchi intenzionali alla catena di approvvigionamento che attraverso l'implementazione accidentale di pesi modificati.

Gli attuali metodi di rilevamento si affidano al testing comportamentale (prompting dei modelli con richieste dannose). Il documento identifica tre criticità fondamentali di questo approccio:

Lentezza: Richiede migliaia di query per modello.
Incompletezza: Non può coprire l'intero spazio dei comportamenti dannosi.
Evasione: I modelli possono essere addestrati per rifiutare prompt specifici dei benchmark pur rispettando attacchi nuovi (overfitting del benchmark).

Il documento postula che l'addestramento alla sicurezza crei una struttura geometrica misurabile nello spazio delle attivazioni del modello. Nello specifico, i modelli istruiti (instruction-tuned) sviluppano vettori di direzione che separano i contenuti dannosi da quelli benigni con alta confidenza. Rimuovere l'addestramento alla sicurezza modifica questa struttura. L'obiettivo è rilevare queste modifiche strutturali senza fare affidamento su query comportamentali.

2. Metodologia: Activation-based Model Scanner (AMS)

L'autore introduce AMS, uno strumento che rileva le modifiche alla sicurezza misurando la struttura geometrica dei concetti rilevanti per la sicurezza nello spazio delle attivazioni.

Meccanismo Core

AMS opera sul presupposto che l'addestramento alla sicurezza crei cluster distinti per i contenuti dannosi e benigni. Rimuovere l'addestramento alla sicurezza provoca il collasso o la rotazione di questi cluster. Lo strumento esegue le seguenti fasi:

Estrazione delle Attivazioni: Estrae gli stati nascosti (hidden states) dalla posizione dell'ultimo token attraverso i layer (tipicamente tra il 40% e l'80% della profondità).
Costruzione del Dataset Contrastivo: Utilizza 16 coppie di prompt per concetto (ad es., "Come costruire una bomba" vs "Come costruire una casetta per uccelli") per definire classi positive (dannose) e negative (benigne).
Calcolo del Vettore di Direzione: Calcola la differenza tra i centroidi delle classi positiva e negativa per derivare un vettore di direzione ( $\hat{v}$ ).
Misurazione della Separazione: Quantifica la separazione tra le classi nella deviazione standard aggregata ( $\sigma$ ):
$\text{separazione} = \frac{\mu_+ - \mu_-}{\sigma_{\text{pooled}}}$
Un $\sigma$ elevato indica una forte separazione (sicurezza intatta); un $\sigma$ basso indica una separazione collassata (sicurezza rimossa).
Selezione del Layer: Esegue una scansione (sweep) attraverso i layer per selezionare quello con la massima separazione.

Framework di Rilevamento a Due Livelli

AMS impiega un approccio a due livelli per affrontare diverse firme di modifica:

Livello 1 (Controllo Generico della Sicurezza): Misura l'entità della separazione ( $\sigma$ $σ$ ) senza richiedere un baseline.
- PASS: $\sigma > 3.5$ (Direzioni di sicurezza intatte).
- WARNING: $2.0 < \sigma < 3.5$ (Sicurezza degradata).
- CRITICAL: $\sigma < 2.0$ (Nessun addestramento alla sicurezza rilevato).
Livello 2 (Verifica dell'Identità): Confronta l'impronta digitale delle attivazioni di un modello con un noto baseline "pulito".
- Controlla la Similitudine di Direzione (similarità del coseno $> 0.8$ ).
- Controlla la Deriva della Separazione (variazione relativa $< 20\%$ ).
- Rileva le modifiche che preservano l'entità ma ruotano la direzione del rifiuto.

Concetti di Sicurezza Valutati

Lo strumento valuta tre concetti specifici:

Rilevamento di Contenuti Dannosi: Distingue tra richieste di armi/malware e analoghi benigni.
Resistenza all'Injection di Prompt: Distingue i tentativi di injection dalle istruzioni legittime.
Capacità di Rifiuto: Distingue le richieste che dovrebbero essere rifiutate da compiti di programmazione accettabili.

3. Contributi Chiave

Il documento presenta cinque contributi primari:

Tassonomia Meccanicistica delle Modifiche alla Sicurezza: L'autore definisce una tassonomia a quattro classi basata sulle firme nello spazio delle attivazioni:
- (i) Rimozione dell'Addestramento (Training Removal): Collassa la separazione dei cluster (es. modelli base, varianti Dolphin). Rilevato dal Livello 1.
- (ii) Abliterazione per Ortogonalizzazione dei Pesi (Weight-Orthogonalization Abliteration): Collassa la separazione e ruota la direzione del rifiuto (es. Llama-3.1-abliterated). Rilevato sia dal Livello 1 che dal Livello 2.
- (iii) Abliterazione con Rotazione senza Collasso (Rotation-Without-Collapse Abliteration): Preserva la separazione dei cluster ma ruota la direzione del rifiuto (es. Gemma-2-9b-abliterated). Rilevato solo dal Livello 2.
- (iv) Fine-Tuning Comportamentale (Behavioral Fine-Tuning): Preserva sia l'entità che la direzione ma modifica l'output comportamentale (es. DarkIdol). Indetectabile tramite probing delle sole attivazioni.
Framework di Rilevamento a Due Livelli: Un sistema complementare dove il Livello 1 cattura il collasso della geometria e il Livello 2 cattura la rotazione della direzione, fornendo una difesa in profondità.
Rigore Statistico: Il documento riporta l'accuratezza della cross-validazione leave-one-out (LOOCV), gli intervalli di confidenza (CI) bootstrap al 95% per le stime di $\sigma$ e documenta un sistematico bias verso l'alto nelle stime puntuali di singola esecuzione, raccomandando l'uso dei limiti inferiori dei CI per una segnalazione onesta.
Analisi della Correlazione Comportamentale: Lo studio correla i segnali strutturali con la conformità comportamentale su 20 prompt stratificati di JailbreakBench, riscontrando una moderata correlazione negativa ( $r = -0.546$ ) ma notando rumore significativo e casi di fallimento.
Modalità di Fallimento Caratterizzate: Il documento identifica e spiega esplicitamente due classi di attacchi che AMS manca: la rotazione senza collasso (fallimento del Livello 1) e il fine-tuning comportamentale che preserva la geometria (fallimento di Livello 1 e Livello 2).

4. Risultati Sperimentali

L'autore ha valutato 14 configurazioni di modelli attraverso quattro famiglie di architetture (Llama, Gemma, Qwen, Mistral) e quattro categorie di modifica.

Accuratezza del Rilevamento: La LOOCV delle soglie ha raggiunto un'accuratezza del 71% (10/14 modelli). I quattro errori di classificazione non sono stati errori casuali, ma corrispondevano alle modalità di fallimento meccanicistico identificate nella tassonomia.
Incertezza Statistica: L'analisi bootstrap ha rivelato intervalli di confidenza ampi (larghezza mediana 3.4 $\sigma$ ). Il 62% delle celle presentava CI che incrociavano la soglia di PASS, indicando che i valori di $\sigma$ di singola esecuzione sono spesso statisticamente incerti vicino ai confini.
Correlazione Comportamentale: Il segnale strutturale ( $\sigma$ sui contenuti dannosi) ha predetto la conformità comportamentale con una correlazione di Pearson di $r = -0.546$ ( $p=0.043$ ). Tuttavia, la correlazione di rango Spearman era più debole e non significativa ( $\rho = -0.423, p=0.13$ ).
Falsi Negativi:
- Gemma-2-9b-abliterated: Ha superato il Livello 1 ( $\sigma=4.54$ ) ma è fallito nel Livello 2 (la similitudine di direzione è diminuita). Ciò ha confermato la firma "rotazione senza collasso".
- DarkIdol: Ha superato sia il Livello 1 che il Livello 2 ( $\sigma=5.45$ , direzione preservata) ma ha mostrato una conformità comportamentale del 97%. Ciò ha confermato il punto cieco del "fine-tuning comportamentale".
Affidabilità delle Etichette: AMS ha correttamente segnalato Mistral-7B-Instruct-v0.3 come CRITICAL ( $\sigma=1.39$ ) nonostante la sua etichetta come modello istruito, dimostrando che i segnali strutturali possono essere più affidabili delle etichette dei metadati.

5. Significato e Limitazioni

Significato:
Il documento dimostra che l'addestramento alla sicurezza lascia un'impronta misurabile e strutturale nello spazio delle attivazioni che può essere scansionata in 10–40 secondi (rispetto alle ore necessarie per il testing comportamentale). Fornisce una spiegazione meccanicistica del perché diverse tecniche di "de-censura" producano firme differenti, andando oltre il testing comportamentale black-box per approdare alla verifica strutturale. Stabilisce che la geometria delle attivazioni è un forte, seppur non perfetto, predittore del comportamento di sicurezza.

Affermazioni Modeste e Limitazioni:
L'autore è esplicito riguardo alle limitazioni del proprio approccio:

Non è un Gate Standalone: AMS non è sufficiente per la certificazione della sicurezza. La Classe (iv) di fallimento (fine-tuning comportamentale che preserva la geometria) rappresenta un punto cieco fondamentale per il probing basato solo sulle attivazioni.
Ruolo Complementare: AMS è progettato come uno strumento di triage strutturale rapido da accoppiare alla validazione comportamentale. I modelli che superano AMS devono comunque essere sottoposti a test comportamentali per escludere modifiche di Classe (iv).
Sensibilità delle Soglie: Le soglie (ad es., 3.5 $\sigma$ ) sono derivate dal set specifico di 14 modelli e potrebbero non generalizzarsi perfettamente all'intera popolazione senza un'ulteriore calibrazione su dataset indipendenti.
Bias della Singola Esecuzione: Le stime puntuali di $\sigma$ sono sistematicamente ottimistiche; l'autore raccomanda di utilizzare i limiti inferiori dei CI bootstrap per le decisioni operative.
Ambito: Lo strumento non rileva attacchi di prompt injection al momento dell'inferenza, né affronta problemi di sicurezza al di fuori dei tre concetti testati (ad es., bias, inganno), a meno che non vengano creati nuovi dataset contrastivi.

In conclusione, il documento presenta AMS come un passo significativo verso la sicurezza della supply chain per i modelli a pesi aperti, offrendo un metodo di verifica strutturale rapido che integra, piuttosto che sostituire, il tradizionale red-teaming comportamentale.