GAVEL: Towards Rule-Based Safety Through Activation Monitoring

1. Enunciato del Problema

I Large Language Models (LLM) sono sempre più vulnerabili agli attacchi di rappresentazione, in cui intenzioni dannose vengono oscurate o parafrasate nel testo superficiale, aggirando i tradizionali filtri di input/output. Sebbene il monitoraggio basato sulle attivazioni (rilevamento di concetti dannosi negli stati nascosti interni del modello) offra una soluzione, gli approcci esistenti soffrono di tre limitazioni critiche:

1. Bassa Precisione: I rilevatori addestrati su dataset di abuso generici (ad esempio, "discorsi d'odio" generici) generano alti tassi di falsi positivi (ad esempio, segnalando discussioni culturali innocue).
2. Flessibilità Limitata: L'imposizione di politiche sfumate e specifiche per il dominio (ad esempio, violazioni specifiche della proprietà intellettuale o regole aziendali) richiede il riaddestramento dei rilevatori o la raccolta di nuovi dataset costosi per ogni modifica della politica.
3. Mancanza di Interpretabilità: Quando un rilevatore si attiva, spesso non fornisce alcuna spiegazione del perché o di quali concetti specifici abbiano causato l'allarme, ostacolando l'audit e la responsabilità.

2. Metodologia: Il Framework GAVEL

Gli autori propongono GAVEL (Governance via Activation-based Verification and Extensible Logic), un cambio di paradigma dalla classificazione a grana grossa alla sicurezza basata su regole di attivazione. Il framework scompone il comportamento del modello in primitive interpretabili e impone la sicurezza tramite regole logiche.

A. Elementi Cognitivi (CE)

Invece di rilevare categorie ampie, GAVEL definisce Elementi Cognitivi (CE): primitive a livello di attivazione a grana fine e interpretabili che rappresentano comportamenti, compiti o argomenti specifici del modello.

• Esempi: "Fare una minaccia", "Elaborazione dei pagamenti", "Fingersi umani", "Creazione di query SQL" o "Costruire fiducia".
• Dataset di Eccitazione: Per catturare un CE specifico, gli autori costruiscono dataset basati solo sul testo ($D_c$) contenenti esempi di quel comportamento. Utilizzano una strategia di prompting specifica ("Pensa a [CE] mentre revisioni...") per elicitarne attivazioni interne forti e allineate.
• Estrazione delle Caratteristiche: Le attivazioni vengono estratte dagli output di attenzione degli strati intermedi e successivi del transformer (nello specifico gli strati 13–26 in Mistral-7B), che si sono rivelati produrre una maggiore accuratezza di rilevamento e minori falsi positivi rispetto agli stati nascosti MLP.

B. Rilevamento Multi-Etichetta

Un classificatore multi-etichetta leggero ($g$) viene addestrato sui vettori di attivazione raccolti. A differenza dei classificatori a singola etichetta, questo modello può rilevare più CE simultaneamente all'interno di un singolo token (ad esempio, un token potrebbe attivare sia "Minacciare" che "Strumenti di Pagamento"). Ciò consente al sistema di gestire stati cognitivi complessi e sovrapposti.

C. Imposizione Basata su Regole

I vincoli di sicurezza sono definiti come regole logiche booleane sulla presenza di CE.

• Sintassi: Le regole seguono una sintassi leggibile dall'uomo simile agli strumenti di cybersecurity (ad esempio, Snort, YARA): stop if <condizione>.
• Logica: Le condizioni sono formule booleane che utilizzano AND ($\land$), OR ($\lor$) e NOT ($\neg$) sulle probabilità dei CE.
  • Esempio: stop if Minaccia AND Pagamento AND Roleplay (rileva un pattern specifico di truffa consentendo al contempo "Minaccia" in contesti non finanziari).
• Monitoraggio Temporale: Le regole vengono valutate su una finestra scorrevole di token per catturare comportamenti dipendenti dal contesto (ad esempio, una truffa che costruisce fiducia per diversi turni prima di chiedere denaro).

D. Flusso di Lavoro

1. Contributo della Comunità: La comunità contribuisce con dataset CE basati solo sul testo e insiemi di regole (agnostici rispetto al modello).
2. Configurazione: Un proprietario del modello seleziona i CE rilevanti e compone regole in base alla propria politica specifica.
3. Addestramento: Il proprietario addestra il classificatore multi-etichetta sul proprio modello specifico utilizzando i dataset CE forniti.
4. Deployment: Il sistema esegue in tempo reale, classificando le attivazioni dei token e attivando azioni (arresto, sovrascrittura, deviazione) quando le regole si attivano.

3. Contributi Chiave

1. Elementi Cognitivi (CE): Introduzione di un vocabolario modulare e compositivo di primitive di attivazione interpretabili che disaccoppia la definizione di sicurezza dall'addestramento del modello.
2. Framework GAVEL: Un sistema pratico per definire, condividere e imporre politiche di sicurezza tramite regole logiche sui CE, consentendo una configurazione rapida senza riaddestrare il modello di base.
3. Risorse Aperte: Rilascio del codice sorgente GAVEL, GAVEL Studio (uno strumento interattivo per la scrittura di regole), un vocabolario CE iniziale e una pipeline per automatizzare la generazione di regole/CE utilizzando agenti LLM.
4. Cambio di Paradigma: Spostamento della sicurezza dell'IA dai rilevatori statici, opachi e a scatola nera verso sistemi basati su regole trasparenti, auditabili e collaborativi ispirati alle pratiche di cybersecurity.

4. Risultati Sperimentali

Gli autori hanno valutato GAVEL su Mistral-7B attraverso nove categorie di abuso (Criminalità informatica, Danno psicologico, Automazione delle truffe) e lo hanno confrontato con baseline tra cui Llama Guard, Perspective API, RepBending e classificatori di attivazione standard.

• Precisione e Recall: GAVEL ha ottenuto punteggi AUC > 0,98 e tassi di falsi positivi (FPR) prossimi allo zero nella maggior parte delle categorie. Ha superato significativamente le baseline nella precisione, in particolare in scenari complessi come "Truffe dell'Autorità Fiscale" e "Adescamento Romantico".
• Robustezza agli Attacchi Avversariali:
  • Disorientamento: Quando i contenuti dannosi sono stati diluiti con testo innocuo, i giudici basati sul testo (GPT-4) hanno fallito (il rilevamento è sceso al ~12%), mentre GAVEL ha mantenuto un recall >85% monitorando gli stati interni.
  • Evasione: GAVEL è rimasto robusto contro i tentativi di nascondere l'intento tramite riformulazione.
• Generalizzazione:
  • Cross-Modello: I CE addestrati su un modello si sono trasferiti efficacemente ad altri (Llama3, Qwen, Gemma) con una perdita di prestazioni minima.
  • Cross-Lingua: I CE definiti in inglese si sono generalizzati allo spagnolo e al mandarino con un degrado delle prestazioni trascurabile, dimostrando che catturano concetti astratti piuttosto che token superficiali.
• Efficienza: L'overhead di GAVEL è trascurabile (<1% di aumento della latenza, ~0,21ms per token), rendendolo fattibile per il deployment in tempo reale.

5. Significato

• Interpretabilità e Auditabilità: A differenza dei rilevatori a scatola nera, GAVEL fornisce motivi espliciti per le violazioni della sicurezza (ad esempio, "Regola attivata perché sono stati rilevati 'Minaccia' E 'Pagamento'"), consentendo un audit con intervento umano.
• Scalabilità e Collaborazione: Disaccoppiando il "cosa" (CE) dal "come" (regole), il framework permette alla comunità di condividere componenti di sicurezza. Le organizzazioni possono adottare CE pre-addestrati e configurare semplicemente le regole per le proprie esigenze specifiche, evitando il costo del riaddestramento.
• Flessibilità delle Politiche: Consente l'imposizione di politiche sfumate e specifiche per il dominio (ad esempio, "Consenti la discussione di discorsi d'odio in contesti accademici ma bloccala nel servizio clienti") che è impossibile definire con dataset di abuso generici.
• Futuro della Governance dell'IA: GAVEL stabilisce una fondazione per un ecosistema di sicurezza dell'IA collaborativo, trasparente e programmabile, riflettendo il successo della condivisione delle regole nella cybersecurity.