Riepilogo Tecnico: RACC: Criteri di Copertura Consapevoli delle Rappresentazioni per il Test di Sicurezza degli LLM

1. Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) affrontano rischi significativi per la sicurezza derivanti da attacchi di jailbreak, che sfruttano le vulnerabilità del modello per generare contenuti dannosi. I test di sicurezza attuali si basano pesantemente su dataset statici e open-source (ad esempio, SafetyBench, SorryBench) e mancano di criteri sistematici per valutare la qualità e l'adeguatezza delle suite di test. Sebbene i criteri di copertura si siano dimostrati efficaci per le più piccole Reti Neurali Profonde (DNN) monitorando le attivazioni dei neuroni, sono inadatti per gli LLM per due motivi principali:

1. Scalabilità: Il sovraccarico computazionale del profiling di miliardi di neuroni attraverso tutti i livelli è proibitivo per gli LLM.
2. Disallineamento degli Obiettivi: I criteri tradizionali a livello di neurone trattano tutte le attivazioni in modo uguale. Negli LLM, la stragrande maggioranza delle attivazioni dei neuroni è ridondante o irrilevante per la sicurezza. Di conseguenza, le metriche a livello di neurone spesso non riescono a distinguere tra prompt significativi rilevanti per la sicurezza e input semanticamente ridondanti o benigni, introducendo rumore nelle valutazioni della copertura.

Esiste un bisogno critico di criteri di copertura scalabili per gli LLM e specificamente radicati in segnali rilevanti per la sicurezza piuttosto che in statistiche grezze di attivazione.

2. Metodologia: Framework RACC

Gli autori propongono RACC (Criteri di Copertura Consapevoli delle Rappresentazioni), un framework che sposta la misurazione della copertura dalle singole attivazioni dei neuroni alle rappresentazioni di sicurezza—direzioni a bassa dimensionalità nello spazio degli stati nascosti del modello che codificano concetti di sicurezza specifici.

2.1 Principi di Progettazione Fondamentali

RACC si basa su tre principi di progettazione adattati per il test di sicurezza degli LLM:

• Insensibilità ai Sinonimi: Prompt semanticamente simili (ad esempio, jailbreak parafrasati) non dovrebbero gonfiare artificialmente le metriche di copertura.
• Insensibilità agli Input Non Validi: Input benigni o non avversari non dovrebbero contribuire alla copertura, poiché l'obiettivo è testare la capacità del modello di rifiutare contenuti dannosi.
• Sensibilità al Jailbreak: Le metriche devono dare priorità ai prompt che attivano con successo comportamenti dannosi o concetti critici per la sicurezza.

2.2 Flusso di Lavoro Tecnico

Il framework RACC opera in tre fasi:

1. Estrazione della Rappresentazione di Sicurezza:

   • Viene curato un piccolo set di calibrazione di prompt dannosi per rappresentare categorie di sicurezza specifiche.
   • Le attivazioni degli stati nascosti da questi prompt vengono raccolte dai livelli intermedi del modello.
   • Viene applicata l'Analisi delle Componenti Principali (PCA) a queste attivazioni per identificare le prime $n$ componenti principali. Queste componenti formano le rappresentazioni di sicurezza, rappresentando le direzioni primarie dei concetti di sicurezza nello spazio nascosto.

2. Calcolo dell'Attivazione del Concetto:

   • Per qualsiasi prompt di input, lo stato nascosto del modello viene proiettato sulle rappresentazioni di sicurezza identificate.
   • L'entità di questa proiezione funge da punteggio di attivazione del concetto, quantificando l'intensità dei concetti di sicurezza specifici attivati dall'input.

3. Calcolo della Copertura:
   RACC definisce sei sottocriteri divisi in due dimensioni:

   • Dimensione I: Copertura del Concetto Individuale
     • Copertura della Funzionalità di Sicurezza (SFC): Misura la proporzione di funzionalità di sicurezza attivate al di sopra di una soglia da almeno un prompt.
     • Copertura delle Funzionalità Top-K (TKFC): Misura la proporzione di funzionalità di sicurezza che appaiono tra le funzionalità più attive nei primi $k$ per almeno un prompt.
     • Copertura dell'Intensità della Funzionalità (FIC): Discretizza le entità di attivazione in bin per misurare la diversità delle intensità di attivazione tra le funzionalità.
   • Dimensione II: Copertura del Concetto Compositivo
     • Copertura del Cluster Semantico (SCC): Utilizza il clustering K-Means sui vettori di sicurezza proiettati per misurare la diversità delle modalità semantiche visitate dalla suite di test.
     • Copertura del Concetto a Coppie (PCC): Misura la co-occorrenza di coppie di funzionalità di sicurezza, catturando le interazioni tra i concetti.
     • Copertura del Confine del Cluster (CBC): Identifica i prompt che risiedono in regioni a bassa densità tra i cluster semantici, prendendo di mira i confini di sicurezza ambigui dove i modelli sono più vulnerabili.

3. Contributi Chiave

• Framework RACC: La proposta di un criterio di copertura scalabile e consapevole delle rappresentazioni, specificamente progettato per la sicurezza degli LLM, affrontando le limitazioni delle metriche a livello di neurone.
• Sei Sottocriteri: Un nuovo insieme di metriche che coprono sia l'attivazione del concetto individuale che le interazioni compositive, radicate nelle rappresentazioni di sicurezza piuttosto che nei neuroni grezzi.
• Validazione Empirica: Esperimenti completi che dimostrano che RACC soddisfa i tre principi di progettazione (insensibilità ai sinonimi, insensibilità agli input non validi, sensibilità al jailbreak) e supera le baseline esistenti a livello di neurone.
• Applicazioni Pratiche: Dimostrazione dell'utilità di RACC nella prioritizzazione delle suite di test (filtrando prompt ridondanti o non validi) e nel campionamento di prompt di attacco (selezionando jailbreak diversificati e di successo).
• Open Source: Rilascio dell'implementazione per facilitare ulteriori ricerche.

4. Risultati Sperimentali

Gli autori hanno valutato RACC su tre LLM open-source (Vicuna-7B, Llama-2-7B, Qwen-2.5-7B) utilizzando benchmark come SorryBench e ORBench-Toxic.

• Efficacia rispetto ai Criteri a Livello di Neurone:
  • Le metriche RACC hanno mostrato un'alta sensibilità agli attacchi di jailbreak (ad esempio, $S_{JA}$), producendo significativi guadagni di copertura.
  • Crucialmente, RACC è rimasta insensibile agli input non validi (prompt benigni) e alle semantica ridondanti (sinonimi). Al contrario, le baseline a livello di neurone (ad esempio, NC, TKNC) hanno mostrato grandi e fuorvianti aumenti di copertura quando venivano aggiunti prompt benigni o sinonimi, non riuscendo a distinguere tra test di sicurezza efficaci e rumore.
• Diversità del Tipo di Rischio: Le metriche RACC sono aumentate monotonicamente con la diversità delle categorie di violazione della sicurezza nella suite di test, mentre le metriche a livello di neurone sono rimaste stagnanti o hanno fluttuato casualmente.
• Allineamento Concettuale: Quando le suite di test sono state costruite con una sovrapposizione semantica variabile rispetto al set di calibrazione, i punteggi RACC sono diminuiti rigorosamente all'aumentare della diminuzione della sovrapposizione, confermando che le metriche misurano concetti di sicurezza specifici piuttosto che anomalie generiche.
• Applicazioni:
  • Prioritizzazione: La selezione guidata da RACC ha messo in primo piano candidati validi in modo significativamente migliore rispetto alle baseline a livello di neurone (ad esempio, AUC di 0,667 contro 0,340 su SorryBench).
  • Campionamento: RACC ha accelerato la scoperta di jailbreak di successo e categorie di attacco diversificate rispetto alle baseline.
• Generalizzazione: RACC si è dimostrata robusta attraverso diverse dimensioni del modello (scalando fino a 13B), dimensioni del set di calibrazione (efficace anche con set piccoli), livelli di estrazione e configurazioni di iperparametri. È stata inoltre proposta una strategia di selezione adattiva dei parametri (AdaRACC) per eliminare la regolazione manuale.

5. Significato e Affermazioni

Il documento afferma che RACC fornisce una base scalabile e principiale per il test di sicurezza degli LLM guidato dalla copertura. Radicando la copertura nelle direzioni dei concetti di sicurezza piuttosto che nelle attivazioni grezze dei neuroni, RACC risolve il collo di bottiglia della scalabilità e il divario di allineamento degli obiettivi intrinseci nei tradizionali criteri di copertura delle DNN.

Gli autori affermano che RACC non è semplicemente un rilevatore di anomalie generico, ma uno strumento che misura specificamente l'attivazione di semantica rilevante per la sicurezza. Ciò consente la valutazione rigorosa, la prioritizzazione e l'ottimizzazione delle suite di test di sicurezza, spostando il campo oltre la dipendenza da dataset statici verso un'ingegneria della sicurezza dinamica e consapevole della copertura. Il lavoro stabilisce che concentrarsi su rappresentazioni di sicurezza a rango basso è un approccio vitale e superiore per valutare l'adeguatezza del test di sicurezza degli LLM.