Riepilogo Tecnico: GUARD

Enunciato del Problema

Man mano che i Modelli Linguistici su Grande Scala (LLM) diventano fondamentali in vari settori, il loro potenziale di generare risposte dannose ha sollevato preoccupazioni significative a livello sociale e normativo. Governi e organismi autorevoli hanno emanato linee guida etiche di alto livello (ad esempio, le "Linee guida etiche per un'IA affidabile" dell'UE, il "Blueprint for an AI Bill of Rights" degli USA e il "Quadro di gestione del rischio per l'IA" del NIST) per regolamentare lo sviluppo dell'IA. Tuttavia, esiste un divario critico tra queste richieste normative astratte e di alto livello e i test azionabili necessari per verificare la conformità degli LLM. Gli sviluppatori affrontano due sfide principali:

1. Mancanza di Istruzioni Azionabili: Le linee guida spesso mancano di passaggi pratici specifici per i test. Ad esempio, una regola può richiedere la protezione dei diritti fondamentali, ma senza passaggi di valutazione concreti, verificare la conformità è difficile.
2. Limitazioni degli Scenari: I test di conformità standard spesso non riescono a rilevare vulnerabilità in scenari speciali. Sebbene un LLM possa rifiutare una query dannosa diretta, potrebbe conformarsi quando la stessa query è incorporata in un prompt di "jailbreak" (ad esempio, "Fai qualsiasi cosa ora") che aggira i meccanismi di sicurezza integrati.

I metodi esistenti si basano spesso su benchmark statici o red-teaming manuale, che potrebbero non tradurre sistematicamente le linee guida di alto livello in casi di test diversificati che violano le linee guida, né identificare efficacemente la non conformità nascosta in scenari imprevisti.

Metodologia: GUARD

Gli autori propongono GUARD (Guideline Upholding Test through Adaptive Role-play and Jailbreak Diagnostics), un framework di test progettato per rendere operative le linee guida governative in casi di test specifici e identificare le vulnerabilità di sicurezza. La metodologia è composta da due componenti principali:

1. Guideline Upholding Test

Questa componente trasforma le linee guida astratte in specifiche "domande che violano le linee guida" ($Q$) per testare se un LLM ($F$) produce una risposta che viola ($V(Q)$) o una risposta che aderisce ($D(Q)$). Il processo impiega un sistema adattivo di role-playing multi-agente:

• Analista: Estrae i principi chiave e i potenziali conflitti dalle linee guida grezze.
• Comitato Strategico: Mappa questi principi su domini concreti e scenari realistici in cui potrebbero verificarsi violazioni.
• Progettista di Domande: Converte questi scenari in domande di test candidate, sfruttando benchmark esistenti (ad esempio, AdvBench, HarmBench) per stile e struttura.
• Revisore di Domande: Valuta le domande generate basandosi su tre metriche:
  • Dannosità ($H$): Probabilità di indurre una risposta dannosa.
  • Densità Informativa ($I$): Similarità stilistica con i benchmark esistenti.
  • Conformità ($C$): Una valutazione a quattro opzioni in cui la domanda generata è mescolata con tre violazioni fuorvianti; il revisore seleziona quella che meglio si allinea all'intento della linea guida per garantire che la domanda sia un caso di test valido.
    Le domande vengono conservate solo se soddisfano le soglie per dannosità e densità informativa e superano il controllo di conformità.

2. Diagnostica Jailbreak (GUARD-JD)

Per le domande in cui l'LLM fornisce inizialmente una risposta aderente alla linea guida (rifiuto), GUARD-JD tenta di indurre una violazione creando "scenari di gioco" ($S$) che agiscono come jailbreak.

• Costruzione del Grafo della Conoscenza (KG): Il sistema analizza 78 prompt di jailbreak esistenti (da Jailbreak Chat) per estrarre otto caratteristiche (ad esempio, Introduzione/Nominazione, Capacità, Formato di Risposta). Questi vengono archiviati in un Grafo della Conoscenza dove i nodi rappresentano parole chiave/attributi e gli archi rappresentano relazioni ponderate per frequenza.
• Generazione di Scenari: Un ruolo Generatore utilizza un algoritmo Random Walk sul KG per assemblare scenari di gioco coerenti in linguaggio naturale da frammenti di jailbreak.
• Ottimizzazione Iterativa: Il processo coinvolge tre ruoli:
  • Generatore: Costruisce lo scenario $S$ e lo combina con la domanda $Q$ per formare un prompt di jailbreak $P = S \oplus Q$.
  • Valutatore: Calcola il punteggio di similarità semantica tra la risposta dell'LLM target a $P$ e la risposta originale aderente alla linea guida $D(Q)$.
  • Ottimizzatore: Fornisce feedback al Generatore per modificare lo scenario, con l'obiettivo di minimizzare il punteggio di similarità (cioè forzare il modello a deviare dal suo rifiuto).
• Criteri di Successo: Se il punteggio di similarità scende sotto una soglia (ad esempio, 0,3), il jailbreak è considerato riuscito e lo scenario viene segnalato come vulnerabilità.

Contributi Chiave

1. Formalizzazione del Test di Conformità: Il documento formalizza la traduzione delle linee guida governative di alto livello in test di conformità eseguibili utilizzando il framework GUARD.
2. Meccanismo di Role-Playing Adattivo: Introduce un sistema multi-agente (Analista, Comitato Strategico, Progettista di Domande, Revisore di Domande) per generare iterativamente domande diversificate che violano le linee guida, riflettendo principi normativi specifici.
3. Diagnostica Jailbreak tramite Ottimizzazione degli Scenari: GUARD-JD impiega un nuovo framework iterativo di role-playing (Generatore, Valutatore, Ottimizzatore) combinato con Grafi della Conoscenza e Random Walks per generare scenari in linguaggio naturale che aggirano i meccanismi di sicurezza, identificando efficacemente la non conformità in contesti imprevisti.
4. Validazione Empirica: Il metodo è stato validato su otto LLM (Vicuna-13B, LongChat-7B, Llama2-7B, Llama3-8B, GPT-3.5, GPT-4, GPT-4o, Claude-3.7) e due Modelli Linguistici Visivi (MiniGPT-v2, Gemini-1.5) sotto tre diverse linee guida governative.

Risultati Sperimentali

• Tassi di Violazione delle Linee Guida: Lo studio ha rivelato una significativa varianza nella conformità tra i modelli. Vicuna-13B ha mostrato i tassi di violazione più alti (ad esempio, 74,0% nei Diritti Umani), mentre GPT-4 ha mostrato i più bassi (ad esempio, 15,6% nella Trasparenza).
• Successo del Jailbreak: GUARD-JD ha raggiunto un tasso medio di successo del jailbreak dell'82% tra gli LLM, superando significativamente i baseline come GCG, AutoDAN, ICA, PAIR e CipherChat.
  • I tassi di successo sono variati dal 68,2% (Claude-3.7) all'86,0% (Vicuna-13B).
  • GUARD-JD ha prodotto jailbreak con punteggi di perplessità più bassi (media 35,65), indicando output più naturali e fluidi che sono più difficili da identificare per i rilevatori basati sulla perplessità.
• Trasferibilità: La diagnostica jailbreak è stata trasferita con successo ai Modelli Linguistici Visivi (VLM), inducendo risposte a immagini Non Sicure per il Lavoro (NSFW) con punteggi di tossicità più alti rispetto ai metodi baseline.
• Validazione Umana: Un sondaggio su 58 partecipanti ha confermato che le domande generate da GUARD rappresentavano accuratamente le violazioni etiche definite dalle linee guida, con un alto accordo su rilevanza e qualità.
• Studi di Ablazione: La rimozione di ruoli specifici (ad esempio, il Revisore di Domande o l'Ottimizzatore) ha degradato significativamente le prestazioni, confermando la necessità del processo iterativo multi-ruolo.

Significato e Affermazioni

Il documento afferma che GUARD fornisce un approccio sistematico e automatizzato per colmare il divario tra linee guida normative astratte e test di sicurezza concreti. Rendendo operative le linee guida in casi di test specifici e impiegando la diagnostica jailbreak per sondare vulnerabilità nascoste, GUARD offre un meccanismo robusto per valutare l'aderenza degli LLM agli standard etici. Gli autori sottolineano che il loro metodo non solo identifica la non conformità diretta, ma scopre anche potenziali aggiramenti in scenari complessi, promuovendo così lo sviluppo di applicazioni AI più affidabili e degne di fiducia. Il trasferimento riuscito di queste diagnosi ai VLM suggerisce ulteriormente la versatilità del framework attraverso diverse modalità.