GAS-Leak-LLM: Genetic Algorithm-Based Suffix Optimization for Black-Box LLM Jailbreaking

Riepilogo Tecnico: GAS-Leak-LLM

Definizione del Problema
I Large Language Models (LLM) sono sempre più impiegati in domini critici, eppure rimangono vulnerabili a manipolazioni avversarie, specificamente alle tecniche di "jailbreaking" che aggirano gli allineamenti di sicurezza per generare output dannosi o che violano le policy. Mentre i sistemi commerciali impiegano strategie di moderazione dei contenuti e di allineamento multistrato (come il Supervised Fine-Tuning e il RLHF), ricerche recenti indicano che tali protezioni non sono impermeabili. Gli attacchi avversari tradizionali spesso si affidano ad accessi white-box (che richiedono la conoscenza dei parametri del modello) o al prompt engineering manuale, che è laborioso e manca di scalabilità. Esiste la necessità di metodi sistematici e automatizzati per valutare la robustezza dei modelli sotto modelli di minaccia black-box realistici, dove l'attaccante non ha accesso all'architettura interna o ai gradienti.

Metodologia: GAS-Leak-LLM
Gli autori propongono GAS-Leak-LLM, un nuovo framework che utilizza un Algoritmo Genetico (GA) per generare e ottimizzare automaticamente suffissi avversari universali. L'attacco opera rigorosamente in un contesto black-box, basandosi esclusivamente sulle interazioni input-output.

1. Modello di Minaccia: L'avversario mira a costruire un suffisso universale che, quando apposto a un insieme diversificato di prompt dannosi, induca costantemente il target LLM a generare output disallineati. Il modello è trattato come una black box; sono accessibili solo le risposte alle query.
2. Inizializzazione: Il GA inizia con una popolazione di suffissi candidati ($M=10$). Questi sono generati da due fonti distinte:
   • Suffissi Privi di Significato (Meaningless Suffixes): Token campionati casualmente dal vocabolario del modello ($D_{s1}$), inclusi caratteri non stampabili.
   • Suffissi Significativi (Meaningful Suffixes): Frasi coerenti in inglese generate campionando parole da un vocabolario ad alta frequenza ($D_{s2}$) e utilizzando un LLM per costruire frasi grammaticalmente corrette.
3. Processo Evolutivo: Il framework itera attraverso generazioni (fino a 100) utilizzando gli operatori standard del GA:
   • Valutazione: Ogni suffisso candidato viene apposto a un sottoinsieme di prompt dannosi ($n=20$ campionati da un dataset di 520). La risposta dell'LLM viene analizzata rispetto a una risposta dannosa target ($t_i$) e una risposta di rifiuto canonica ($t_r$).
   • Funzione di Fitness: Il punteggio di fitness è calcolato sulla base della somiglianza semantica. Massimizza la somiglianza con la risposta dannosa target minimizzando al contempo la somiglianza con la risposta di rifiuto. Un punteggio $\geq 0,6$ indica un jailbreak riuscito.
   • Selezione: Viene impiegata la selezione a torneo per scegliere i suffissi genitori. Gli autori sperimentano dimensioni del torneo diverse ($k=2$ e $k=3$).
   • Crossover: Il crossover a punto singolo ricombina segmenti di suffissi genitori ad alta fitness per creare la prole.
   • Mutazione: Una strategia di mutazione a reset casuale sostituisce un singolo token nella prole con un nuovo token dal vocabolario per mantenere la diversità.
   • Sostituzione: Una strategia di elitismo preserva gli individui con le migliori prestazioni per la generazione successiva.

Contributi Chiave
Il documento delinea tre contributi primari:

1. Generazione Automatica di Suffissi: Lo sviluppo di una metodologia per generare e ottimizzare automaticamente suffissi avversari universali utilizzando un Algoritmo Genetico senza richiedere gli interni del modello.
2. Valutazione Comprensiva: Una valutazione rigorosa dei suffissi generati sotto diverse condizioni, inclusi prompt significativi vs privi di significato, troncamento vs non troncamento, trasferibilità cross-model e diverse dimensioni di selezione a torneo.
3. Analisi Comparativa: Un confronto delle prestazioni dei suffissi universali generati attraverso modelli di minaccia selezionati (Qwen2.5-3B e Llama-3.2-3B-Instruct) per valutarne l'efficacia e la trasferibilità.

Risultati Sperimentali
Lo studio è stato condotto su due modelli open-source: Qwen2.5-3B e Llama-3.2-3B-Instruct.

• Vulnerabilità Baseline: Sono state osservate differenze significative nella vulnerabilità baseline. Qwen2.5-3B ha mostrato un alto tasso di jailbreak baseline (92,88%) anche senza suffissi, mentre Llama-3.2-3B-Instruct ha mostrato una forte resistenza (5,96%). Ciò suggerisce che l'instruction fine-tuning gioca un ruolo cruciale nel potenziare l'allineamento della sicurezza.
• Efficacia dei Suffissi:
  • Llama-3.2-3B-Instruct: L'attacco è stato efficace, aumentando il tasso di jailbreak dal 5,96% al 17,76% utilizzando i suffissi auto-generati.
  • Significativi vs Privi di Significato: Per il modello Llama, più robusto, i suffissi significativi (successo del 19,60%) hanno superato significativamente i suffissi privi di significato (11,96%). Ciò indica che la coerenza linguistica e la rilevanza contestuale amplificano il successo dell'attacco sui modelli allineati.
  • Qwen2.5-3B: A causa della sua elevata vulnerabilità baseline, l'aggiunta di suffissi ha fornito pochi miglioramenti e, in alcuni casi, ha leggermente ridotto i tassi di successo, agendo probabilmente come rumore.
• Trasferibilità Cross-Model: I suffissi generati per un modello hanno mostrato una parziale trasferibilità all'altro, sebbene i suffissi specifici per il modello siano rimasti più efficaci.
• Lunghezza del Suffisso: Il troncamento dei suffissi ha ridotto significativamente l'efficacia dell'attacco sul modello robusto Llama (scendendo dal 18,36% al 13,2%), mentre il modello vulnerabile Qwen è rimasto ampiamente insensibile al troncamento.
• Pressione di Selezione: La variazione della dimensione del torneo ($k=2$ vs $k=3$) ha prodotto differenze marginali nelle prestazioni.

Significatività e Rivendicazioni
Il documento afferma che GAS-Leak-LLM fornisce un framework sistematico e riproducibile per esporre le vulnerabilità residue negli LLM allineati. I risultati empirici offrono tre intuizioni chiave:

1. Instruction Fine-Tuning: Confermato come un fattore critico nel rafforzare l'allineamento del modello e nel ridurre la suscettibilità baseline.
2. Coerenza Semantica: Stabilito che i suffissi avversari semanticamente significativi sono sostanzialmente più efficaci di quelli privi di significato nell'indurre comportamenti di jailbreak, suggerendo che i meccanismi di sicurezza sono più facilmente aggirabili da input linguisticamente coerenti.
3. Lunghezza del Suffisso: Rivelato che la lunghezza del suffisso è un determinante critico dell'efficacia dell'attacco, in particolare per i modelli robusti come quelli della famiglia Llama, dove i suffissi più lunghi esercitano un'influenza comportamentale più forte.

Gli autori concludono che questi risultati avanzano la comprensione della sicurezza degli LLM e forniscono intuizioni azionabili per progettare meccanismi di allineamento più resilienti. Il lavoro evidenzia come, nonostante le difese avanzate, i modelli rimangano suscettibili ad attacchi avversari evolutivi e automatizzati, specialmente quando tali attacchi sfruttano la coerenza semantica.