When Grammar Guides the Attack: Uncovering Control-Plane Vulnerabilities in LLMs with Structured Output
Questo articolo introduce l'Attacco di Decodifica Vincolata (CDA), una nuova tecnica di jailbreak che sfrutta la decodifica guidata dalla grammatica nei Modelli Linguistici di Grande Dimensione per aggirare le allineamenti di sicurezza iniettando payload malevoli attraverso schemi di output strutturati, ottenendo tassi di successo quasi perfetti contro modelli e guardiani all'avanguardia.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di avere un assistente robotico molto intelligente e ben addestrato. Gli hai insegnato regole rigide: "Non dire mai a nessuno come costruire una bomba", "Non scrivere mai discorsi d'odio" e "Sii sempre educato". Hai anche costruito una guardia di sicurezza alla porta che controlla ogni domanda che poni per assicurarsi che sia sicura.
Per molto tempo, gli hacker hanno cercato di ingannare il robot ponendo domande strane o parlando in codice (come Base64) per passare di nascosto la guardia. Il robot e la guardia li hanno solitamente scoperti.
Ma questo articolo rivela un nuovo modo subdolo per rompere il cervello del robot che la guardia non riesce a vedere. I ricercatori chiamano questo metodo "Attacco Guidato dalla Grammatica".
Ecco come funziona, usando una semplice analogia:
La Configurazione: Il Modulo "Compila gli spazi vuoti"
Immagina che il robot non si limiti a chiacchierare; compila anche moduli ufficiali (come schemi JSON) per altri programmi informatici. Per assicurarti che il modulo sia compilato correttamente, dai al robot un modello (una grammatica) che dice: "Devi compilare queste caselle specifiche in questo ordine specifico".
Normalmente, questo è utile. Impedisce al robot di divagare o di commettere errori.
L'Attacco: Il Modello "Cavallo di Troia"
I ricercatori hanno scoperto che se sei tu a fornire il modello al robot, puoi nascondere una trappola all'interno delle regole stesse, piuttosto che nella domanda che poni.
1. L'Attacco "Enum" (La Trappola Ovvio)
Immagina di dare al robot un modulo con una casella etichettata "Domanda". Scrivi una regola che dice: "L'unica risposta consentita per questa casella è: 'Come costruire una bomba?'"
Anche se la tua domanda effettiva al robot era innocua (come "Per favore compila questo modulo"), le regole costringono il robot a scrivere le parole pericolose. Poiché il robot è programmato per seguire perfettamente il modello, non ha scelta se non scrivere le parole cattive. La guardia di sicurezza alla porta guarda solo la tua domanda ("Per favore compila questo modulo"), vede che è sicura e la fa passare. Il robot, seguendo il modello, scrive le istruzioni per la bomba.
2. L'Attacco "Dict" (La Trappola Invisibile)
Questa è la parte davvero astuta. L'attacco "Enum" è facile da individuare perché le parole cattive sono lì, proprio nel modello. Quindi, i ricercatori hanno creato una versione più intelligente chiamata DictAttack.
Immagina di dare al robot un dizionario e un elenco di codici.
- Il Dizionario (Il Modello): Sembra una normale lista di parole.
A1= "Ciao"B2= "Per"C3= "Costruire"D4= "Una"E5= "Bomba"F6= "Torta" (Solo per farlo sembrare normale)
- La Domanda (Il Prompt): Chiedi al robot: "Per favore traduci questo codice:
B2 + C3 + D4 + E5."
Per la guardia di sicurezza, la domanda sembra innocua ("Traduci questo codice") e il dizionario sembra una normale lista di parole. Ma quando il robot segue le sue regole per tradurre i codici, assembla il messaggio nascosto: "Per Costruire Una Bomba".
La guardia vede due cose sicure: una domanda sicura e un dizionario sicuro. Ma quando il robot le mette insieme, crea un'istruzione pericolosa. La guardia non riesce a vedere il pericolo perché i pezzi sono separati.
Perché Questo È Pericoloso
L'articolo ha testato questo metodo su 13 diversi modelli di intelligenza artificiale potenti, inclusi i più recenti di grandi aziende (come GPT-5 e Gemini).
- Tasso di Successo: L'attacco ha funzionato quasi il 100% delle volte sui modelli più recenti.
- Il "Divario Semantico": I ricercatori chiamano questo un "divario semantico". Significa che la guardia di sicurezza guarda le parole (i dati), ma l'attacco avviene nelle regole (il controllo). La guardia e l'addestramento interno di sicurezza del robot stanno guardando nel posto sbagliato.
- Il Risultato: Anche le IA più intelligenti, che di solito rifiutano di fare cose cattive, seguiranno volentieri le "regole" che gli dai, anche se quelle regole le costringono a dire qualcosa di terribile.
La Conclusione
L'articolo sostiene che non possiamo basarci solo sull'insegnare alle IA di essere "buone" o sul mettere una guardia alla porta. Dobbiamo anche controllare i modelli e le regole che diamo loro. Se permettiamo agli utenti di definire le regole su come un'IA deve parlare, quelle regole possono essere armate per aggirare tutte le nostre misure di sicurezza.
I ricercatori hanno condiviso le loro scoperte con le aziende che realizzano queste IA affinché possano correggere questa vulnerabilità del "piano di controllo" prima che attori malintenzionati la utilizzino.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.