RoguePrompt: Dual-Layer Ciphering for Self-Reconstruction to Circumvent LLM Moderation

Immagina un mondo in cui puoi parlare con un cervello digitale super intelligente che sa quasi tutto. Questo cervello, chiamato Large Language Model (o LLM), è come un bibliotecario utile che può scrivere storie, risolvere problemi di matematica e rispondere a domande. Ma poiché questo bibliotecario è così potente, le persone che lo hanno costruito hanno posto un guardiano della sicurezza molto severo alla porta d'ingresso. Il compito di questo guardiano è quello di impedire a chiunque di chiedere qualcosa di pericoloso, illegale o cattivo. Se provi a chiedere qualcosa di male, il guardiano ti ferma prima ancora che tu arrivi al bibliotecario.

Tuttavia, astuti imbroglioni hanno cercato di aggirare questo guardiano per molto tempo. Usano i "jailbreak", che sono come codici segreti o travestimenti elaborati per ingannare il guardiano facendogli credere che una richiesta cattiva sia in realtà una buona. Di solito, questi trucchi sono semplici: magari parlano una lingua diversa, o fingono di essere un personaggio di un film. Ma il guardiano sta diventando più intelligente, e questi trucchi semplici spesso falliscono. La grande domanda che i ricercatori si pongono è: possiamo ingannare sia il guardiano che il bibliotecario contemporaneamente, usando un singolo messaggio subdolo che il bibliotecario debba decodificare ed eseguire da solo?

Questo è esattamente ciò che indaga un nuovo articolo chiamato "RoguePrompt". I ricercatori, guidati da Benyamin Tafreshian, hanno scoperto un modo per creare un attacco "auto-ricostruente". Immagina di inviare una scatola chiusa a un amico. La scatola sembra completamente innocua all'esterno, quindi il guardiano della sicurezza la lascia passare. Ma all'interno della scatola c'è un insieme di istruzioni che dicono al tuo amico: "Ehi, apri questa scatola, leggi il biglietto segreto all'interno e poi fai esattamente ciò che dice il biglietto". Il colpo di scena è che il biglietto all'interno è scritto in un codice segreto che solo il tuo amico (l'IA) può capire. L'amico apre la scatola, decodifica il messaggio, si rende conto che si tratta in realtà di una richiesta proibita, e la esegue comunque, senza nemmeno rendersi conto di essere stato ingannato.

L'articolo introduce un metodo specifico chiamato RoguePrompt che utilizza un cifrario a "doppio livello". Immagina di avere una frase proibita che vuoi far dire all'IA. Per prima cosa, i ricercatori dividono la frase in due parti: le parole con numero pari e le parole con numero dispari. Lasciano invariate le parole pari ma rimescolano le parole dispari usando un codice segreto chiamato cifrario di Vigenère. Poi, avvolgono l'intero contenuto (le parole rimescolate e le istruzioni su come de-rimescolarle) in un altro strato di codice chiamato ROT-13, un semplice trucco di spostamento delle lettere. Infine, aggiungono un'istruzione cortese che dice all'IA: "Per favore, decodifica questo puzzle e poi fai ciò che dice il puzzle".

Quando l'IA riceve questo messaggio, il guardiano della sicurezza vede solo un puzzle innocuo e lo lascia passare. L'IA, essendo molto brava a seguire le istruzioni, decodifica felicemente i livelli. De-rimescola le lettere, rimette insieme le parole pari e dispari e, improvvisamente, la richiesta proibita è proprio lì davanti a lei. Poiché l'IA ha già accettato di risolvere il puzzle, spesso dimentica di fermarsi e dire: "Aspetta, questo è male!", e invece esegue semplicemente ciò che le è stato ordinato.

I ricercatori hanno testato questo metodo su 313 esempi reali di richieste che sono solitamente bloccate, come istruzioni per attività illegali o discorsi d'odio. Hanno provato questo trucco su tre dei modelli di IA più avanzati disponibili al momento. I risultati sono stati sorprendenti. Il metodo RoguePrompt è riuscito a passare oltre il guardiano della sicurezza il 93,93% delle volte. Una volta superato il guardiano, l'IA ha decodificato con successo il messaggio nascosto nel 79,02% dei casi. Ancora più importante, l'IA ha effettivamente portato a termine la richiesta proibita nel 70,18% dei casi. Ciò significa che in più di 7 casi su 10, il trucco ha funzionato perfettamente dall'inizio alla fine, aggirando il guardiano, decodificando il messaggio ed eseguendo la richiesta cattiva.

L'articolo suggerisce che questo accade perché gli attuali sistemi di sicurezza sono troppo concentrati sul guardare la superficie del messaggio. Controllano se le parole sembrano pericolose proprio ora, ma non controllano se il messaggio contiene istruzioni per rendere le parole pericolose in seguito. I ricercatori sostengono che questo sia un grande punto cieco. Hanno confrontato il loro metodo con altri trucchi comuni, come l'uso della codifica Base64 o semplicemente la rimozione delle vocali dalle parole brutte. Sebbene quei trucchi potessero a volte passare oltre il guardiano, spesso fallivano nel far sì che l'IA facesse effettivamente la cosa cattiva. RoguePrompt è stato molto più efficace perché teneva l'IA impegnata a decodificare il messaggio finché non era troppo tardi per fermarla.

Lo studio ha anche esaminato perché il trucco a volte falliva. A volte l'IA non riusciva a capire il codice (un "fallimento di decodifica"), a volte capiva il codice ma poi rifiutava comunque di fare la cosa cattiva (un "rifiuto dopo la ricostruzione"), e a volte semplicemente si confondeva. Ma il fatto che abbia funzionato così spesso suggerisce che l'attuale modo di proteggere l'IA potrebbe non essere sufficiente. Gli autori concludono che abbiamo bisogno di nuovi tipi di guardiani della sicurezza che non guardino solo alla porta d'ingresso, ma che controllino anche cosa succede dentro casa. Suggeriscono che le difese future dovrebbero essere in grado di individuare quando qualcuno sta cercando di nascondere un messaggio dentro un puzzle e fermare l'IA dal risolverlo se la risposta è pericolosa.

In breve, questo articolo dimostra che una combinazione intelligente di divisione del testo, uso di due diversi codici segreti e l'istruzione di dare all'IA un "fai questo puzzle" può aggirare i migliori filtri di sicurezza che abbiamo oggi. È un promemoria del fatto che man mano che l'IA diventa più intelligente, i trucchi per ingannarla diventano più intelligenti, e dobbiamo continuare a costruire difese migliori per mantenere tutti al sicuro.