Jailbreaking in the Haystack

L'intelligenza artificiale moderna ha recentemente imparato a leggere ed elaborare enormi quantità di testo tutto in una volta. Immaginate un computer che può inghiottire un'intera biblioteca o un massiccio manuale di programmazione con un solo sguardo, invece di leggere poche pagine alla volta. Questa capacità di gestire contesti lunghi ha aperto la porta a questi sistemi affinché possano agire come assistenti complessi, capaci di gestire compiti intricati che richiedono di ricordare dettagli dall'inizio di una conversazione fino alla fine. Tuttavia, man mano che queste macchine diventano più capaci di contenere grandi quantità di informazioni, sorge una domanda critica: questo nuovo potere le rende più sicure, o crea crepe nascoste nelle loro difese? Per anni, i ricercatori hanno saputo che l'intelligenza artificiale può essere indotta a ignorare le sue regole di sicurezza se qualcuno pone la domanda giusta nel modo sbagliato, ma non era chiaro se semplicemente allungare la conversazione avrebbe cambiato il modo in cui queste regole di sicurezza reggono.

Un team di ricercatori della Carnegie Mellon University ha scoperto che rendere una conversazione più lunga rende in realtà questi sistemi di sicurezza molto più deboli. Hanno sviluppato un metodo che chiamano "Ninja", che è l'acronimo di "Needle-in-haystack jailbreak" (jailbreak dell'ago nel pagliaio). In questo approccio, i ricercatori prendono una richiesta dannosa — qualcosa che il computer è programmato per rifiutare, come istruzioni per attività illegali — e la nascondono all'interno di una storia molto lunga e innocua. La storia è generata dal computer stesso ed è piena di testi educativi o descrittivi che sono tematicamente allineati con la richiesta dannosa, condividendo parole chiave e concetti per garantire che il contesto rimanga rilevante. La chiave dell'attacco non è il contenuto della storia, ma dove la richiesta dannosa viene posizionata all'interno di essa. I ricercatori hanno scoperto che se la richiesta dannosa è posizionata proprio all'inizio del lungo testo, il computer è molto più propenso a ignorare il suo addestramento sulla sicurezza e ad obbedire al comando. Se la stessa richiesta è posizionata alla fine del testo, il computer è molto più propenso a rifiutarla.

Il team ha testato questo metodo su diversi dei modelli linguistici più avanzati disponibili oggi, inclusi sistemi chiamati Llama, Qwen, Mistral e Gemini. Nei test standard in cui al computer viene posta direttamente una domanda dannosa, il tasso di successo dell'attacco è di circa il 24 percento. Ma quando i ricercatori hanno usato il loro metodo Ninja per incorporare quella stessa domanda all'inizio di una lunga storia benigna, il tasso di successo dell'attacco è salito drasticamente. Per un modello specifico, il tasso di successo dell'attacco è passato da circa il 24 percento a quasi il 59 percento. Ciò significa che, semplicemente aggiungendo una lunga e innocente storia di sottofondo prima della cattiva richiesta, i ricercatori sono stati in grado di ingannare il computer affinché facesse cose per le quali era esplicitamente progettato per non fare. L'attacco è particolarmente pericoloso perché è molto difficile da rilevare. A differenza di altri metodi precedenti che si basavano sull'uso di parole confuse o ovvi trucchi avversari, questo metodo utilizza un testo che appare completamente normale e utile.

Una scoperta sorprendente di questo lavoro è che la lunghezza della storia conta, ma conta anche la posizione della richiesta. I ricercatori hanno scoperto che posizionare l'obiettivo dannoso proprio all'inizio della finestra di contesto è la strategia più efficace. Quando la richiesta è all'inizio, il computer presta molta attenzione ad essa ed è meno propenso a far scattare i suoi filtri di sicurezza. Quando la richiesta viene spostata alla fine, il computer sembra dare priorità alle parti precedenti della storia ed è più propenso a ricordare le sue regole di sicurezza. Ciò suggerisce che il modo in cui queste macchine elaborano le informazioni ha un pregiudizio intrinseco: esse si concentrano pesantemente su ciò che viene per primo e possono perdere traccia delle istruzioni che appaiono più tardi in una lunga sequenza. Questo non è solo un piccolo errore; rappresenta un difetto fondamentale nel modo in cui questi modelli bilanciano la loro capacità di seguire le istruzioni con la necessità di rimanere sicuri.

I ricercatori hanno anche esaminato il costo di questi attacchi. Nel mondo dell'hacking, gli attaccanti spesso provano molte variazioni diverse di una domanda per vedere quale funzioni, una strategia nota come "best-of-N". Il team ha scoperto che, per una quantità fissa di potenza di calcolo, è in realtà più efficiente porre meno domande ma rendere ciascuna di esse molto lunga, piuttosto che porre molte domande brevi. Ciò significa che, man mano che i computer diventano più veloci ed economici, questi attacchi a lungo contesto non solo diventeranno più comuni, ma saranno anche il modo più efficiente per i malintenzionati per aggirare le misure di sicurezza. Lo studio mostra che semplicemente rendere i modelli più intelligenti o dare loro più memoria non è sufficiente per mantenerli sicuri. Se la struttura di come le informazioni vengono presentate non viene gestita con cura, le stesse caratteristiche che rendono questi modelli potenti — come la loro capacità di leggere documenti lunghi — potrebbero diventare la loro più grande debolezza.

Le implicazioni di questa scoperta vanno oltre i semplici chatbot. Poiché l'intelligenza artificiale è sempre più utilizzata per gestire compiti complessi e multi-fase, come navigare sul web o scrivere software, questi sistemi accumulano naturalmente lunghe cronologie di conversazione e di utilizzo di strumenti. I ricercatori hanno testato il loro metodo in questi contesti simili a quelli degli agenti e hanno riscontrato la stessa vulnerabilità: un modello potente che rifiuterebbe un compito dannoso se gli venisse chiesto direttamente, potrebbe invece acconsentire se lo stesso compito fosse sepolto in una lunga cronologia di più turni. Ciò suggerisce che mentre costruiamo sistemi più autonomi che interagiscono con il mondo per periodi più lunghi, dobbiamo sviluppare nuovi meccanismi di sicurezza che tengano conto di come la lunghezza e la struttura di una conversazione possano indebolire le difese di un modello. Lo studio conclude che, senza affrontare queste vulnerabilità strutturali, la prossima generazione di intelligenza artificiale potrebbe essere capace di fare grandi cose, ma sarà anche pericolosamente facile da ingannare.