`From Prompt to Perturbation': An Adaptive Framework for Voice-Based Jailbreaks on Audio LLMs

Negli ultimi anni, l'intelligenza artificiale ha imparato a parlare. Questi sistemi, noti come grandi modelli linguistici, sono andati oltre la lettura e la scrittura di testi per arrivare a comprendere e generare il parlato umano. Alimentano gli assistenti vocali nelle nostre auto, i bot del servizio clienti sui nostri telefoni e i nuovi agenti conversazionali in grado di ascoltare una storia e rispondere a domande su di essa. Per rendere queste macchine sicure, gli sviluppatori costruiscono delle barriere digitali progettate per rifiutare richieste dannose, come istruzioni su come costruire un'arma o come molestare qualcuno. Per i sistemi basati sul testo, i ricercatori sanno da tempo che domande formulate con astuzia possono ingannare queste barriere e farle violare le proprie regole. Tuttavia, man mano che questi modelli acquisiscono la capacità di ascoltare e parlare, sorge una nuova domanda: può una voce, piuttosto che solo le parole, aggirare queste stesse misure di sicurezza?

Un team di ricercatori dell'Università di Sydney, dell'Università di Chicago e dell'Università del Texas a San Antonio si è posto l'obiettivo di rispondere a questa domanda testando la sicurezza dei moderni sistemi di IA abilitati alla voce. Si sono concentrati su due diversi modi in cui questi sistemi vengono costruiti. Il primo metodo, chiamato pipeline a cascata, funziona come una staffetta: un computer prima ascolta la voce e la trascrive in testo, poi un cervello testuale separato legge quel testo e decide cosa dire, e infine un sintetizzatore vocale pronuncia la risposta. Il secondo metodo, noto come modello end-to-end, salta completamente il passaggio intermedio. Ascolta le onde sonore grezze ed elabora il significato e la voce insieme in un unico sistema unificato. I ricercatori volevano sapere se entrambi questi architetture molto diverse potessero essere ingannate nel ignorare le proprie regole di sicurezza quando interrogate vocalmente, e se sì, come farlo in modo automatico senza l'aiuto umano.

I ricercatori hanno sviluppato un nuovo framework di test che agisce come un esploratore automatizzato. Invece di creare manualmente centinaia di diversi comandi vocali, hanno costruito un sistema che impara dai propri errori. Il processo inizia con un elenco di domande dannose che l'IA non dovrebbe mai rispondere. Il sistema inserisce prima queste domande pericolose all'interno di una storia innocua o di uno scenario di gioco di ruolo, una tecnica che chiamano "attacco di fiancheggiamento" (flanking attack). Nascondendo la richiesta dannosa dentro una lunga lista di domande innocenti sulla vita quotidiana o su trame di film immaginari, il sistema spera di abbassare le difese dell'IA. Una volta preparato il testo, il sistema lo converte in parlato utilizzando un sintetizzatore vocale standard.

È qui che inizia la vera sperimentazione. Il sistema non si limita a riprodurre il parlato una sola volta. Prende l'audio e lo distorce deliberatamente in modi specifici per vedere come reagisce l'IA. Aggiunge rumore di fondo, come il brusio di una strada trafficata o il suono del vento. Cambia la velocità della voce, facendola parlare leggermente più veloce o più lentamente. Aggiunge persino echi, simulando il suono di una voce che rimbalza sulle pareti di una stanza grande. Il sistema riproduce quindi questi clip audio distorti sull'IA bersaglio. Se l'IA rifiuta di rispondere, il sistema annota il fallimento. Se l'IA accetta accidentalmente la richiesta dannosa, il sistema registra il successo.

Fondamentalmente, il sistema utilizza questi risultati per migliorare il tentativo successivo. Se l'aggiunta di rumore ha aiutato l'attacco ad avere successo, il sistema impara a usare più rumore. Se cambiare la velocità ha funzionato meglio, si concentra su quello. Modifica anche il testo della domanda, provando diversi modi per dire la stessa cosa senza cambiarne il significato. Questo ciclo di test, apprendimento e perfezionamento avviene automaticamente e ripetutamente. I ricercatori hanno testato questo approccio su sei diversi sistemi di IA abilitati alla voce, che vanno da prodotti commerciali ben noti a modelli open-source. Hanno eseguito migliaia di questi test automatizzati, coprendo ventuno diverse categorie di richieste dannose, dalla frode alle attività illegali.

I risultati sono stati sorprendenti. I ricercatori hanno scoperto che entrambi i tipi di sistemi — lo stile a staffetta e lo stile end-to-end unificato — sono altamente vulnerabili a questi attacchi basati sulla voce. Il framework automatizzato è stato in grado di ingannare l'IA portandola a violare le sue regole di sicurezza nella stragrande maggioranza dei casi. Per il sistema più vulnerabile testato, l'attacco ha avuto successo più del novantasei per cento delle volte. Anche i sistemi considerati più robusti hanno fallito nel bloccare gli attacchi in oltre il settantacinque per cento dei tentativi. Lo studio ha dimostato che la combinazione di nascondere l'intento dannoso in una storia e poi distorcere la voce è stata molto più efficace del tentativo di ingannare l'IA con solo le parole o solo il suono.

I ricercatori hanno anche testato cosa succede quando l'attacco non viene riprodotto attraverso un file informatico, ma viene pronunciato ad alta voce in una stanza reale e registrato da un microfono. Questo è noto come attacco "over-the-air" (via etere), e introduce problemi del mondo reale come il chiacchiericcio di sottofondo e la qualità del microfono. Nonostante questi ostacoli extra, il framework automatizzato è rimasto efficace. I sistemi sono caduti nei trucchi, con tassi di successo che sono rimasti alti anche quando l'audio doveva viaggiare attraverso l'aria e veniva catturato da un dispositivo. Ciò suggerisce che la vulnerabilità non è solo una particolarità dei file digitali, ma una debolezza fondamentale nel modo in cui questi modelli elaborano il linguaggio parlato.

Lo studio ha anche esaminato quali trucchi specifici funzionassero meglio. Hanno scoperto che gli attacchi di maggior successo spesso comportavano il cambiamento della formulazione della domanda per renderla più complessa o l'aggiunta di rumore di fondo realistico. Sorprendentemente, semplicemente accelerare o rallentare la voce era meno efficace da solo, ma aiutava quando combinato con altri cambiamenti. Il sistema ha imparato che il modo migliore per rompere le barriere era mantenere intatto il significato dannoso pur rendendo il suono e le parole abbastanza diversi da confondere i filtri di sicurezza.

Questo lavoro evidenzia una significativa lacuna nella sicurezza attuale dell'IA vocale. Mentre gli sviluppatori hanno trascorso anni a rinforzare i sistemi basati sul testo contro prompt astuti, l'aggiunta della voce ha aperto una nuova porta che rimane ampiamente non presidiata. I ricercatori hanno dimostrato che un sistema automatizzato può trovare e sfruttare sistematicamente queste debolezze senza dover conoscere il codice interno dell'IA. Non hanno trovato una singola soluzione magica che rompa ogni sistema, ma hanno piuttosto dimostrato che un approccio flessibile e capace di apprendere può costantemente aggirare le protezioni attualmente in vigore. I risultati suggeriscono che, man mano che le interfacce vocali diventano più comuni, le misure di sicurezza per questi sistemi devono evolversi per gestire non solo cosa viene detto, ma come viene detto e come suona. Lo studio conclude che, senza questi miglioramenti, la promessa di un'IA conversazionale sicura potrebbe rimanere fuori portata.