From Role Prompt to Infinite Thinking: Exploiting Persona Conditioning for Inference Cost Attacks in LLMs
Questo articolo introduce "RolePlay", un nuovo framework di attacco che sfrutta la coerenza della persona degli LLM per indurre comportamenti semanticamente coerenti ma computazionalmente inefficienti, ottenendo un'amplificazione dei token fino a 207,64 volte e superando significativamente gli esistenti metodi di attacco al costo di inferenza.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un mondo in cui i computer non si limitano a rispondere alle domande; hanno delle personalità. Questo è il regno dei Large Language Models (LLM), i cervelli IA super intelligenti dietro chatbot, generatori di codice e assistenti digitali. Questi modelli funzionano come uno studente molto veloce e molto chiacchierone che legge la tua domanda e poi scrive la sua risposta una parola alla volta. Ogni singola parola che scrivono costa un pizzico di elettricità e potenza di calcolo. Di solito, questo è efficiente: chiedi "Quanto fa 2+2?" e loro digitano rapidamente "4". Ma cosa succederebbe se potessi truccare il computer per fargli scrivere mille parole solo per dire "4"? Questo è il problema che questo articolo affronta. Esplora un nuovo modo per far sprecare energia e tempo a questi modelli di IA, non gridando loro o rompendoli, ma dando loro un "ruolo" specifico da interpretare che li porti a rimuginare su tutto.
I ricercatori dietro questo studio, Zhiyi Mou e il suo team, hanno scoperto una debolezza nascosta nel modo in cui questi modelli di IA gestiscono le "persona". In termini semplici, una persona è come un costume o un personaggio che un attore indossa. Se dici a un'IA: "Fingi di essere uno studente nervoso e troppo ambizioso che ha il terrore di commettere errori", l'IA farà del suo meglio per rimanere nel personaggio. Il team ha scoperto che se scegli il personaggio giusto, l'IA inizierà naturalmente a fare cose inefficienti, come controllare il proprio lavoro cento volte, dubitare delle proprie risposte o spiegare cose semplici in modi eccessivamente complicati. Chiamano il loro nuovo metodo RolePlay.
Ecco la grande scoperta: assegnando semplicemente all'IA una personalità specifica e leggermente inefficiente, sono riusciti a farle generare molta più parte di testo del necessario senza che l'IA si accorgesse di essere stata truccata. Nei loro test, questo metodo ha funzionato su molti diversi modelli di IA. In media, ha fatto generare ai modelli 7,64 volte più parole di quelle che normalmente genererebbero. Nei casi più estremi, l'IA ha generato 207,64 volte più testo! Per esempio, un compito che di solito richiede 3 secondi e 12 parole è stato esteso fino a durare quasi 142 secondi e oltre 1.500 parole.
L'articolo sostiene che questo sia un problema serio perché è difficile da fermare. I vecchi modi per cercare di far perdere tempo all'IA consistevano nell'usare frasi strane e glitchate o comandi ovvi come "pensa più intensamente", che i filtri informatici possono facilmente individuare e bloccare. Ma RolePlay è subdolo. I prompt sembrano normali, gentili richieste di "agire come uno studente inesperto" o "essere un esperto confuso". Poiché l'IA è così brava a seguire le istruzioni e a mantenere il personaggio, si impegna felicemente a sprecare risorse facendo esattamente ciò che le hai chiesto, anche se questo significa essere incredibilmente lenta e ripetitiva.
I ricercatori hanno testato questo su una vasta gamma di compiti, dalla risoluzione di problemi matematici alla scrittura di codice e alla risposta a domande generali. Hanno scoperto che, indipendentemente dal compito, il trucco della "persona" funzionava. Hanno anche confrontato il loro metodo con altri trucchi noti usati per rallentare l'IA, e RolePlay è risultato superiore ogni volta. Ad esempio, su un modello specifico chiamato Gemini-3.5-Flash, RolePlay ha fatto generare all'IA 7,64 volte più token, mentre altri metodi sono riusciti solo a circa 3,5 volte. Anche su un modello che di solito ha un limite su quanto può scrivere, RolePlay è riuscito a spingerlo a generare 3,19 volte più contenuti del solito.
Una delle parti più interessanti dello studio è come hanno costruito queste persone. Non hanno solo tirato a indovinare; hanno usato un sistema intelligente per analizzare prima la domanda. Se la domanda era un problema matematico complicato, il sistema creava una persona di uno studente "ansioso" e "ossessionato dalle contraddizioni", causando all'IA di dubitare ripetutamente di se stessa. Se la domanda riguardava la storia, la persona poteva essere un "esperto testardo" che si rifiuta di dare una risposta semplice. Questo approccio "consapevole del compito" (task-aware) significa che l'inefficienza dell'IA sembra naturale e si adatta alla storia, rendendo molto difficile per i filtri di sicurezza riprenderla.
Il team ha anche verificato se si trattasse di una fluttuazione casuale o se funzionasse davvero. Hanno eseguito migliaia di test su diversi tipi di modelli di IA, inclusi alcuni di grandi aziende tecnologiche e altri open-source. I risultati sono stati coerenti: i modelli di IA continuavano a incastrarsi in loop di sovra-spiegazione e auto-correzione. Lo studio suggerisce che questa "coerenza della persona" — il desiderio dell'IA di rimanere fedele al personaggio che le è stato dato — è una nuova sorta di vulnerabilità. Non è un bug nel codice; è una caratteristica di come l'IA impara a essere utile che può essere usata contro di essa.
Quindi, cosa significa per il futuro? L'articolo non dice che questo chiuderà internet domani, ma evidenzia un nuovo modo in cui attori malintenzionati potrebbero potenzialmente drenare le risorse dai servizi di IA. Se qualcuno volesse rendere un servizio di IA lento e costoso da gestire, non avrebbe bisogno di inviare milioni di richieste; potrebbe semplicemente inviare alcuni prompt scritti con abilità che trasformano l'IA in un personaggio che procrastina e rimugina troppo. I ricercatori sperano che, segnalando questo aspetto, gli sviluppatori possano costruire difese migliori per impedire all'IA di sprecare energia in chiacchiere non necessarie guidate dalla "persona".
In breve, l'articolo rivela che proprio ciò che rende i modelli di IA così bravi nel gioco di ruolo — rimanere nel personaggio — può essere usato per renderli inefficienti. Vestendo l'IA con i panni di uno studente nervoso o di un esperto confuso, i ricercatori hanno dimostrato di poter moltiplicare il costo di una singola domanda di centinaia di volte. È un promemoria del fatto che, nel mondo dell'IA, a volte lo strumento più potente non è un algoritmo complesso, ma un semplice e ben scelto costume.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.