Synchronized Logit Steering: Real-world Steganography

Nel ronzio silenzioso di una conversazione digitale, è emerso un nuovo tipo di linguaggio segreto, uno che si nasconde in piena vista all'interno delle parole generate dall'intelligenza artificiale. Questo campo, noto come steganografia, è l'antica arte di nascondere un messaggio in modo così profondo che la stessa esistenza del messaggio viene oscurata, lasciando solo l'apparenza di una comunicazione ordinaria. A differenza della crittografia, che rimescola un messaggio per renderlo illeggibile a chiunque non possieda una chiave, la steganografia mira a rendere il messaggio invisibile all'occhio, incorporandolo in un testo che appare e suona completamente naturale. I grandi modelli linguistici, i potenti programmi informatici che scrivono saggi, risolvono problemi matematici e sostengono conversazioni, sono diventati una nuova frontiera per questa pratica. Questi modelli non si limitano a recuperare fatti; essi prevedono la parola successiva in una frase basandosi sulle probabilità, scegliendo tra una gamma di opzioni probabili. Questa intrinseca variabilità significa che, quasi ad ogni passaggio della scrittura, il modello ha una scelta tra diverse parole che avrebbero senso in tutti i casi. I ricercatori si chiedono da tempo se queste scelte possano essere utilizzate per trasportare informazioni nascoste senza che il lettore sappia mai che siano lì.

Per anni, i tentativi di nascondere messaggi in questi testi generati dall'IA hanno affrontato un ostacolo significativo: la necessità di un contesto segreto condiviso. Immaginate due persone che cercano di inviare un messaggio in codice usando un libro come chiave; se non possiedono esattamente la stessa edizione, o se stanno guardando pagine diverse, il codice fallisce. Allo stesso modo, i metodi precedenti per nascondere dati nel testo dell'IA richiedevano che il mittente e il destinatario condividessero le stesse identiche istruzioni iniziali, o prompt, per calcolare la stessa lista di parole probabili. Nel mondo reale, dove i sistemi di IA spesso attingono a dati privati o utilizzano istruzioni interne nascoste che cambiano da un momento all'altro, questo requisito rendeva la tecnica fragile e impraticabile. Se il mittente e il destinatario non partivano dallo stesso contesto identico, il messaggio nascosto andava perduto o corrotto. Un team di ricercatori di Algoverse AI ha ora sviluppato una soluzione che rimuove completamente questa dipendenza, permettendo a due parti di scambiare messaggi nascosti anche se non vedono mai lo stesso punto di partenza.

I ricercatori chiamano il loro metodo "Synchronized Logit Steering" (Guida Sincronizzata dei Logit). Invece di fare affidamento su un prompt iniziale condiviso, il sistema crea una comprensione comune basata sul testo che è già stato scritto. Il processo inizia con uno scambio standard di parole. Una volta che un piccolo numero concordato di parole — specificamente quaranta token, che sono le unità di base del testo elaborate dal modello — è stato generato, il mittente e il destinatario utilizzano quel testo esistente come un nuovo riferimento condiviso. Questo "proxy prompt" funge da terreno comune. Poiché entrambe le parti possono vedere le stesse parole che sono già apparse, possono calcolare indipendentemente l'esatta stessa lista di parole successive probabili. Questa sincronizzazione permette loro di concordare su un codice nascosto senza mai dover condividere il contesto iniziale segreto.

Per inviare un messaggio, il mittente osserva la lista delle parole successive probabili generate da questo riferimento condiviso. Successivamente, seleziona una parola specifica non solo perché si adatta alla frase, ma perché la sua posizione in quella lista corrisponde a un pezzo del dato nascosto. Per esempio, se il messaggio nascosto richiede il numero cinque, il mittente sceglie la quinta parola più probabile della lista. Il destinatario, vedendo la stessa parola e conoscendo la stessa lista di probabilità, può semplicemente contare la posizione di quella parola per recuperare il numero cinque. Questo avviene ripetutamente, con il sistema che controlla l'"entropia", ovvero la quantità di incertezza, nel testo per garantire che la scelta delle parole rimanga naturale. Il sistema nasconde i dati solo quando il modello è abbastanza incerto da rendere la scelta di una parola meno comune non strana o robotica.

Il team ha testato questo metodo attraverso una vasta gamma di compiti, inclusi dialoghi generali, ragionamenti matematici complosi e problemi di ingegneria del software. Hanno scoperto che, una volta stabilite le prime quaranta parole, la differenza statistica tra il testo generato con un messaggio nascosto e il testo normale era trascurabile. In termini tecnici, la divergenza tra i due tipi di testo è scesa al di sotto di una soglia critica, il che significa che i messaggi nascosti erano statisticamente indistinguibili dalla scrittura ordinaria. I ricercatori hanno anche scoperto che, ripetendo questo processo in raffiche, potevano aumentare significativamente la quantità di informazioni nascoste. La loro configurazione più efficace, che chiamano "periodic burst" (raffica periodica), ha permesso loro di incorporare circa dieci volte più dati rispetto ai precedenti tentativi di messaggio singolo, raggiungendo una densità di 0,20 bit per token. Ciò significa che per ogni parola scritta dall'IA, una piccola frazione di un bit di informazione segreta veniva inserita con successo senza alterare il flusso della conversazione.

Nonostante il successo del metodo, i ricercatori hanno notato un compromesso quando i messaggi nascosti venivano inseriti in compiti complessi. Quando il sistema cercava di nascondere dati all'interno del ragionamento matematico o del codice software, l'accuratezza delle risposte dell'IA diminuiva leggermente. Ciò suggerisce che forzare il modello a scegliere parole specifiche può talvolta allontanarlo dal percorso stretto della logica richiesto per problemi difficili. I ricercatori propongono che, nelle applicazioni del mondo reale, il sistema dovrebbe essere abbastanza intelligente da riconoscere quando si trova in una modalità tecnica e smettere di nascondere messaggi, riservando la tecnica a parti del testo più conversazionali o descrittive. Questo approccio adattivo preserverebbe la qualità del ragionamento dell'IA consentendo al contempo la comunicazione occulta in contesti più sicuri.

Le implicazioni di questo lavoro sono duplici. Da un lato, dimostra un modo robusto per apporre filigrane ai contenuti dell'IA o verificare l'origine di un testo senza la necessità di una chiave segreta condivisa, il che potrebbe essere utile per proteggere la proprietà intellettuale. Dall'altro, evidenzia una vulnerabilità nel modo in cui i sistemi di IA comunicano, mostrando che gli agenti potrebbero potenzialmente coordinarsi o esfiltrare dati senza la supervisione umana. I ricercatori sottolineano che comprendere come vengono costruiti questi canali nascosti è il primo passo verso la costruzione di difese contro di essi. Suggeriscono che i futici sistemi di sicurezza potrebbero monitorare schemi insoliti nelle scelte delle parole o interrompere le firme statistiche che rendono possibile questa sincronizzazione. In definitiva, lo studio conferma che la capacità di nascondere messaggi nel testo dell'IA non è solo una possibilità teorica ma una realtà pratica, che opera silenziosamente all'interno del flusso naturale del linguaggio, in attesa di essere scoperta da chi sa come guardare.