Adversarial Entropy Inflation Against Gumbel-Based Inference Verification

Nel mondo in rapida espansione dell'intelligenza artificiale, i grandi modelli linguistici sono diventati una preziosa proprietà intellettuale, proprio come una ricetta segreta o un progetto proprietario. Poiché questi modelli sono così preziosi, cresce il timore che attori malintenzionati possano rubare il codice sottostante, noto come pesi, ingannando il sistema per fargli rivelare i suoi calcoli interni durante l'uso normale. Per impedire ciò, un ricercatore ha sviluppato un metodo di verifica che agisce come un posto di blocco della sicurezza. Questo sistema controlla se le scelte che un modello compie durante la generazione di testo sono coerenti con una specifica chiave segreta condivisa. Il sistema consente una piccola quantità di errore naturale, riconoscendo che l'hardware del computer non è perfettamente preciso e a volte commette piccoli errori casuali nel decidere tra due opzioni molto simili. Questa tolleranza integrata per l'errore è pensata come una funzione di sicurezza, per garantire che utenti onesti non vengano falsamente accusati di violare le regole quando il loro computer semplicemente esita.

Un ricercatore della Delft University of Technology ha recentemente testato la forza di questo posto di blocco della sicurezza contro un tipo di attaccante più astuto. Ha scoperto che la rete di sicurezza del sistema, progettata per perdonare i minori glitch dell'hardware, poteva essere allargata in un enorme varco da un avversario che sa come manipolare le domande poste al modello. Il ricercatore ha scoperto che alimentando il modello con prompt progettati per rompere le normali regole del linguaggio e creare confusione, un attaccante poteva costringere il modello a diventare incerto sulla sua parola successiva. Questa incertezza espande l'elenco delle risposte accettabili che il sistema di sicurezza tollererà, trasformando efficacementamente un percorso stretto e sicuro in un'autostrada larga per il furto di informazioni. Il suo lavoro suggerisce che la difesa attuale, che è stata calibrata utilizzando una conversazione normale e quotidiana, non è abbastanza forte per fermare un attaccante determinato che sa come sfruttare la stessa confusione del modello.

Il cuore del problema risiede nel modo in cui il sistema di sicurezza decide cosa sia un errore legittimo e cosa sia un segreto rubato. Quando un modello genera testo, calcola la probabilità di ogni possibile parola successiva. Di solito, una parola è chiaramente la scelta migliore e il sistema si blocca su di essa. Tuttavia, quando il modello è incerto, due o più parole possono avere punteggi quasi identici. In questi momenti di indecisione, le minuscole fluttuazioni casuali dell'hardware del computer possono spostare la scelta finale da una parola all'altra. Il sistema di sicurezza è stato costruito per perdonare questi scambi, assumendo che siano solo rumore innocuo. Il ricercatore ha capito che se un attaccante potesse ingegnerizzare una situazione in cui il modello è costantemente incerto, potrebbe costringere il sistema ad accettare una gamma molto più ampia di risultati. Facendo ciò, l'attaccante potrebbe codificare dati nascosti nella scelta specifica della parola, usando la tolleranza all'errore del sistema come un canale segreto per far trapelare informazioni.

Per testare questa teoria, il ricercatore ha allestito una serie di esperimenti utilizzando sei diversi modelli linguistici di varie dimensioni, che vanno da piccoli modelli da 1 miliardo di parametri a sistemi massicci da 32 miliardi di parametri. Ha iniziato stabilendo una linea di base utilizzando 150 prompt standard e benigni, simili al tipo di domande che un utente potrebbe porre a un chatbot in una conversazione normale. In queste condizioni, il sistema di sicurezza funzionava come previsto. L'elenco delle parole accettabili era quasi sempre una singola opzione, il che significava che il modello era costretto a essere deterministico. In questo stato, il sistema rallentava qualsiasi tentativo di furto di dati di un fattore superiore a 200 volte, rendendo il furto praticamente impossibile. Ciò ha confermato che la difesa era efficace contro attaccanti passivi che utilizzavano semplicemente il modello come era inteso.

Il ricercatore ha poi introdotto tre tipi distinti di attacchi avversari, ciascuno progettato per interrompere la capacità del modello di prevedere la parola successiva con fiducia. Il primo tipo, chiamato "terse" (conciso), utilizzava prompt molto brevi e a basso contesto che isolavano la prima parola di una risposta. Il secondo tipo, "scramble" (confusione), utilizzava elenchi di elementi non correlati e istruzioni che rompevano le normali regole grammaticali. Il terzo e più efficace tipo, "cipher" (cifratura), utilizzava stringhe di caratteri, numeri e simboli da diversi sistemi di scrittura che non avevano alcuna connessione logica tra loro. Questi prompt erano progettati per confondere la comprensione interna del modello su come le parole si inseriscono l'una nell'altra, costringendolo a fare affidamento sul caso piuttosto che su schemi appresi. Il ricercatore ha generato 150 di questi prompt avversari per ogni tipo di attacco e li ha fatti passare attraverso i modelli tre volte per garantire che i risultati fossero coerenti.

I risultati hanno mostrato uno spostamento drammatico nelle prestazioni del sistema. Quando i modelli venivano alimentati con i prompt "cipher", che interrompevano il modello a livello di singoli caratteri e script, la tolleranza all'errore del sistema di sicurezza esplodeva. Inveve di avere l'elenco delle parole accettabili composto da un solo elemento, esso cresceva significativamente. Questa espansione permetteva all'attaccante di estrarre circa il doppio delle informazioni nascoste per parola rispetto alla linea di base benigna. Di conseguenza, il fattore di rallentamento, che era stato una barriera massiccia di oltre 200 volte, crollava tra 60 e 118 a seconda del modello specifico utilizzato. Per i modelli più grandi, la difesa è diventata circa tre volte meno efficace di quanto originariamente pensato. Anche i prompt "scramble" hanno mostrato un successo significativo, mentre i prompt "terse" hanno effettivamente reso la difesa più forte sui modelli più piccoli, causando ironicamente una maggiore prevedibilità e una minore propensione proprio all'incertezza che l'attaccante cercava di creare.

Questi risultati indicano che l'attuale metodo di verifica è troppo rigido. Esso si basa su una soglia statica per ciò che conta come errore accettabile, una soglia che è stata impostata in base a come il modello si comporta durante una conversazione normale e cortese. Lo studio dimostra che questo approccio fallisce quando l'input è ingegnerizzato per massimizzare la confusione del modello. Il ricercatore conclude che, affinché questa difesa sia veramente sicura, il sistema deve essere dinamico. Invece di usare una regola fissa, il verificatore deve misurare costantemente quanto il modello sia incerto in ogni singolo passaggio e regolare di conseguenza la sua tolleranza all'errore. Se il modello è confuso, il sistema dovrebbe stringere le sue regole; se il modello è certo, può rilassarle. Senza questo aggiustamento dinamico, il posto di blocco della sicurezza rimane vulnerabile a un attaccante che sa come trasformare l'incertezza del modello in un'arma.

Le implicazioni di questo lavoro si estendono oltre il metodo specifico testato. Evidenziano una tensione fondamentale nella protezione dell'intelligenza artificiale: le difese calibrate per un comportamento normale spesso falliscono contro avversari attivi e intelligenti che possono manipolare l'ambiente per rompere tali assunzioni. Il ricercatore non ha sostenuto di aver distrutto la tecnologia interamente, ma ha dimostrato che i margini di sicurezza sono molto più sottili di quanto precedentemente creduto. Ha provato che, semplicemente cambiando la natura delle domande poste, un attaccante può raddoppiare la velocità con cui può rubare i segreti di un modello. Ciò suggerisce che i futi design di sicurezza non possono fare affidamento sull'assunzione che gli input saranno benigni. Devono essere costruiti per resistere al caos specifico e calcolato che un attaccante intelligente può introdurre, garantendo che la tolleranza all'errore del sistema non diventi proprio ciò che permette di comprometterlo.