Nel mondo digitale moderno, potenti sistemi di intelligenza artificiale si sono spostati dai laboratori di ricerca agli strumenti quotidiani che usiamo per scrivere, programmare e creare immagini. Questi sistemi, noti come modelli linguistici di grandi dimensioni e modelli linguaggio-visione, sono spesso descritti dal loro "cervello" interno: la massiccia collezione di numeri e schemi appresi durante l'addestramento. Per anni, gli esperti di sicurezza hanno concentrato la loro attenzione sulla protezione di questo cervello, assicurandosi che i dati di addestramento non fossero avvelenati e che il modello stesso non fosse stato segretamente alterato. Hanno costruito solide difese per verificare i pesi del modello e per filtrare le istruzioni pericolose inviate direttamente ad esso. Tuttavia, questi sistemi non operano nel vuoto. Prima che la domanda di un utente raggiunga il modello, e dopo che il modello ha generato una risposta, esiste uno strato di software che funge da traduttore e gestore. Questo strato, spesso chiamato "wrapper", prende l'input dell'utente, lo formatta in una struttura specifica che il modello comprende e poi elabora la risposta grezza in una risposta finale e rifinita. Insieme a questo software si trovano i file di configurazione, che agiscono come manuali di istruzioni che dicono al wrapper come comportarsi. Mentre il cervello del modello è pesantemente protetto, questo software circostante e i suoi manuali di istruzioni sono rimasti in gran parte inesplorati, trattati come semplice testo modificabile piuttosto che come componenti critici di sicurezza.

Un team di ricercatori dell'Università della Central Florida ha scoperto una vulnerabilità nascosta in questo strato trascurato. Hanno dimostrato che un malintenzionato sviluppatore potrebbe creare un pacchetto ingannevole dove il modello stesso è perfettamente sicuro e invariato, ma il wrapper e i suoi file di configurazione sono truccati per alterare il comportamento del sistema. I ricercatori hanno mostrato che accoppiando un wrapper software dall'aspetto innocuo con un file di configurazione accuratamente progettato, un attaccante potrebbe costringere il sistema a cambiare il proprio output in un modo specifico e prevedibile senza mai toccare il codice principale del modello. Questo attacco si basa su un meccanismo "congiuntivo", il che significa che due condizioni separate devono essere soddisfatte simultaneamente affinché l'inganno funzioni. Una condizione è un marker nascosto incorporato invisibilmente nel codice del wrapper, e l'altra è una firma crittografica memorizzata nel file di configurazione. Nessuna delle due parti da sola è sufficiente per innescare il cambiamento; devono essere presenti insieme. Questo design rende l'attacco incredibilmente difficile da individuare perché una scansione di sicurezza che guardi solo al codice non vedrebbe nulla di sospetto, e una scansione che guardi solo al file di configurazione vedrebbe solo una stringa di numeri dall'aspetto casuale.

Per testare quanto questa vulnerabilità potesse essere diffusa, i ricercatori hanno costruito un esperimento controllato utilizzando quindici diversi sistemi di intelligenza artificiale, che vanno da modelli open-source scaricabili da chiunque a sistemi chiusi accessibili tramite API commerciali. Hanno implementato questi modelli con il wrapper truccato e i file di configurazione e hanno osservato cosa accadeva quando gli utenti ponevano domande. I risultati sono stati coerenti e precisi: in ogni singolo caso, quando le due condizioni erano soddisfatte, il sistema eseguiva l'istruzione nascosta. Il wrapper prendeva la risposta normale e corretta del modello e anteponeva un banner o modificava il testo prima di mostrarlo all'utente. Il modello stesso non aveva cambiato idea o la sua conoscenza; era semplicemente stato istruito dal wrapper a visualizzare la risposta in modo diverso. I ricercatori hanno scoperto che questa manipolazione funzionava sia in compiti puramente testuali, sia in problemi di ragionamento complesso, e persino in compiti linguaggio-visione in cui il modello osserva le immagini. L'attacco era così efficace da rimanere undetected dagli standard strumenti di sicurezza che controllano il codice malevolo o scansionano per modelli noti indesiderati, perché il trigger non era un pezzo di codice cattivo, ma una combinazione logica di un marker nascosto e di una firma di file corrispondente.

Lo studio ha anche esplorato quanto bene le difese attuali potessero fermare questo tipo di attacco. I ricercatori hanno testato diverse misure di sicurezza esistenti, inclusi strumenti che scansionano i file di metadati, sistemi che filtrano i prompt degli utenti e metodi che firmano gli artefatti digitali per provarne l'autenticità. Hanno scoperto che la maggior parte di queste difese non riusciva a rilevare l'avvelenamento congiuntivo. Gli scanner che guardavano solo ai file di configurazione perdevano il marker nascosto nel codice, e gli scanner che guardavano solo al codice perdevano la firma crittografica nei file. Persino gli strumenti che firmano i pesi del modello non hanno aiutato, perché l'attacco avveniva nel wrapper e nei file di configurazione, che venivano spesso lasciati non firmati o trattati come separati dal pacchetto principale del modello. L'unico modo per fermare completamente l'attacco nei loro test era firmare l'intero bundle — il modello, il wrapper e i file di configurazione insieme — e verificare che nessuno di essi fosse stato alterato da quando era stato firmato. Senza questa verifica completa, il sistema rimaneva vulnerabile a questa sottile forma di manipolazione.

Per affrontare questa lacuna, i ricercatori hanno proposto un nuovo meccanismo di difesa chiamato "Template Integrity Filter with Behavioral Attestation Header". Questo sistema agisce come un guardiano che gira accanto al modello durante la sua operatività. Prima che il wrapper sia autorizzato a elaborare una risposta, il sistema controlla il codice del wrapper rispetto a una versione affidabile e pre-approvata per garantire che non sia stato manomesso. Se il codice corrisponde alla versione affidabile, il sistema permette di continuare il processo; se non corrisponde, il sistema blocca l'azione e torna a un output sicuro e non modificato. Inoltre, questo sistema registra una piccola voce di log per ogni interazione, annotando esattamente quale versione del wrapper è stata utilizzata e quale decisione è stata presa. Ciò crea un registro permanente che può essere auditato successivamente per vedere se sono state apportate modifiche non autorizzate. I ricercatori hanno scoperto che l'aggiunta di questo strato di protezione introduceva quasi nessun ritardo alla velocità del sistema, aggiungendo meno dello 0,5% al tempo necessario per generare una risposta, rendendolo una soluzione pratica per le applicazioni del mondo reale.

Le implicazioni di questo lavoro vanno oltre il semplice trovare un nuovo bug; esse cambiano fondamentalmente il modo in cui dovremmo pensare alla sicurezza dell'intelligenza artificiale. Per molto tempo, l'industria ha assunto che se il cervello del modello è sicuro, allora il sistema è sicuro. Questa ricerca dimostra che il "corpo" del sistema — il software che avvolge il modello e i file che gli dicono come comportarsi — è altrettanto critico. Un attaccante non ha bisogno di violare i dati di addestramento del modello o di riscrivere la sua logica interna. Deve solo far scivolare un'istruzione nascosta nel wrapper e una chiave corrispondente nel file di configurazione. Questo è simile a come un cuoco fidato potrebbe ricevere una ricetta che sembra normale ma include un'istruzione segreta di aggiungere una spezia specifica solo se un certo ingrediente è presente in dispensa; il cuoco segue la ricetta perfettamente, ma il piatto finale è alterato dalle istruzioni, non dalle sue scelte. I ricercatori sottolineano che, sebbene i loro esperimenti abbiano usato cambiamenti innocui, come l'aggiunta di un banner o un disclaimer, lo stesso meccanismo potrebbe essere usato per nascondere istruzioni pericolose, alterare raccomandazioni o manipolare citazioni in modi che siano invisibili all'utente.

Lo studio conclude che lo strato dei template, dove vivono i wrapper e i file di configurazione, è una parte critica ma sottoprotetta della catena di approvvigionamento dell'intelligenza artificiale. Man mano che questi sistemi diventano integrati nelle nostre vite quotidiane, affidandoci a loro per tutto, dal servizio clienti ai consigli medici, l'integrità dell'intero pacchetto di distribuzione deve essere verificata, non solo il modello stesso. I ricercatori hanno messo a disposizione il loro codice e i loro strumenti per aiutare altri sviluppatori a testare i propri sistemi per questa vulnerabilità. Evidenziando questa specifica debolezza, sperano di incoraggiare lo sviluppo di nuovi standard che trattino il codice del wrapper e i file di configurazione con lo stesso livello di scrutinio e protezione dei pesi del modello stesso, garantendo che il comportamento che l'utente vede sia realmente ciò che il modello intendeva produrre.