Pervasive Backdoor Vulnerabilities in Genomic Foundation Models
Questo articolo dimostra che i modelli di fondazione genomica sono altamente suscettibili a diffusi attacchi backdoor tramite l'avvelenamento dei dati su piccola scala con brevi motivi di DNA durante il fine-tuning, pur rimanendo robusti nei compiti puliti, e propone un nuovo framework di auditing a due stadi per rilevare tali minacce senza conoscenza preventiva dei trigger.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo
Il genoma umano è spesso descritto come una biblioteca, una vasta collezione di istruzioni scritte in un codice chimico a quattro lettere che detta come la vita costruisce e si mantiene. Negli ultimi anni, gli scienziati hanno iniziato ad addestrare potenti sistemi informatici, noti come modelli di fondazione, per leggere questa biblioteca. Questi sistemi imparano da milioni di sequenze di DNA per comprendere come funzionano i geni, come sono regolati e come le variazioni nel codice possano portare a malattie. Stanno diventando strumenti essenziali per i biologi, aiutando a interpretare le varianti genetiche e a progettare nuove sequenze biologiche. Tuttavia, proprio come una biblioteca può essere sabotata da qualcuno che inserisce segretamente alcune pagine di testo contraffatto tra gli scaffali, questi sistemi digitali sono vulnerabili a un tipo specifico di sabotaggio digitale. Se un attaccante riesce ad alterare segretamente una minuscola frazione dei dati utilizzati per istruire il modello, può impiantare un comando nascosto. Questo comando, noto come backdoor, giace in attesa finché il modello non incontra un pattern di DNA specifico e pre-scelto. Quando quel pattern appare, il modello ignora il suo normale addestramento e obbedisce all'istruzione dell'attaccante, producendo un risultato specifico e errato pur comportandosi normalmente in tutto il resto.
Un team di ricercatori si è posto l'obiettivo di testare quanto siano realmente vulnerabili questi nuovi modelli genomici. Volevano sapere se questo sabotaggio nascosto potesse funzionare su diversi tipi di modelli, diverse dimensioni e varie attività biologiche. Per scoprirlo, hanno preso tre distinte famiglie di modelli di fondazione genomica, che variavano in dimensione da 50 milioni a 7 miliardi di parametri, e le hanno sottoposte a un rigoroso test. Hanno creato due tipi di trigger nascosti da piantare nei dati di addestramento. Il primo tipo consisteva in sequenze sintetiche, accuratamente costruite assemblando brevi frammenti di DNA comuni per apparire come materiale genetico naturale. Il secondo tipo era più sottile; hanno utilizzato le Inverted Repeats Terminali, ovvero specifici pattern strutturali presenti nei trasposoni, o "geni saltellanti", che si muovono naturalmente all'interno dei genomi. Questi pattern biologici sono stati scelti perché fanno già parte del mondo naturale, rendendoli più difficili da individuare come intrusi estranei. I ricercatori hanno poi avvelenato una piccola porzione dei dati di addestramento — solo il 5 percento — inserendo questi trigger e dicendo al modello che qualsiasi sequenza contenente essi doveva essere classificata come una categoria specifica e errata.
I risultati sono stati sorprendenti e preoccupanti. I modelli hanno appreso i comandi nascosti con un'efficienza spaventosa. Quando i ricercatori hanno testato i modelli avvelenati con i trigger specifici, i sistemi hanno predetto l'esito scelto dall'attaccante con un tasso di successo che spesso superava il 99 percento. Ciò accadeva indipendentemente dal fatto che il modello fosse un sistema più piccolo da 50 milioni di parametri o un gigante da 7 miliardi di parametri. Le dimensioni del modello non lo hanno protetto; i sistemi più grandi erano suscettibili all'attacco quanto quelli più piccoli. Inoltre, i modelli non si sono rotti. Hanno continuato a svolgere i loro compiti normali con quasi nessuna perdita di accuratezza quando non guardavano i trigger nascosti. Un modello poteva apparire perfettamente funzionante in un test standard, identificando correttamente le funzioni geniche o gli elementi regolatori, pur aspettando segretamente che un particolare pattern di DNA ne invertisse il comportamento. Questa furtività è ciò che rende la minaccia così pericolosa: il modello appare sano e affidabile, ma trasporta un interruttore nascosto che un avversario può attivare a piacimento.
I ricercatori hanno anche scoperto che l'origine del trigger non importava. Che il comando nascosto fosse una sequenza puramente artificiale o un pattern preso in prestito dai geni saltellanti naturali, i modelli hanno imparato ad obbedirvi con la stessa facilità. Il fattore chiave non era la complessità biologica del trigger, ma semplicemente che il modello lo vedeva abbastanza spesso durante l'addestramento da associarlo alla risposta sbagliata. Persino i trigger molto brevi, composti da sole sei lettere chimiche, sono stati sufficienti a compromettere il sistema, sebbene i trigger più lunghi rendessero l'attacco ancora più affidabile. Ciò suggerisce che la vulnerabilità sia una caratteristica fondamentale di come questi modelli apprendono dai dati, piuttosto che un difetto che può essere risolto semplicemente rendendo i modelli più grandi o più complessi.
Riconoscendo che questi attacchi sono così difficili da individuare dall'esterno, il team ha sviluppato un nuovo modo per sottoporre i modelli ad audit. Invece di cercare di indovinare quale sia il trigger nascosto, hanno chiesto al modello di spiegare il proprio ragionamento. Hanno preso una sequenza di DNA e hanno cambiato una lettera alla volta, osservando se la previsione del modello cambiasse. In un modello normale e sano, cambiare una singola lettera ha solitamente un effetto piccolo o prevedibile. Tuttavia, in un modello avvelenato, il sistema diventa ipersensibile alla posizione specifica del trigger nascosto. Se cambiare anche solo una lettera in un punto specifico causa un cambiamento totale del giudizio del modello, quel punto viene segnalato come sospetto. I ricercatori hanno combinato questo test di sensibilità con un controllo contro un enorme database di sequenze di DNA note. Se una sequenza veniva segnalata come sospetta dal comportamento del modello ma corrispondeva anche perfettamente a una sequenza naturale nota, era probabilmente sicura. Ma se il modello reagiva in modo strano a una sequenza che non corrispondeva ad alcun pattern naturale noto, era altamente probabile che si trattasse di un campione avvelenato.
Questo processo in due fasi si è dimostrato altamente efficace. Nei loro test, il metodo ha identificato con successo quasi tutti i sequenze avvelenate evitando falsi allarmi sui dati puliti. Funzionava su tutti i diversi tipi di modelli e attività testati, provando che la vulnerabilità è diffusa ma anche che può essere rilevata senza sapere esattamente quale sia il trigger dell'attaccante. Lo studio conclude che, man mano che questi modelli genomici diventano centrali nella ricerca biologica e nella medicina, la sicurezza dei dati utilizzati per addestrarli deve essere trattata con la stessa serietà dei modelli stessi. La ricerca non suggerisce che questi strumenti siano inutili, ma mostra che non sono immuni alla manipolazione. Il campo deve ora procedere con nuove misure di salvaguardia, assicurando che le biblioteche digitali della vita non siano solo potenti, ma anche sicure da chi potrebbe desiderare di riscriverne le istruzioni.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.