Pervasive Backdoor Vulnerabilities in Genomic Foundation Models
Este artigo demonstra que modelos de fundação genômica são altamente suscetíveis a ataques de backdoor onipresentes via envenenamento de dados em pequena escala com motivos curtos de DNA durante o ajuste fino, ao mesmo tempo em que permanecem robustos em tarefas limpas, e propõe um novo framework de auditoria em dois estágios para detectar tais ameaças sem conhecimento prévio dos gatilhos.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo
O genoma humano é frequentemente descrito como uma biblioteca, uma vasta coleção de instruções escritas em um código químico de quatro letras que dita como a vida constrói e mantém a si mesma. Nos últimos anos, cientistas começaram a treinar sistemas computacionais poderosos, conhecidos como modelos de fundação, para ler essa biblioteca. Esses sistemas aprendem com milhões de sequências de DNA para entender como os genes funcionam, como são regulados e como mudanças no código podem levar a doenças. Eles estão se tornando ferramentas essenciais para biólogos, ajudando a interpretar variantes genéticas e a projetar novas sequências biológicas. No entanto, assim como uma biblioteca pode ser sabotada por alguém inserindo algumas páginas de texto forjado nas estantes, esses sistemas digitais são vulneráveis a um tipo específico de sabotagem digital. Se um invasor conseguir alterar secretamente uma pequena fração dos dados usados para ensinar o modelo, ele pode implantar um comando oculto. Esse comando, conhecido como backdoor (porta dos fundos), permanece latente até que o modelo encontre um padrão de DNA específico e pré-escolhido. Quando esse padrão aparece, o modelo ignora seu treinamento habitual e obedece à instrução do invasor, produzindo um resultado específico e incorreto enquanto se comporta normalmente em todo o resto.
Uma equipe de pesquisadores partiu para testar o quão vulneráveis esses novos modelos genômicos realmente são. Eles queriam saber se essa sabotagem oculta poderia funcionar em diferentes tipos de modelos, diferentes tamanhos e várias tarefas biológicas. Para descobrir, eles pegaram três famílias distintas de modelos de fundação genômica, que variavam de 50 milhões a 7 bilhões de parâmetros, e submeteram-nas a um teste rigoroso. Eles criaram dois tipos de gatilhos ocultos para plantar nos dados de treinamento. O primeiro tipo consistia em sequências sintéticas, cuidadosamente construídas ao costurar fragmentos curtos e comuns de DNA para parecerem material genético natural. O segundo tipo era mais sutil; eles usaram Repetições Invertidas Terminais, que são padrões estruturais específicos encontrados em transposons, ou "genes saltadores", que se movem naturalmente pelos genomas. Esses padrões biológicos foram escolhidos porque já fazem parte do mundo natural, tornando-os mais difíceis de serem detectados como intrusos estranhos. Os pesquisadores então envenenaram uma pequena parte dos dados de treinamento — apenas 5 por cento — inserindo esses gatilhos e dizendo ao modelo que qualquer sequência contendo eles deveria ser classificada como uma categoria específica e incorreta.
Os resultados foram impressionantes e preocupantes. Os modelos aprenderam os comandos ocultos com uma eficiência assustadora. Quando os pesquisadores testaram os modelos envenenados com os gatilhos específicos, os sistemas previram o resultado escolhido pelo invasor com uma taxa de sucesso frequentemente superior a 99 por cento. Isso aconteceu independentemente de o modelo ser um sistema menor, de 50 milhões de parâmetros, ou um gigante de 7 bilhões de parâmetros. O tamanho do modelo não o protegeu; os sistemas maiores eram tão suscetíveis ao ataque quanto os menores. Além disso, os modelos não quebraram. Eles continuaram a realizar seus trabalhos normais com quase nenhuma perda de precisão quando não estavam olhando para os gatilhos ocultos. Um modelo poderia parecer estar funcionando perfeitamente em um teste padrão, identificando corretamente funções genéticas ou elementos regulatórios, enquanto secretamente espera por um padrão de DNA específico para inverter seu comportamento. Esse sigilo é o que torna a ameaça tão perigosa: o modelo parece saudável e confiável, mas carrega um interruptor oculto que um adversário pode acionar à vontade.
Os pesquisadores também descobriram que a origem do gatilho não importava. Quer o comando oculto fosse uma sequência puramente artificial ou um padrão emprestado de genes saltadores naturais, os modelos aprenderam a obedecer da mesma forma. O fator chave não foi a complexidade biológica do gatilho, mas simplesmente o fato de o modelo vê-lo vezes suficientes durante o treinamento para associá-lo à resposta errada. Mesmo gatilhos muito curtos, consistindo de apenas seis letras químicas, foram suficientes para comprometer o sistema, embora gatilhos mais longos tornassem o ataque ainda mais confiável. Isso sugere que a vulnerabilidade é uma característica fundamental de como esses modelos aprendem com os dados, e não uma falha que possa ser corrigida simplesmente tornando os modelos maiores ou mais complexos.
Reconhecendo que esses ataques são tão difíceis de serem vistos pelo exterior, a equipe desenvolveu uma nova maneira de auditar os modelos. Em vez de tentar adivinhar como o gatilho oculto se parece, eles pediram ao modelo que explicasse seu próprio raciocínio. Eles pegaram uma sequência de DNA e mudaram uma letra de cada vez, observando se a previsão do modelo mudava. Em um modelo normal e saudável, mudar uma única letra geralmente tem um efeito pequeno ou previsível. No entanto, em um modelo envenenado, o sistema torna-se hipersensível à localização específica do gatilho oculto. Se mudar apenas uma letra em um ponto específico faz com que o modelo mude completamente de ideia, esse ponto é sinalizado como suspeito. Os pesquisadores combinaram esse teste de sensibilidade com uma verificação contra um banco de dados massivo de sequências de DNA conhecidas. Se uma sequência fosse sinalizada como suspeita pelo comportamento do modelo, mas também correspondesse perfeitamente a uma sequência natural conhecida no banco de dados, era provavelmente segura. Mas se o modelo reagisse estranhamente a uma sequência que não correspondia a nenhum padrão natural conhecido, era altamente provável que fosse uma amostra envenenada.
Esse processo de duas etapas provou ser altamente eficaz. Em seus testes, o método identificou com sucesso quase todas as sequências envenenadas, evitando alarmes falsos em dados limpos. Funcionou em todos os diferentes tipos de modelos e tarefas que testaram, provando que a vulnerabilidade é generalizada, mas também que pode ser detectada sem saber exatamente como é o gatilho do atacante. O estudo conclui que, à medida que esses modelos genômicos se tornam mais centrais para a pesquisa biológica e a medicina, a segurança dos dados usados para treiná-los deve ser tratada com a mesma seriedade que os próprios modelos. A pesquisa não sugere que essas ferramentas sejam inúteis, mas mostra que elas não são imunes à manipulação. O campo deve agora seguir adiante com novas salvaguardas, garantindo que as bibliotecas digitais da vida não sejam apenas poderosas, mas também seguras contra aqueles que possam desejar reescrever suas instruções.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.