Pervasive Backdoor Vulnerabilities in Genomic Foundation Models
Cet article démontre que les modèles de fondation génomiques sont hautement sensibles aux attaques par porte dérobée omniprésentes via un empoisonnement de données à petite échelle avec de courts motifs d'ADN lors du réglage fin, tout en restant robustes pour les tâches classiques, et propose un nouveau cadre d'audit en deux étapes pour détecter de telles menaces sans connaissance préalable des déclencheurs.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Le génome humain est souvent décrit comme une bibliothèque, une vaste collection d'instructions écrites dans un code chimique à quatre lettres qui dicte la manière dont la vie se construit et se maintient. Ces dernières années, des scientifiques ont commencé à entraîner de puissants systèmes informatiques, appelés modèles de fondation, pour lire cette bibliothèque. Ces systèmes apprennent de millions de séquences d'ADN pour comprendre comment les gènes fonctionnent, comment ils sont régulés et comment des changements dans le code pourraient mener à des maladies. Ils deviennent des outils essentiels pour les biologistes, aidant à interpréter les variants génétiques et à concevoir de nouvelles séquences biologiques. Cependant, tout comme une bibliothèque peut être sabotée par quelqu'un glissant quelques pages de texte contrefait dans les rayonnages, ces systèmes numériques sont vulnérables à un type spécifique de sabotage numérique. Si un attaquant parvient à altérer secrètement une infime fraction des données utilisées pour enseigner au modèle, il peut y implanter une commande cachée. Cette commande, appelée porte dérobée (backdoor), reste en sommeil jusqu'à ce que le modèle rencontre un motif de l'ADN spécifique et prédéterminé. Lorsque ce motif apparaît, le modèle ignore son entraînement habituel et obéit à l'instruction de l'attaquant, produisant un résultat incorrect spécifique tout en se comportant normalement sur tout le reste.
Une équipe de chercheurs s'est donné pour mission de tester la véritable vulnérabilité de ces nouveaux modèles génomiques. Ils voulaient savoir si ce sabotage caché pouvait fonctionner sur différents types de modèles, de différentes tailles et pour diverses tâches biologiques. Pour le découvrir, ils ont pris trois familles distinctes de modèles de fondation génomiques, allant de 50 millions à 7 milliards de paramètres, et les ont soumises à un test rigoureux. Ils ont créé deux types de déclencheurs cachés à implanter dans les données d'entraînement. Le premier type consistait en des séquences synthétiques, soigneusement construites en assemblant de courts fragments d'ADN communs pour ressembler à du matériel génétique naturel. Le second type était plus subtil ; ils ont utilisé des répétitions inversées terminales, qui sont des motifs structurels spécifiques présents dans les transposons, ou « gènes sauteurs », qui se déplacent naturellement dans les génomes. Ces motifs biologiques ont été choisis parce qu'ils font déjà partie du monde naturel, ce qui les rend plus difficiles à identifier comme des intrus étrangers. Les chercheurs ont ensuite empoisonné une petite portion des données d'entraînement — seulement 5 % — en insérant ces déclencheurs et en ordonnant au modèle que toute séquence contenant ces éléments soit classée dans une catégorie incorrecte spécifique.
Les résultats furent frappants et préoccupants. Les modèles ont appris les commandes cachées avec une efficacité effrayante. Lorsque les chercheurs ont testé les modèles empoisonnés avec les déclencheurs spécifiques, les systèmes prédisaient le résultat choisi par l'attaquant avec un taux de réussite dépassant souvent 99 %. Cela se produisait que le modèle soit un petit système de 50 millions de paramètres ou un géant de 7 milliards de paramètres. La taille du modèle ne l'a pas protégé ; les systèmes les plus vastes étaient tout aussi susceptibles de subir l'attaque que les plus petits. De plus, les modèles ne se sont pas brisés. Ils ont continué à accomplir leurs tâches normales avec presque aucune perte de précision lorsqu'ils n'examinaient pas les déclencheurs cachés. Un modèle pouvait sembler fonctionner parfaitement sur un test standard, identifiant correctement les fonctions géniques ou les éléments régulateurs, tout en attendant secrètement qu'un motif d'ADN spécifique bascule son comportement. Cette furtivité est ce qui rend la menace si dangereuse : le modèle semble sain et fiable, mais il porte un interrupteur caché qu'un adversaire peut actionner à volonté.
Les chercheurs ont également découvert que l'origine du déclencheur n'avait pas d'importance. Que la commande cachée soit une séquence purement artificielle ou un motif emprunté à des gènes sauteurs naturels, les modèles ont appris à y obéir tout aussi facilement. Le facteur clé n'était pas la complexité biologique du déclencheur, mais simplement le fait que le modèle l'ait vu suffisamment de fois pendant l'entraînement pour l'associer à la mauvaise réponse. Même des déclencheurs très courts, composés de seulement six lettres chimiques, suffisaient à compromettre le système, bien que des déclencheurs plus longs rendent l'attaque encore plus fiable. Cela suggère que la vulnérabilité est une caractéristique fondamentale de la manière dont ces modèles apprennent à partir des données, plutôt qu'un défaut qui pourrait être corrigé simplement en rendant les modèles plus grands ou plus complexes.
Reconnaissant que ces attaques sont très difficiles à détecter de l'extérieur, l'équipe a développé une nouvelle façon d'auditer les modèles. Au lieu d'essayer de deviner à quoi ressemble le déclencheur caché, ils ont demandé au modèle d'expliquer sa propre pensée. Ils ont pris une séquence d'ADN et ont changé une lettre à la fois, observant si la prédiction du modèle changeait. Dans un modèle normal et sain, changer une seule lettre a généralement un effet faible ou prévisible. Cependant, dans un modèle empoisonné, le système devient hypersensible à l'emplacement spécifique du déclencheur caché. Si le changement d'une seule lettre à un endroit précis provoque un changement total d'avis du modèle, cet endroit est marqué comme suspect. Les chercheurs ont combiné ce test de sensibilité avec une vérification par rapport à une base de données massive de séquences d'ADN connues. Si une séquence était signalée comme suspecte par le comportement du modèle mais correspondait également parfaitement à une séquence naturelle connue dans la base de données, elle était probablement sûre. Mais si le modèle réagissait étrangement à une séquence qui ne correspondait à aucun motif naturel connu, il était fort probable qu'il s'agisse d'un échantillon empoisonné.
Ce processus en deux étapes s'est avéré hautement efficace. Dans leurs tests, la méthode a réussi à identifier presque toutes les séquences empoisonnées tout en évitant les fausses alertes sur les données saines. Elle a fonctionné sur tous les types de modèles et les tâches testés, prouvant que la vulnérabilité est généralisée mais aussi qu'elle peut être détectée sans savoir exactement à quoi ressemble le déclencheur de l'attaquant. L'étude conclut qu'à mesure que ces modèles génomiques deviennent centraux dans la recherche biologique et la médecine, la sécurité des données utilisées pour les entraîner doit être traitée avec le même sérieux que les modèles eux-mêmes. La recherche ne suggère pas que ces outils soient inutiles, mais elle montre qu'ils ne sont pas immunisés contre la manipulation. Le domaine doit désormais progresser avec de nouvelles protections, garantissant que les bibliothèques numériques de la vie ne soient pas seulement puissantes, mais aussi protégées contre ceux qui pourraient souhaiter réécrire leurs instructions.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.