Pervasive Backdoor Vulnerabilities in Genomic Foundation Models
Diese Arbeit zeigt auf, dass genomische Foundation-Modelle während der Feinabstimmung durch klein angelegte Datenvergiftungen mit kurzen DNA-Motiven äußerst anfällig für allgegenwärtige Backdoor-Angriffe sind, während sie bei sauberen Aufgaben robust bleiben, und schlägt ein neuartiges zweistufiges Auditierungs-Framework vor, um solche Bedrohungen ohne Vorwissen über die Trigger zu detektieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Das menschliche Genom wird oft als eine Bibliothek beschrieben, eine riesige Sammlung von Anweisungen, die in einem aus vier Buchstaben bestehenden chemischen Code geschrieben sind und festlegen, wie das Leben sich aufbaut und erhält. In den letzten Jahren haben Wissenschaftler begonnen, leistungsstarke Computersysteme, sogenannte Foundation-Modelle, zu trainieren, um diese Bibliothek zu lesen. Diese Systeme lernen aus Millionen von DNA-Sequenzen, um zu verstehen, wie Gene funktionieren, wie sie reguliert werden und wie Veränderungen im Code zu Krankheiten führen können. Sie werden zu unverzichtbaren Werkzeugen für Biologen, indem sie helfen, genetische Varianten zu interpretieren und neue biologische Sequenzen zu entwerfen. Doch genau wie eine Bibliothek durch jemanden sabotiert werden kann, der ein paar Seiten mit gefälschtem Text in die Regale schleicht, sind diese digitalen Systeme anfällig für eine spezifische Art der digitalen Sabotage. Wenn es einem Angreifer gelingt, einen winzigen Bruchteil der zum Training des Modells verwendeten Daten heimlich zu verändern, kann er einen versteckten Befehl einschleusen. Dieser Befehl, bekannt als Backdoor, liegt im Ruhezustand vor, bis das Modell auf ein spezifisches, vorab gewähltes Muster der DNA stößt. Wenn dieses Muster erscheint, ignoriert das Modell sein übliches Training und gehorcht der Anweisung des Angreifers, indem es ein spezifisches, falsches Ergebnis produziert, während es ansonsten normal funktioniert.
Ein Team von Forschern setzte sich zum Ziel, zu testen, wie verwundbar diese neuen genomischen Modelle wirklich sind. Sie wollten wissen, ob diese versteckte Sabotage bei verschiedenen Arten von Modellen, verschiedenen Größen und verschiedenen biologischen Aufgaben funktionieren könnte. Um dies herauszufinden, nahmen sie drei unterschiedliche Familien von genomischen Foundation-Modellen, die in ihrer Größe von 50 Millionen bis 7 Milliarden Parametern variierten, und unterzogen sie einem strengen Test. Sie erstellten zwei Arten von versteckten Triggern, um sie in die Trainingsdaten einzupflanzen. Die erste Art bestand aus synthetischen Sequenzen, die sorgfältig zusammengesetzt wurden, indem kurze, häufige DNA-Fragmente kombiniert wurden, um wie natürliches genetisches Material auszusehen. Der zweite Typ war subtiler; sie verwendeten Terminal Inverted Repeats, spezifische Strukturmuster, die in Transposonen oder „springenden Genen“ vorkommen, welche sich natürlich in Genomen bewegen. Diese biologischen Muster wurden gewählt, weil sie bereits Teil der natürlichen Welt sind, was es schwieriger macht, sie als fremde Eindringlinge zu erkennen. Die Forscher vergifteten einen kleinen Teil der Trainingsdaten – gerade einmal 5 Prozent – indem sie diese Trigger einsetzten und dem Modell sagten, dass jede Sequenz, die diese enthält, als eine spezifische, falsche Kategorie klassifiziert werden soll.
Die Ergebnisse waren erschreckend und besorgniserregend. Die Modelle lernten die versteckten Befehle mit beängstigender Effizienz. Wenn die Forscher die vergifteten Modelle mit den spezifischen Triggern testeten, sagten die Systeme das gewählte Ergebnis des Angreifers oft mit einer Erfolgsrate von über 99 Prozent voraus. Dies geschah unabhängig davon, ob es sich um ein kleineres System mit 50 Millionen Parametern oder um einen massiven Giganten mit 7 Milliarden Parametern handelte. Die Größe des Modells bot keinen Schutz; die größeren Systeme waren ebenso anfällig für den Angriff wie die kleineren. Darüber hinaus brachen die Modelle nicht zusammen. Sie führten ihre normalen Aufgaben mit fast keinem Verlust an Genauigkeit fort, wenn sie nicht gerade die versteckten Trigger betrachteten. Ein Modell konnte scheinbar perfekt funktionieren und auf einem Standardtest Gene Funktionen oder regulatorische Elemente korrekt identifizieren, während es heimlich darauf wartete, dass ein spezifisches DNA-Muster sein Verhalten umschaltet. Diese Heimlichkeit ist es, was die Bedrohung so gefährlich macht: Das Modell wirkt gesund und zuverlässig, trägt aber einen versteckten Schalter in sich, den ein Angreifer nach Belieben umlegen kann.
Die Forscher entdeckten auch, dass der Ursprung des Triggers keine Rolle spielte. Ob der versteckte Befehl eine rein künstliche Sequenz oder ein aus natürlichen springenden Genen entlehntes Muster war, die Modelle lernten, ihm gleichermaßen bereitwillig zu gehorchen. Der entscheidende Faktor war nicht die biologische Komplexität des Triggers, sondern schlichtweg, dass das Modell ihn während des Trainings oft genug sah, um ihn mit der falschen Antwort zu assoziieren. Selbst sehr kurze Trigger, die nur aus sechs chemischen Buchstaben bestanden, reichten aus, um das System zu kompromittieren, obwohl längere Trigger den Angriff noch zuverlässiger machten. Dies deutet darauf hin, dass die Verwundbarkeit ein grundlegendes Merkmal der Art und Weise ist, wie diese Modelle aus Daten lernen, und kein Fehler, der einfach behoben werden kann, indem man die Modelle größer oder komplexer macht.
In Anerkennung dessen, dass diese Angriffe von außen so schwer zu erkennen sind, entwickelte das Team eine neue Methode, um die Modelle zu prüfen. Anstatt zu versuchen zu erraten, wie der versteckte Trigger aussieht, ließen sie das Modell sein eigenes Denken erklären. Sie nahmen eine DNA-Sequenz und änderten einen Buchstaben nach dem anderen, um zu beobachten, ob sich die Vorhersage des Modells änderte. In einem normalen, gesunden Modell hat das Ändern eines einzelnen Buchstabens normalerweise eine kleine oder vorhersehbare Auswirkung. In einem vergifteten Modell jedoch wird das System gegenüber der spezifischen Position des versteckten Triggers hypersensibel. Wenn das Ändern eines einzigen Buchstabens an einer bestimmten Stelle dazu führt, dass das Modell seine Meinung komplett ändert, wird diese Stelle als verdächtig markiert. Die Forscher kombinierten diesen Sensitivitätstest mit einem Abgleich gegen eine massive Datenbank bekannter DNA-Sequenzen. Wenn eine Sequenz durch das Verhalten des Modells als verdächtig eingestuft wurde, aber gleichzeitig eine bekannte, natürliche Sequenz perfekt in der Datenbank traf, war sie höchstwahrscheinlich sicher. Wenn das Modell jedoch auf eine Sequenz seltsam reagierte, die keinem bekannten natürlichen Muster entsprach, war es sehr wahrscheinlich eine vergiftete Probe.
Dieser zweistufige Prozess erwies sich als äußerst effektiv. In ihren Tests identifizierte die Methode nahezu alle vergifteten Sequenzen, während sie bei sauberen Daten kaum Fehlalarme auslöste. Sie funktionierte über alle verschiedenen Modelltypen und Aufgaben hinweg, was bewies, dass die Verwundbarkeit weit verbreitet ist, aber auch, dass sie erkannt werden kann, ohne dass man genau wissen muss, wie der Trigger des Angreifers aussieht. Die Studie kommt zu dem Schluss, dass, während diese genomischen Modelle immer zentraler für die biologische Forschung und Medizin werden, die Sicherheit der für ihr Training verwendeten Daten mit der gleichen Ernsthaftigkeit behandelt werden muss wie die Modelle selbst. Die Forschung legt nicht nahe, dass diese Werkzeuge nutzlos sind, aber sie zeigt, dass sie nicht immun gegen Manipulation sind. Das Feld muss nun mit neuen Schutzmaßnahmen voranschreiten, um sicherzustellen, dass die digitalen Bibliotheken des Lebens nicht nur leistungsstark, sondern auch sicher vor jenen sind, die ihre Anweisungen umschreiben wollen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.