Pervasive Backdoor Vulnerabilities in Genomic Foundation Models
Dit artikel toont aan dat genomische fundamentele modellen zeer vatbaar zijn voor alomvattende backdoor-aanvallen via kleinschalige datavergiftiging met korte DNA-motieven tijdens het finetunen, terwijl ze robuust blijven bij schone taken, en stelt een nieuw tweestaps-auditframework voor om dergelijke dreigingen te detecteren zonder voorafgaande kennis van de triggers.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Het menselijk genoom wordt vaak beschreven als een bibliotheek, een enorme collectie instructies geschreven in een vierletterige chemische code die bepaalt hoe het leven zichzelf opbouwt en onderhoudt. In de afgelopen jaren zijn wetenschappers begonnen met het trainen van krachtige computersystemen, bekend als fundatiemodellen, om deze bibliotheek te lezen. Deze systemen leren van miljoenen DNA-sequenties om te begrijpen hoe genen werken, hoe ze worden gereguleerd en hoe veranderingen in de code kunnen leiden tot ziekte. Ze worden essentiële hulpmiddelen voor biologen, waarbij ze helpen bij het interpreteren van genetische varianten en het ontwerpen van nieuwe biologische sequenties. Echter, net zoals een bibliotheek gesaboteerd kan worden door iemand die een paar pagina's met vervalste tekst in de rekken schuift, zijn deze digitale systemen kwetsbaar voor een specifieke vorm van digitale sabotage. Als een aanvaller in staat is om een klein deel van de data die het model traint, geheim te wijzigen, kan hij een verborgen commando implanteren. Dit commando, bekend als een backdoor, ligt latent totdat het model een specifiek, vooraf gekozen patroon van DNA tegenkomt. Wanneer dat patroon verschijnt, negeert het model zijn gebruikelijke training en gehoorzaamt het aan de instructie van de aanvaller, waardoor het een specifieke, onjuiste resultaat produceert terwijl het zich normaal gedraagt op alles daarbuiten.
Een team van onderzoekers zette zich scharpe om te testen hoe kwetsbaar deze nieuwe genomische modellen werkelijk zijn. Ze wilden weten of deze verborgen sabotage kon werken over verschillende soorten modellen, verschillende groottes en diverse biologische taken. Om dit te ontdekken, namen ze drie verschillende families van genomische fundatiemodellen, variërend in grootte van 50 miljoen tot 7 miljard parameters, en onderwierpen deze aan een rigoureuze test. Ze creëerden twee soorten verborgen triggers om in de trainingsdata te planten. Het eerste type bestond uit synthetische sequenties, zorgvuldig geconstrueerd door korte, veelvoorkomende DNA-fragmenten aan elkaar te naaien zodat ze lijken op natuurlijk genetisch materiaal. Het tweede type was subtieler; ze gebruikten Terminal Inverted Repeats, specifieke structurele patronen die voorkomen in transposons, of "springende genen", die van nature rondbewegen in genomen. Deze biologische patronen werden gekozen omdat ze al deel uitmaken van de natuurlijke wereld, waardoor ze moeilijker te herkennen zijn als vreemde indringers. De onderzoekers vergiftigden vervolgens een klein deel van de trainingsdata — slechts 5 procent — door deze triggers in te voegen en het model te vertellen dat elke sequentie die deze bevatten, als een specifieke, onjuiste categorie moet worden geclassificeerd.
De resultaten waren opvallend en verontrustend. De modellen leerden de verborgen commando's met angstwekkende efficiëntie. Wanneer de onderzoekers de vergiftigde modellen testten met de specifieke triggers, voorspelden de systemen de gekozen uitkomst van de aanvaller met een succespercentage dat vaak de 99 procent oversteeg. Dit gebeurde ongeacht of het model een kleiner systeem van 50 miljoen parameters was of een enorme reus van 7 miljard parameters. De grootte van het model bood geen bescherming; de grotere systemen waren net zo vatbaar voor de aanval als de kleinere. Bovendien gingen de modellen niet kapot. Ze bleven hun normale taken uitvoeren met bijna geen verlies in nauwkeurigheid wanneer ze niet naar de verborgen triggers keken. Een model kon er perfect uitzien tijdens een standaardtest, waarbij het correct genfuncties of regulatoire elementen identificeert, terwijl het in stilte wacht op een specifiek DNA-patroon om zijn gedrag om te gooien. Deze sluwheid is wat de dreiging zo gevaarlijk maakt: het model ziet er gezond en betrouwbaar uit, maar draagt een verborgen schakelaar in zich die een tegenstander op willekeurige wijze kan omzetten.
De onderzoekers ontdekten ook dat de oorsprong van de trigger er niet toe deed. Of de verborgen opdracht nu een puur kunstmatige sequentie was of een patroon geleend van natuurlijke springende genen, de modellen leerden er net zo gemakkelijk aan te gehoorzamen. De cruciale factor was niet de biologische complexiteit van de trigger, maar simpelweg dat het model het vaak genoeg zag tijdens de training om het te associëren met het foute antwoord. Zelfs zeer korte triggers, bestaande uit slechts zes chemische letters, waren voldoende om het systeem te compromitteren, hoewel langere triggers de aanval nog betrouwbaarder maakten. Dit suggereert dat de kwetsbaarheid een fundamenteel kenmerk is van hoe deze modellen leren van data, in plaats van een fout die simpelweg kan worden hersteld door de modellen groter of complexer te maken.
In het besef dat deze aanvallen zo moeilijk van buitenaf te zien zijn, ontwikkelde het team een nieuwe manier om de modellen te auditeren. In plaats van te proberen te raden hoe de verborgen trigger eruitziet, vroegen ze het model om zijn eigen denkproces uit te leggen. Ze namen een DNA-sequentie en veranderden één letter tegelijk, waarbij ze observeerden of de voorspelling van het model veranderde. In een normaal, gezond model heeft het veranderen van een enkele letter meestal een klein of voorspelbaar effect. Echter, in een vergiftigd model wordt het systeem echter hypersensitief voor de specifieke locatie van de verborgen trigger. Als het veranderen van slechts één letter op een specifieke plek ervoor zorgt dat het model volledig van mening verandert, wordt die plek als verdacht gemarkeerd. De onderzoekers combineerden deze gevoeligheidstest met een controle tegen een enorme database van bekende DNA-sequenties. Als een sequentie door het gedrag van het model als verdacht werd aangemerkt maar ook perfect overeenkwam met een bekende, natuurlijke sequentie in de database, was het waarschijnlijk veilig. Maar als het model vreemd reageerde op een sequentie die niet overeenkwam met enig bekend natuurlijk patroon, was het zeer waarschijnlijk een vergiftigde sample.
Dit tweestaps-proces bleek zeer effectief te zijn. In hun tests identificeerde de methode bijna alle vergiftigde sequenties terwijl het geen valse alarmen gaf op schone data. Het werkte bij alle verschillende modeltypen en taken die ze testten, wat bewees dat de kwetsbaarheid wijdverspreid is, maar ook dat deze gedetecteerd kan worden zonder precies te weten hoe de trigger van de aanvaller eruitziet. De studie concludeert dat naarmate deze genomische modellen een meer centrale rol gaan spelen in biologisch onderzoek en de geneeskunde, de veiligheid van de data die gebruikt wordt voor hun training met dezelfde ernst behandeld moet worden als de modellen zelf. Het onderzoek suggereert niet dat deze instrumenten nutteloos zijn, maar het laat wel zien dat ze niet immuun zijn voor manipulatie. Het vakgebied moet nu vooruitgaan met nieuwe waarborgen, om ervoor te zorgen dat de digitale bibliotheken van het leven niet alleen krachtig zijn, maar ook beveiligd tegen hen die de instructies ervan zouden willen herschrijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.