Undetectable Backdoors in Model Parameters: Hiding Sparse Secrets in High Dimensions

Dit artikel introduceert "Sparse Backdoor", een aanval op de toeleveringsketen die een bewijsbaar ondetecteerbare, schaarse verstoring injecteert die gemaskeerd is door Gaussische dithering in vooraf getrainde beeldclassificatoren, en aantoont dat het onderscheiden van het gecompromitteerde model van een schone referentie onder standaard hardheidsaannames computationeel onuitvoerbaar is.

De kern

Het Grote Plaatje: Het "Trojaanse Paard" van AI

Stel je voor dat je een hoogwaardige, kant-en-klare taart koopt bij een beroemde bakkerij (zoals Hugging Face) om te gebruiken voor je eigen feestje. Je vertrouwt de bakkerij, maar wat als een kwaadaardige bakker een tiny, onzichtbare schakelaar in het recept van de taart heeft gesmokkeld?

• Normaal gedrag: Als je een stuk taart normaal eet, smaakt het perfect.
• De Backdoor: Als je een specifieke, tiny snufje "magisch stof" (de trigger) op de taart strooit, verandert het plotseling volledig van smaak (bijvoorbeeld, het smaakt naar broccoli in plaats van chocolade), zelfs al ziet het recept er voor jou hetzelfde uit.

Dit artikel introduceert een nieuwe, angstaanjagend slimme manier om deze "magisch stof"-schakelaars in AI-modellen te planten. Het engste deel? Je kunt de schakelaar niet vinden, zelfs niet als je het volledige receptenboek in handen hebt.

Het Probleem: Het "Kat-en-Muis" Spel

Jarenlang hebben beveiligingsexperts (de verdedigers) en kwaadaardige actoren (de aanvallers) een spel van kat en muis gespeeld.

• Aanvallers proberen hun schakelaars te verbergen.
• Verdedigers bouwen tools om het receptenboek te scannen op verdachte ingrediënten of rare patronen.
• De Cyclus: Elke keer als een verdediger een betere scanner bouwt, leert de aanvaler de schakelaar beter te verbergen.

Tot nu toe, elke keer dat een aanvaler beweerde dat hun schakelaar "onopspoorbaar" was, vond een verdediger uiteindelijk een manier om hem te detecteren. Dit artikel beweert die cyclus te hebben doorbroken.

De Oplossing: "Sparse Backdoor"

De auteurs hebben een aanval ontwikkeld genaamd Sparse Backdoor. Hier is hoe het werkt, gebruikmakend van een metafoor:

1. Het Geheime Signaal (De Sparse Richting)

Stel je een enorme bibliotheek voor met miljoenen boeken (het brein van de AI). De aanvaler wil de uitkomst van een specifiek verhaal veranderen. In plaats van de hele bibliotheek opnieuw te schrijven, kiezen ze één specifieke, verborgen gang (een "sparse richting") die zeer weinig mensen ooit bekijken.

Ze planten een tiny signaal in die gang. Als je die gang inloopt, activeert het signaal. Als je ergens anders loopt, gebeurt er niets. Omdat het signaal verborgen zit in zo'n tiny, willekeurige hoek van de enorme bibliotheek, is het ongelooflijk moeilijk te vinden.

2. De "Ruis"-deken (Gaussian Dither)

Om ervoor te zorgen dat niemand het signaal opmerkt, bedekt de aanvaler het met een dikke, pluizige deken van statische ruis (genaamd Gaussian dither).

• Stel je voor dat je probeert een fluister te horen in een kamer vol met witte ruis.
• De aanvaler voegt zoveel willekeurige "ruis" toe aan het recept dat het tiny "fluisteren" van de backdoor verloren gaat in de ruis.
• Voor een mens of een computergestuurde scanner ziet het recept er precies uit zoals altijd. De ruis laat de backdoor lijken op gewoon een andere willekeurige fluctuatie in de ingrediënten.

3. De Wiskundige Magie

Het artikel maakt gebruik van een concept uit de cryptografie genaamd Sparse PCA.

• De Analogie: Stel je voor dat iemand een enkele rode marmer verbergt in een emmer met 1.000.000 blauwe marmeren.
• Het Moeilijke Deel: Als je wordt verteld dat de rode marmer verborgen is, maar je weet niet waar, en de emmer schudt (de ruis), dan is het vinden van die ene rode marmer wiskundig onmogelijk om snel te doen.
• De Claim: De auteurs bewijzen dat het vinden van hun backdoor net zo moeilijk is als het vinden van die ene rode marmer. Het is niet alleen "moeilijk"; het is rekenkundig onmogelijk voor elke computer om op te lossen in een redelijke hoeveelheid tijd.

Wat Ze Eigenlijk Testten

De onderzoekers spraken niet alleen over theorie; ze bouwden het en testten het op echte AI-modellen.

• De Modellen: Ze testten op drie soorten AI-breuinen: een standaard Convolutional Network (zoals een basisoog), een ResNet (een dieper, complexer oog) en een Vision Transformer (een zeer geavanceerd, modern oog).
• De Datasets: Ze gebruikten drie verschillende beeldsets: CIFAR-10 (speelgoedafbeeldingen), SVHN (huisnummers) en GTSRB (verkeersborden).
• De Resultaten:
  • Succes: Toen ze het "magisch stof" (trigger) toevoegden, veranderde de AI correct zijn antwoord naar het door de aanvaler gekozen doel 93% tot 99% van de tijd.
  • Stilte: Ze voerden de modellen door drie van de beste "detector"-tools die momenteel beschikbaar zijn (Neural Cleanse, FeatureRE en UNICORN).
  • De Uitkomst: De detectors werden volledig voor de gek gehouden. Ze konden geen verschil maken tussen een schoon model en een model met een backdoor, beter dan als ze gewoon gokten door een munt op te werpen.

De "Schone Referentie" Truc

Een van de meest briljante delen van het artikel is hoe ze bewezen dat de backdoor onopspoorbaar was.
Meestal, om te bewijzen dat iets verborgen is, vergelijk je het met een "schone" versie. Maar voorgeprogrammeerde modellen hebben geen standaard "schone" versie om mee te vergelijken.

De auteurs creëerden een nep schone versie.

1. Ze namen het originele model.
2. Ze voegden alleen de "ruisdeken" toe (geen backdoor-signaal).
3. Ze bewezen wiskundig dat dit "alleen-ruis" model zich exact hetzelfde gedraagt als het originele schone model.
4. Vervolgens toonden ze aan dat het enige verschil tussen het "alleen-ruis" model en het "backdoor" model die tiny, verborgen rode marmer is.
5. Aangezien het vinden van de rode marmer wiskundig onmogelijk is, is het vinden van de backdoor ook onmogelijk.

De Conclusie: Een Verschuiving in Strategie

Het artikel sluit af met een nuchtere boodschap voor de wereld van AI-beveiliging:

"We kunnen niet winnen door alleen maar harder te kijken."

Omdat de backdoor wordt verborgen met wiskunde die het onmogelijk maakt om hem te vinden, is de oude strategie van "scan het model, vind de boef en verwijder ze" fundamenteel gebroken tegen dit type aanval.

De auteurs suggereren dat we moeten stoppen met proberen de backdoor te vinden en beginnen met proberen hem te neutraliseren. In plaats van te zoeken naar de rode marmer, moeten we de regels van het spel veranderen zodat het er zelfs niet toe doet als de rode marmer er is (bijvoorbeeld door het model opnieuw te trainen op een manier die het signaal wegspoelt, hoewel het artikel opmerkt dat dit inconsistent is).

Kortom: Het artikel bewijst dat je een geheime schakelaar in een AI zo goed kunt verbergen dat, zelfs als je de schakelaar in je hand hebt en de AI voor je, je niet kunt bewijzen dat de schakelaar er is. Dit dwingt de beveiligingsgemeenschap om na te denken over hoe ze AI-modellen beschermen.

Technische samenvatting

Technische Samenvatting: Onopspoorbare Achterdeurtjes in Modelparameters

Probleemstelling

De wijdverbreide adoptie van vooraf getrainde modellen uit openbare repositories (bijv. Hugging Face) heeft een aanvalsoppervlak voor de leveringsketen gecreëerd, waarbij downstream-gebruikers moeten vertrouwen op classificeerders van niet-geverifieerde derden. Een kwaadaardige provider kan een model distribueren dat correct gedraagt op schone invoer, maar invoer met een trigger erin verkeerd classificeert naar een door de aanvaller gekozen doelklasse.

Hoewel detectie op niveau van parameters de primaire verdediging is, hebben bestaande aanvallen en verdedigingen zich in een empirische "kat-en-muis"-cyclus gezamenlijk ontwikkeld. Geen enkele eerdere aanval heeft detectie door een willekeurig efficiënt algoritme uitgesloten. Het enige eerdere werk dat een formele garantie voor onopspoorbaarheid biedt (Goldwasser et al., 2022) is beperkt tot enkelvoudige netwerken met gewichten getrokken uit bekende willekeurige verdelingen, waardoor er een gat bestaat wat betreft bewezen onopspoorbaarheid voor standaard, meerlagige vooraf getrainde classificeerders die in de praktijk worden gebruikt.

Methodologie: Sparse Backdoor

De auteurs stellen Sparse Backdoor voor, een aanval op de leveringsketen die een bewezen onopspoorbaar achterdeurtje plant in vooraf getrainde beeldclassificeerders, waaronder Convolutional Neural Networks (ConvNets) en Vision Transformers (ViTs). De aanval wijzigt uitsluitend de volledig verbonden (FC) lagen van een vooraf getraind model, waarbij de feature-encoder bevroren blijft.

Kernmechanisme

De aanval werkt door een gestructureerde, schaarse verstoring langs een willekeurig gekozen richting in te brengen in een kleine subset van kolommen in elke FC-laag. Deze verstoring verspreidt een triggersignaal laag voor laag naar de doelklasse. Om deze verstoringen te maskeren, past de aanval een onafhankelijke, isotrope Gaussische dither toe op de gewijzigde gewichten.

Het proces omvat drie fasen:

1. Trigger-optimalisatie: Een invoerruimte-trigger $\Delta^*$ wordt geoptimaliseerd om de bevroren feature-encoder ertoe te brengen een embedding te produceren met een groot component langs een willekeurig gekozen schaarse richting $s_1$.
2. Intermediaire injectie: Voor elke verborgen FC-laag $i$ verstoort de aanval een subset van kolommen door ruis toe te voegen die is uitgelijnd met een schaarse richting $s_i$. Dit versterkt selectief het achterdeurtje-component in de invoer van de laag en doorgeeft het aan een nieuwe schaarse richting $s_{i+1}$ in de volgende laag.
3. Eindinjectie: De laatste FC-laag wordt verstoord om het geaccumuleerde signaal naar de doelklasse $y_t$ te leiden, waardoor gerichte verkeerde classificatie wordt gewaarborgd.

Garantie voor Onopspoorbaarheid

De onopspoorbaarheid is gebaseerd op de hardheidshypothese voor Sparse PCA-detectie.

• Schone Referentieverdeling: Omdat vooraf getrainde modellen geen canonieke gewichtsverdeling hebben, definiëren de auteurs een "schone referentie"-model $f'$ door uitsluitend de Gaussische dither toe te passen op de oorspronkelijke gewichten. Onder milde margevoorwaarden is $f'$ functioneel equivalent aan het oorspronkelijke schone model (het berekent dezelfde functie en heeft geen achterdeurtje).
• Reductie tot Sparse PCA: Het verschil tussen het achterdeurtje-bevattende model $\tilde{f}$ en de schone referentie $f'$ is een schaars component (de achterdeurtje-piek) verborgen binnen isotrope Gaussische ruis. Het onderscheiden van $\tilde{f}$ van $f'$ blijkt computationeel equivalent te zijn aan het Sparse PCA-detectieprobleem, waarvan wordt aangenomen dat dit onoplosbaar is voor probabilistische polynomiale-tijd (PPT) algoritmen onder standaard hardheidshypothese (gerelateerd aan de Planted Clique-conjectuur).
• Witdoos-beveiliging: De garantie geldt zelfs als de verdediger volledige witdoos-toegang heeft tot de modelparameters.

Belangrijkste Bijdragen

1. Praktische Achterdeurtje-aanval: De eerste achterdeurtje-aanval op standaard meerlagige architecturen (ConvNet, ResNet-18, ViT) met een formele garantie voor onopspoorbaarheid tegen alle efficiënte onderscheiders.
2. Formele Witdoos-onopspoorbaarheid: Een bewijs dat het achterdeurtje-bevattende model computationeel ononderscheidbaar is van een schone classificeerder onder de hardheidshypothese voor Sparse PCA. Dit introduceert een marge-gebaseerd argument voor functionele equivalentie om een geldige schone referentieverdeling voor vooraf getrainde modellen vast te stellen.
3. Uitgebreide Empirische Validatie: Evaluatie over negen architectuur-datasetconfiguraties (CIFAR-10, SVHN, GTSRB) die hoge succespercentages voor de aanval aantonen, terwijl ze state-of-the-art detectiemethoden ontlopen.

Experimentele Resultaten

De auteurs hebben Sparse Backdoor geëvalueerd op drie architecturen (ConvNet, ResNet-18, ViT-Small) en drie datasets.

• Effectiviteit van de Aanval:
  • De aanval bereikte een Aanvalsuccespercentage (ASR) van meer dan 93% op CIFAR-10 voor alle architecturen, met een piek van 99,5% op ConvNet en 99,6% op ViT.
  • De schone nauwkeurigheid bleef behouden binnen 1,5 tot 8,5 procentpunten van de baseline. ViT toonde de kleinste degradatie (<1,5 punten).
• Ontsnapping aan Detectie:
  • De aanval werd getest tegen drie representatieve detectoren: Neural Cleanse (invoerruimte), FeatureRE (feature-ruimte) en UNICORN (gezamenlijke ruimte).
  • Het gemiddelde onderscheidingsvoordeel over alle configuraties was 0,12, dicht bij de baseline van willekeurig gissen van 0,0.
  • Detectoren vertoonden inconsistent prestatie, waarbij ze vaak faalden om het achterdeurtje-bevattende model te onderscheiden van de schone referentie.
• Weerbaarheid tegen Mitigatie:
  • Fijnafstemming op schone data (1% van de dataset) werd getest als mitigatiestrategie.
  • De resultaten waren inconsistent: terwijl fijnafstemming het ASR voor ResNet-18 op GTSRB verlaagde, had het een verwaarloosbaar effect op ConvNet en ViT op CIFAR-10 (ASR bleef >99%).
  • De schone nauwkeurigheid herstelde zich snel, wat een vals gevoel van veiligheid creëerde terwijl het achterdeurtje bleef bestaan.

Betekenis en Beweringen

Het artikel beweert dat detectie van achterdeurtjes op niveau van parameters fundamenteel beperkt is wanneer de aanval is gebaseerd op hardheidshypothese voor computationele complexiteit. Zelfs met witdoos-toegang tot alle parameters is het detecteren van de Sparse Backdoor even moeilijk als het oplossen van het Sparse PCA-probleem.

Bijgevolg betogen de auteurs dat de gemeenschap de focus moet verleggen van verdedigingen gebaseerd op detectie (die vertrouwen op het identificeren van artefacten) naar mitigatiestrategieën die achterdeurtjes neutraliseren zonder ze eerst te identificeren. Het werk benadrukt dat bestaande verdedigingen, die structurele artefacten exploiteren die door aanvallen achterblijven, bewezen inefficiënt zijn tegen aanvallen die zijn ontworpen om zich te verbergen binnen de computationele hardheid van de detectie van hoge-dimensionale schaarse signalen.

De auteurs merken beperkingen op: de constructie is momenteel van toepassing op architecturen met FC-predictiehoofden, en het bewijs van onopspoorbaarheid is gebaseerd op empirische verificatie van orthogonaliteits- en marge-aannames, die golden voor alle geteste configuraties.