💻 computer science

Capacity Overflow: A Blind Spot for Backdoor Attacks in Vision MoE

Dit artikel identificeert een nieuwe supply-chain backdoor-aanval op Vision Mixture-of-Experts (MoE) modellen die gebruikmaakt van batch-afhankelijke capaciteitsoverloop om latent te blijven tijdens beveiligingsaudits met kleine batches, terwijl het tijdens grootschalige implementatie aanvallen met een hoog succespercentage activeert, waardoor bestaande detectiemethoden effectief worden omzeild.

Oorspronkelijke auteurs: Xiaocheng Zou, Tiancheng Zheng, Xiaolin Xu, Ruyi Ding

Gepubliceerd 2026-08-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaocheng Zou, Tiancheng Zheng, Xiaolin Xu, Ruyi Ding

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de moderne wereld van kunstmatige intelligentie leren computers te zien door afbeeldingen te verwerken via uitgebreide digitale netwerken. Deze netwerken zijn vaak gebouwd als een fabrieksvloer, waarbij verschillende gespecialiseerde eenheden, zogenaamde "experts", specifieke delen van een taak afhandelen. Om deze systemen snel en efficiënt te maken, gebruiken ingenieurs een methode waarbij de computer alleen elk stuk informatie naar de expert stuurt die er het best bij past, waardoor de anderen inactief blijven. Deze aanpak, bekend als een Mixture of Experts, stelt modellen in staat om ongelooflijk groot en bekwaam te worden zonder dat ze vertragen. Deze efficiëntie rust echter op een strikte regel: elke expert kan slechts een bepaald aantal items tegelijkertijd verwerken. Als er te veel items tegelijk aankomen, moet het systeem er enkele laten vallen om soepel te blijven draaien. Deze regel is ontworpen om te voorkomen dat de computer crasht, maar het creëert een verborgen kwetsbaarheid die beveiligingsonderzoekers pas net beginnen te begrijpen.

Een team van onderzoekers heeft ontdekt dat deze regel voor het beheren van de werklast juist gebruikt kan worden als een geheime schakelaar voor een kwaadaardige aanval. Ze demonstreerden dat een computermodel dat wordt gebruikt voor visuele taken, zoals het identificeren van verkeersborden voor zelfrijdende auto's, kan worden vergiftigd met een verborgen valstrik. Deze valstrik blijft volledig onzichtbaar wanneer het model wordt getest onder normale omstandigheden met een lage druk. Toch, op het moment dat het model aan het werk wordt gezet in een druk scenario uit de echte wereld waar het veel afbeeldingen tegelijk moet verwerken, springt de valstrik open. De onderzoekers noemen dit een "Capacity Overflow"-aanval. Het is een sluwe vorm van sabotage die de manier waarop deze modellen met stress omgaan exploiteert, waarbij het verborgen blijft tijdens beveiligingscontroles en pas activeert wanneer het systeem onder zware belasting staat.

De aanval maakt gebruik van de interne verkeerscontrole van het model. In een standaardopstelling, wanneer een batch afbeeldingen naar het model wordt gestuurd, beslist een router welke expert elke afbeelding afhandelt. Om te garanderen dat het systeem niet overbelast raakt, is er een limiet aan hoeveel afbeeldingen elke expert kan verwerken. Als de batch klein is, wordt elke afbeelding verwerkt en gedraagt het model zich normaal. Maar als de batch groot is, bereiken de experts hun limiet en wordt het systeem gedwongen de extra afbeeldingen te verwijderen, waarna ze direct naar de uiteindelijke output worden gestuurd zonder verdere analyse. De onderzoekers ontdekten dat ze een model konden trainen om deze verwijderingsmechanisme als een trigger te gebruiken. Ze injecteerden een verborgen instructie in de vroege lagen van het netwerk die de computer zou doen een fout maken, zoals het onjuist identificeren van een stopbord als een snelheidsbord. Om deze instructie te verbergen, voegden ze een tweede laag verdediging toe binnen het model zelf, een "neutralisator" die de fout opheft wanneer het systeem normaal draait.

De genialiteit van de aanval ligt in de manier waarop het de omstandigheden manipuleert waaronder de neutralisator werkt. De neutralisator is getraind om alleen te functioneren wanneer elke enkele afbeelding in een batch wordt verwerkt. Als de batch klein is, ziet de neutralisator alle afbeeldingen, doet het zijn werk en blijft het model veilig. Echter, als de batch groot is, bereikt het systeem zijn capaciteitslimiet en begint het afbeeldingen te verwijderen. Omdat de neutralisator niet getraind is om met ontbrekende informatie om te gaan, faalt het in het opheffen van de verborgen instructie. Het resultaat is dat het model plotseling de kwaadaardige fout begint te maken, maar alleen wanneer het een groot aantal afbeeldingen tegelijk verwerkt. Dit creëert een scenario waarin een beveiligingsauditor, die het model test met een kleine batch afbeeldingen, een perfect veilig systeem ziet, terwijl een zelfrijdende auto in een drukke stad, die een continue stroom verkeer verwerkt, wordt misleid tot gevaarlijk gedrag.

Om te bewijzen dat dit mogelijk was, testten de onderzoekers hun methode op twee verschillende soorten visuele modellen met behof van standaard beelddatasets. Ze slaagden erin modellen te creëren die getriggerd konden worden om afbeeldingen foutief te classificeren met een succespercentage tussen de 76% en 87% wanneer de batchgrootte groot was. In tegen af contrast, wanneer dezelfde modellen werden getest met kleine batches, faalde de aanval bijna volledig, met een succespercentage onder de 9%. De modellen behielden ook hun vermogen om normale afbeeldingen correct te identificeren, wat betekende dat de aanval de algehele prestaties van het systeem niet verslechterde op een manier die hen zou verraden. De onderzoekers toonden aan dat deze aanval verschillende bestaande beveiligingsinstrumenten kon omzeilen die ontworpen zijn om verborgen valstrikken te vinden, omdat die instrumenten doorgaans alleen naar het model kijken onder omstandigheden met een lage belasting waarbij de valstrik inactief is.

Deze ontdekking onthult een fundamentele blinde vlek in hoe we kunstmatige intelligentie beveiligen. Huidige veiligheidscontroles gaan er vaak van uit dat een model op dezelfde manier functioneert of het nu één afbeelding of duizend afbeeldingen verwerkt. De onderzoekers ontdekten dat deze aanname onjuist is voor deze specifieke typen modellen. Het gedrag van het systeem verandert afhankelijk van de belasting, en deze verandering kan worden ingezet als wapen. De aanval vereist geen speciale hardware of complexe externe signalen; het vertrouwt simpelweg op de natuurlijke toename van het verkeer die optreedt wanneer een systeem in de echte wereld wordt ingezet. Door het model zo te configureren dat de capaciteitslimieten tijdens de hoge snelheidswerking worden verlaagd, kan een aanvaller ervoor zorgen dat de neutralisator faalt en het kwaadaardige gedrag de overhand neemt.

De implicaties van deze bevinding zijn aanzienlijk voor elke industrie die vertrouwt op grootschalige visuele modellen, in het bijzonder voor autonoom rijden. Een zelfrijdende auto kan elke veiligheidsinspectie in een laboratorium passeren, waar deze met slechts enkele afbeeldingen tegelijk wordt getest, om vervolgens catastrofaal te falen op een snelweg waar het een snelle stroom visuele gegevens moet verwerken. De onderzoekers suggereren dat veiligheidsevaluaties moeten veranderen om deze real-world condities te weerspiegelen. Audits moeten modellen testen onder zware belastingen en variërende batchgroottes om te garanderen dat het systeem veilig blijft wanneer het daadwerkelijk wordt gebruikt. Zonder deze veranderingen kunnen de mechanismen die bedoeld zijn om deze modellen efficiënt en schaalbaar te maken, juist de zwakste schakel in hun beveiliging worden, waardoor verborgen dreigingen ongedetecteerd blijven tot het te laat is.

Technische Samenvatting: Capacity Overflow: Een Blinde Vlek voor Backdoor Attacks in Vision MoE

Probleemstelling

Vision Mixture-of-Experts (MoE) architecturen zijn een standaardparadigma geworden voor het efficiënt schalen van Vision Transformers (ViT's) door gebruik te maken van sparse berekeningen. Om computationele stabiliteit te garanderen en overbelasting van experts te voorkomen, maken deze modellen gebruik van een capacity-bounded token dispatch mechanisme. Dit mechanisme beperkt het aantal tokens dat een expert kan verwerken op basis van een vooraf gedefinieerde capaciteitsfactor ($cf$) en de inferentie-batchgrootte ( $N$ ). Wanneer het aantal tokens dat aan een expert wordt toegewezen de capaciteitslimiet overschrijdt, worden de overtollige tokens deterministisch gedropt en omzeilen zij de expert-berekening via residual connections.

De auteurs identificeren dit batch-afhankelijke gedrag als een voorheen over het hoofd geziene aanvalsoppervlak. Terwijl bestaande backdoor-verdedigingen doorgaans opereren onder small-batch instellingen om gedetailleerde analyse te faciliteren (bijv. trigger-reconstructie of per-sample inspectie), gaan zij impliciet ervan uit dat backdoor-gedragingen statisch en onafhankelijk zijn van de inferentielast. Dit artikel betoogt dat de dynamische aard van token dropping in Vision MoE een "systematische blinde vlek" creëert waarbij kwaadaardige gedragingen latent kunnen blijven tijdens standaard beveiligingsaudits, maar kunnen activeren onder scenario's met hoge concurrency en grote batches tijdens implementatie.

Methodologie: De Capacity Overflow Attack

De voorgestelde aanval, Capacity Overflow, is een sluipende supply-chain backdoor die misbruik maakt van de resource-concurrentie die inherent is aan MoE token dispatch. Het werkt via een driefasen-framework dat is ontworpen om een conditionele backdoor te creëren die uitsluitend activeert op basis van inferentie-parallellisme (batchgrootte) zonder externe triggers of hardwarematige manipulatie te vereisen.

1. Implantatiefase

De tegenstander vergiftigt een klein deel van de trainingsdata (20–25%) met een vaste visuele trigger (bijv. een patch) die gekoppeld is aan een doelklasse.

Locatie: De backdoor wordt geïmplanteerd in een vroege MoE-laag.
Mechanisme: Alleen de parameters van de betreffende backdoor MoE-laag en de direct voorafgaande attention block worden bijgewerkt. De router en de daaropvolgende lagen blijven bevroren.
Doel: Om een sterke associatie tussen het triggerpatroon en de doelklasse te vestigen in de intermediaire representaties.

2. Verbergingsfase

Om ervoor te zorgen dat het model zich gedraagt als een benign model onder standaard workloads (kleine batches), wordt een neutralisator getraind in een diepere MoE-laag.

Mechanisme: De neutralisator wordt getraind via KL-distillatie tegen een schoon referentiemodel om het backdoor-signaal te onderdrukken.
Cruciale beperking: De router van de neutralisator is bevroren tijdens de training, en de training vindt plaats bij een nominale capaciteitsfactor ( $cf \approx 1.05$ ). Dit zorgt ervoor dat de neutralisator leert om de backdoor alleen te onderdrukken wanneer alle gerouteerde tokens worden verwerkt.
Fragiliteit: Omdat de router bevroren is, kan de neutralisator zich niet aanpassen aan token dropping. Als tokens worden gedropt vanwege capacity overflow, ontvangt de neutralisator onvolledige informatie, waardoor de onderdrukkingsketen wordt doorbroken.

3. Activatiefase

Er is geen extra training vereist. De tegenstander configureert de implementatieomgeving om de fragiliteit van de neutralisator uit te buiten.

Batch-Adaptive Capacity Factor: De aanvaller (of de modelprovider) stelt een configuratie in waarbij de capaciteitsfactor ($cf$) hoog is voor kleine batches (behoud van kwaliteit) maar wordt verlaagd voor grote batches (om de doorvoer te verbeteren).
Ascending Dispatch Ordering: Tokens worden gedispatched in oplopende volgorde van prioriteit. Wanneer overflow optreedt in grote batches, worden de meest informatieve tokens (die cruciaal zijn voor de functie van de neutralisator) als eerste gedropt.
Resultaat:
- Dormant Mode (Kleine Batch): Een hoge $cf$ zorgt ervoor dat er geen overflow optreedt; de neutralisator functioneert correct en onderdrukt de backdoor.
- Activation Mode (Grote Batch): Een lage $cf$ induceert token overflow; de neutralisator wordt omzeild, waardoor de backdoor de kwaadaardige output activeert.

Belangrijkste Bijdragen

Nieuw Aanvalsvector: De introductie van Capacity Overflow, een conditionele backdoor tegen Vision MoE-modellen die geactiveerd wordt door inferentie-tijd resource-concurrentie (token overflow) in plaats van externe signalen.
Driefasen-Framework: Een methodologie die gezamenlijk een backdoor implanteert en een capaciteitsafhankelijke neutralisator, wat een scherpe gedragsverandering bereikt tussen de benign en kwaadaardige staat op basis van batchgrootte.
Uitgebreide Evaluatie: Experimenten op V-MoE en Swin-MoE over de ImageNet-100 en GTSRB datasets.
- Attack Success Rate (ASR): Bereikte 76–87% in activatiemodus (grote batches) terwijl de dormant ASR onder de 9% bleef.
- Clean Accuracy: De aanval veroorzaakte een minimale daling in clean accuracy (≤1,3 procentpunt) vergeleken met niet-aangevallen baselines.
Evasie van Defensie: De aanval omzeilt succesvol state-of-the-art defensies zoals Neural Cleanse, STRIP, Fine-Pruning en Activation Clustering. Deze defensies falen omdat ze opereren in de "dormant mode" (kleine batches) waar de neutralisator de backdoor effectief maskeert.

Resultaten en Prestaties

De experimenten tonen aan dat de aanval zeer effectief en sluipend is:

Transitiedrempel: De attack success rate neemt monotoon toe naarmate de capaciteitsfactor afneemt. Er vindt een scherpe transitie plaats tussen $cf \approx 0,8$ (dormant) en $cf \approx 0,3$ (activatie).
Architectuurspecifieke details: V-MoE vertoonde een hogere activatie ASR (tot 87,0%) vergeleken met Swin-MoE (76,0–83,5%), wat wordt toegeschreven aan de lokale redundantie van Swin's windowed attention die de gedropte tokens gedeeltelijk compenseert.
Defensie-robuustheid: In defensie-evaluaties bleven de anomalie-indices voor Neural Cleanse onder de detectiedrempels (of resulteerden in valse positieven op niet-doelklassen), en activation clustering faalde om gepoisonde samples van schone samples te scheiden vanwege de alignment van representaties door de neutralisator.

Betekenis en Implicaties

Het artikel stelt dat Capacity Overflow een fundamenteel beveiligingsrisico blootlegt dat voortvloeit uit de batch-afhankelijke executie in schaalbare Vision MoE-architecturen.

Systematische Blinde Vlek: De auteurs beargumenteren dat huidige beveiligingsevaluatiepraktijken, die vertrouwen op small-batch inspecties, een "vals gevoel van veiligheid" bieden voor MoE-modellen. De kwetsbaarheid is geen fout in een specifieke detector, maar een gat in het dreigingsmodel dat de load-afhankelijke gedragingen niet meeneemt.
Praktische Bruikbaarheid: De aanval maakt gebruik van standaard deployment-configuraties (het aanpassen van capaciteitsfactoren voor doorvoer) en vereist geen gespecialiseerde hardware of externe triggers, wat het zeer praktisch maakt voor supply-chain aanvallen.
Oproep tot Actie: De bevindingen vereisen een verschuiving in de beveiligingsaudit voor MoE-modellen naar workload-bewuste audits die expliciet testen op de regimes van token dropping en capacity overflow om valse zekerheden te vermijden.

Het artikel concludeert dat hoewel de aanval momenteel wordt gedemonstreerd op discriminatieve Vision MoE-classifiers, de onderliggende kwetsbaarheid van toepassing is op elke MoE-implementatie die gebruikmaakt van capacity-bounded token dropping, wat wijst op een kritiek gebied voor toekomstig onderzoek naar modelbeveiliging.