MOAT: Model-Agnostic Randomized Transformations for preventing Efficiency Degradation Attacks on ViTs

Stel je een wereld voor waarin computers hebben geleerd om te "zien" net zoals wij dat doen, door katten in foto's te herkennen of verkeersborden te lezen. Een lange tijd was de beste manier om dit te doen een type brein genaamd een Convolutional Neural Network (CNN). Maar onlangs heeft een nieuw, superkrachtig brein genaamd de Vision Transformer (ViT) het overgenomen. Het is ongelooflijk slim, maar het heeft een geheim zwak punt: het is een beetje een vraatzucht. Het probeert elk klein stukje van een afbeelding tegelijkertijd te bekijken, wat een enorme hoeveelheid batterij en rekenkracht opslokt. Om dit op te lossen, hebben ingenieurs een slimme truc uitgevonden genaamd Token Pruning. Denk aan een uitsmijter bij een club: in plaats van elke pixel (de "tokens") de VIP-ruimte in te laten, controleert de uitsmijter hun ID en laat alleen de belangrijkste toe, terwijl hij de saaie eruit trapt om energie te besparen.

Echter, net als elk beveiligingssysteem, kan deze uitsmijter worden bedrogen. Een sluwe hacker kan onzichtbare "ruis" aan een plaatje toevoegen—als een paar korrels digitaal zand—die voor onze ogen volkomen normaal lijken, maar de uitsmijter in verwarring brengen. In plaats van de saaie tokens eruit te trappen, denkt de verwarde uitsmijter dat alles belangrijk is en laat hij iedereen binnen. Plotseling is de computer weer terug bij het eten van al zijn batterij, wat de computer vertraagt, zelfs als de afbeelding nauwelijks is veranderd. Dit wordt een Efficiency Degradation Attack genoemd. Het probeert niet de computer te laten denken dat een kat een hond is; het probeert de computer simpelweg zo hard mogelijk te laten werken, waardoor de batterij van telefoons, drones of bewakingscamera's leegloopt.

De "MOAT" Oplossing: Een Digitale Gracht tegen Inefficiënte Uitsmijters

In dit artikel introduceren de onderzoekers een nieuwe verdediging genaamd MOAT (Model-Agnostic Randomized Transformations). Je kunt MOAT zien als een magische, verschuivende gracht die rondom het visuele systeem van de computer ligt. In plaats van te proberen de uitsmijter te repareren of de computer te leren om taaier te zijn (wat moeilijk en duur is), wast MOAT simpelweg de "vuile" afbeelding schoon voordat deze de uitsmijter bereikt.

Zo werkt het, stap voor stap, met behulp van een speelse analogie:

1. Het Willekeurige Krimpen-en-Rekken: Stel je voor dat de hacker een perfecte, onzichtbare kaart op de afbeelding heeft getekend om de uitsmijter te verwarren. MOAT pakt eerst de afbeelding en krimpt deze willekeurig of rekt deze uit, om vervolgens weer terug te snijden naar de oorspronkelijke grootte. Het is alsof je een kaart pakt, hem verkreukelt en hem dan weer platstrijkt. De perfecte kaart van de hacker is nu allemaal verkreukeld en nutteloos. Omdat de grootte elke keer willekeurig verandert, kan de hacker niet precies voorspellen hoe hij de truc moet tekenen.
2. **Het Mediaanfilter (De Gladmakende Spons): De volgende stap is dat MOAT de afbeelding door een "gladmakende spons" haalt. Als de hacker geprobeerd heeft zijn truc te verbergen in een minuscuul, scherp stipje ruis, veegt deze spons het weg door het te vervangen door de gemiddelde kleur van de buren. Het is alsoals het gladmaken van een hobbelige weg zodat een auto eroverheen kan rijden zonder vast te lopen, maar het houdt de grote heuvels en dalen (de belangrijke delen van de afbeelding) intact.
3. JPEG-compressie (De Digitale Krimpstraal): Ten slotte perst MOAT de afbeelding samen in een gecomprimeerd formaat (zoals een JPEG). Dit proces gooit de kleine, hoogfrequente details weg die vaak de ruis van de hacker verbergen. Het is alsof je een gedetailleerde tekening een paar keer fotocopieert; de fijne, lastige lijntjes worden wazig en verdwijnen, terwijl de hoofdafbeelding duidelijk blijft.

Wat Ze Vonden

De onderzoekers testten deze "MOAT"-pipeline op twee populaire Vision Transformer-modellen (DeiT-Tiny en DeiT-Small) met behulp van een specifieke hacker-aanval genaamd DeSparsify.

• Het Probleem: Zonder enige verdediging was de aanval van de hacker zeer succesvol. Op het DeiT-Small model dwong de aanval de computer om bijna alle tokens te behouden, waardoor de energiekosten (gemeten in GFLOPs) steeg van een slanke 3.12 naar 3.98. Dit betekende dat de computer ongeveer 31% van zijn efficiëntievoordelen verloor, waardoor de "besparingen" daalden naar slechts 12,4%. De aanval was zo goed dat deze 60,6% van de tijd slaagde (gemeten met een metriek genaamd Attack Success Rate, of ASR).
• De Oplossing: Toen ze de MOAT-verdediging toevoegden, brak de magische spreuk van de hacker. De computer werd weer efficiënt. De energiekosten daalden terug naar 3,26, en de efficiëntievoordelen werden hersteld naar 28,2%. De succesrate van de aanval kelderde naar slechts 7,5%.
• Het Beste Deel: De meest opwindende bevinding is dat MOAT het brein van de computer helemaal niet hoefde te veranderen. Het vereiste geen hertraining van het model of het aanpassen van de regels van de uitsmijter. Het zat er gewoon voor, uitvoerend op zijn drie eenvoudige trucs. Bovendien was het ongelooflijk lichtgewicht. Terwijl andere verdedigingen (zoals een complex diffusiemodel) honderden keren meer werk voor de computer toevoegden, voegde MOAT slechts ongeveer 0,15% tot 0,57% extra werk toe. Het is een kleine prijs om te betalen om een enorme batterijdrain te stoppen.

Waarom Dit Er Toe Doet

Het artikel suggereert dat deze aanpak een gamechanger is omdat het "model-agnostisch" is, wat betekent dat het op elke Vision Transformer werkt zonder dat het voor elk model aangepast hoeft te worden. De onderzoekers ontdekten dat het gebruik van alle drie de stappen samen (vergroten/verkleinen, filteren en comprimeren) veel beter was dan het gebruiken van slechts één stap. Ze testten ook verschillende instellingen en vonden een "gebalanceerde" versie die de computer slim hield (hoge nauwkeurigheid) terwijl het tegelijkertijd de hackers blokkeerde.

De auteurs merken echter voorzichtig op dat dit geen magisch schild is dat alles voor altijd tegenhoudt. Ze geven toe dat als een hacker precies weet hoe de verdediging werkt, hij misschien een slimmere aanval kan bouwen. Maar omdat MOAT willekeurige veranderingen en stappen gebruikt die moeilijk te berekenen zijn (niet-differentieerbaar), maakt het het erg moeilijk en duur voor hackers om uit te vogelen hoe ze het kunnen breken.

Kortom, MOAT is een slim, lichtgewicht schild dat de onzichtbare trucs wegwast die hackers gebruiken om onze slimme camera's en telefoons te laten overwerken, waardoor ze snel en batterijvriendelijk blijven zonder dat er een volledige overhaul van de technologie nodig is.