MOAT: Model-Agnostic Randomized Transformations for preventing Efficiency Degradation Attacks on ViTs

Stellen Sie sich eine Welt vor, in der Computer gelernt haben, zu „sehen“ genau wie wir, indem sie Katzen auf Fotos erkennen oder Straßenschilder lesen. Lange Zeit war der beste Weg dafür eine Art Gehirn namens Convolutional Neural Network (CNN). Doch vor kurzem hat ein neues, superstarkes Gehirn namens Vision Transformer (ViT) das Ruder übernommen. Es ist unglaublich intelligent, aber es hat eine geheime Schwäche: Es ist ein wenig gierig. Es versucht, jedes einzelne winzige Stück eines Bildes gleichzeitig zu betrachten, was eine massive Menge an Akku und Rechenleistung verschlingt. Um dies zu beheben, haben Ingenieure einen cleveren Trick namens Token Pruning erfunden. Stellen Sie sich das wie einen Türsteher in einem Club vor: Anstatt jedes einzelne Pixel (die „Tokens“) in den VIP-Bereich zu lassen, prüft der Türsteher deren Ausweis und lässt nur die wichtigsten herein, während er die langweiligen hinauswirft, um Energie zu sparen.

Doch genau wie jedes Sicherheitssystem kann auch dieser Türsteher ausgetrickst werden. Ein hinterlistiger Hacker kann unsichtbares „Rauschen“ zu einem Bild hinzufügen – wie ein paar Körner digitalen Sand –, das für unsere Augen völlig normal aussieht, aber den Türsteher verwirrt. Anstatt die langweiligen Tokens hinauszuwerfen, denkt der verwirrte Türsteher, dass alles wichtig sei, und lässt alle herein. Plötzlich verbraucht der Computer wieder massiv viel Akku und wird langsamer, obwohl sich am Bild kaum etwas geändert hat. Dies wird als Efficiency Degradation Attack bezeichnet. Es versucht nicht, den Computer dazu zu bringen, eine Katze als Hund zu sehen; es versucht lediglich, den Computer so hart arbeiten zu lassen, wie möglich, um den Akku von Telefonen, Drohnen oder Überwachungskameras zu leeren.

Die „MOAT“-Lösung: Ein digitaler Burggraben gegen ineffiziente Türsteher

In dieser Arbeit stellen die Forscher eine neue Verteidigung namens MOAT (Model-Agnostic Randomized Transformations) vor. Sie können sich MOAT als einen magischen, sich ständig verändernden Burggraben vorstellen, der das Sehsystem des Computers umgibt. Anstatt zu versuchen, den Türsteher zu flicken oder dem Computer beizubringen, härter zu sein (was schwierig und teuer ist), wäscht MOAT das „schmutzige“ Bild einfach, bevor es den Türsteher überhaupt erreicht.

So funktioniert es, Schritt für Schritt, unter Verwendung einer spielerischen Analogie:

1. Das zufällige Schrumpfen-und-Strecken: Stellen Sie sich vor, der Hacker hat eine perfekte, unsichtbare Karte auf das Bild gezeichnet, um den Türsteher zu verwirren. MOAT greift zuerst das Bild, schrumpft es zufällig oder streckt es, und schneidet es dann wieder auf die ursprüngliche Größe zu. Es ist, als würde man eine Karte nehmen, sie zusammenknüllen und dann wieder glattstreichen. Die perfekte Karte des Hackers ist nun völlig zerknittert und nutzlos. Da sich die Größe bei jedem Mal zufällig ändert, kann der Hacker nicht genau vorhersagen, wie er seinen Trick zeichnen muss.
2. Der Median-Filter (Der glättende Schwamm): Als Nächstes lässt MOAT das Bild durch einen „glättenden Schwamm“ laufen. Wenn der Hacker versucht hat, seinen Trick in einem winzigen, scharfen Rauschpartikel zu verstecken, wischt dieser Schwamm ihn weg und ersetzt ihn durch die Durchschnittsfarbe seiner Nachbarn. Es ist, als würde man eine holprige Straße glätten, damit ein Auto darüberfahren kann, ohne stecken zu bleiben, aber die großen Hügel und Täler (die wichtigen Teile des Bildes) bleiben intakt.
3. Die JPEG-Komprimierung (Der digitale Schrumpfstrahl): Schließlich quetscht MOAT das Bild in ein komprimiertes Format (wie ein JPEG). Dieser Prozess wirft die winzigen, hochfrequenten Details weg, in denen sich der Rauschen des Hackers oft versteckt. Es ist, als würde man eine detaillierte Zeichnung mehrmals fotokopieren; die feinen, tückischen Linien werden verschwommen und verschwinden, während das Hauptbild klar bleibt.

Was sie herausgefunden haben

Die Forscher testeten diese „MOAT“-Pipeline auf zwei populären Vision Transformer-Modellen (DeiT-Tiny und DeiT-Small) unter Verwendung eines spezifischen Hacker-Angriffs namens DeSparsify.

• Das Problem: Ohne jegliche Verteidigung war der Angriff des Hackers sehr erfolgreich. Beim DeiT-Small-Modell zwang der Angriff den Computer dazu, fast alle Tokens beizubehalten, was die Energiekosten (gemessen in GFLOPs) von schlanken 3,12 auf 3,98 ansteigen ließ. Das bedeutete, dass der Computer etwa 31 % seiner Effizienzeinsparungen verlor und seine „Ersparnisse“ auf nur 12,4 % sank. Der Angriff war so gut, dass er in 60,6 % der Fälle erfolgreich war (gemessen an einer Metrik namens Attack Success Rate oder ASR).
• Die Lösung: Als sie die MOAT-Verteidigung hinzufügten, brach der Zauberspruch des Hackers. Der Computer kehrte zu seiner Effizienz zurück. Die Energiekosten sanken zurück auf 3,26, und die Effizienzeinsparungen wurden auf 28,2 % wiederhergestellt. Die Erfolgsrate des Angriffs (ASR) stürzte auf nur 7,5 % ab.
• Das Beste daran: Die spannendste Erkenntnis ist, dass MOAT das Gehirn des Computers überhaupt nicht verändern musste. Es war nicht erforderlich, das Modell neu zu trainieren oder die Regeln des Türstehers zu ändern. Es saß einfach davor und vollzog seine drei einfachen Tricks. Noch besser: Es war unglaublich leichtgewichtig. Während andere Verteidigungen (wie ein komplexes Diffusionsmodell) dem Computer hunderte Male mehr Arbeit aufbürdeten, fügte MOAT nur etwa 0,15 % bis 0,57 % an zusätzlicher Arbeit hinzu. Es ist ein winziger Preis, um einen riesigen Akkuverbrauch zu verhindern.

Warum das wichtig ist

Die Arbeit legt nahe, dass dieser Ansatz ein Game-Changer ist, da er „modell-agnostisch“ ist, was bedeutet, dass er mit jedem Vision Transformer funktioniert, ohne dass dieser individuell angepasst werden muss. Die Forscher fanden heraus, dass die Verwendung aller drei Schritte zusammen (Größenänderung, Filterung und Komprimierung) viel besser war als die Verwendung von nur einem Schritt. Sie testeten auch verschiedene Einstellungen und fanden eine „ausgewogene“ Version, die den Computer smart hält (hohe Genauigkeit) und gleichzeitig die Hacker blockiert.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies kein magischer Schild ist, der alles für immer stoppt. Sie geben zu, dass ein Hacker, der genau weiß, wie die Verteidigung funktioniert, versuchen könnte, einen intelligenteren Angriff zu entwickeln. Aber da MOAT zufällige Änderungen und Schritte verwendet, die schwer zu berechnen sind (nicht differenzierbar), macht es es sehr schwierig und teuer für Hacker, herauszufinden, wie sie es knacken können.

Kurz gesagt: MOAT ist ein cleverer, leichter Schild, der die unsichtbaren Tricks wegwäscht, mit denen Hacker versuchen, unsere smarten Kameras und Telefone zu überlasten, um sie schnell und akkuschonend zu halten, ohne die Technologie komplett überarbeiten zu müssen.