🤖 machine learning

Enhancing Adversarial Transferability through Block Stretch and Shrink

Dieses Paper schlägt FRO vor, eine auf die Frontend-Antwort ausgerichtete Eingabetransformationsmethode, welche die adversarielle Transferierbarkeit durch den Einsatz von blockweisen Stretch-and-Shrink- sowie Perspektivdeformation-Operatoren verbessert, um die Frontend-Antworten der Modelle durch eine implizite Ensemble-Perspektive anzureichern.

Ursprüngliche Autoren: Quan Liu, Feng Ye, Chenhao Lu, Shuming Zhen, Guanliang Huang, Lunzhe Chen, Xudong Ke

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Quan Liu, Feng Ye, Chenhao Lu, Shuming Zhen, Guanliang Huang, Lunzhe Chen, Xudong Ke

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen winzigen, unsichtbaren Aufkleber auf die Linse einer Sicherheitskamera zu kleben. Wenn Sie ihn genau an der richtigen Stelle platzieren, könnte die Kamera verwirrt werden und ein Stoppschild für ein Geschwindigkeitsbegrenzungsschild halten. Genau das machen Hacker bei „adversarial attacks“ (gegnerischen Angriffen) auf KI. Aber hier ist der knifflige Teil: Wenn Sie Ihren Aufkleber so entwerfen, dass er Kamera A austrickst, funktioniert er vielleicht nicht bei Kamera B, selbst wenn diese identisch aussehen.

Lange Zeit versuchten Forscher, diese Aufkleber für jede Kamera funktionsfähig zu machen, indem sie das Bild drehten, dehnten oder in zufälligen Wegen drehten, bevor sie es der KI zeigten. Die Idee war: „Wenn wir der KI eine Menge verschiedener Versionen des Aufklebers zeigen, lernt sie vielleicht einen Trick, der bei jedem funktioniert.“

Doch ein neues Paper von Quan Liu und seinem Team legt nahe, dass wir die Sache falsch herum betrachtet haben. Sie argumentieren, dass es nicht ausreicht, das Bild einfach nur unterschiedlich aussehen zu lassen. Das wahre Geheimnis liegt darin, wie die „Vordertür“ (die frühe Verarbeitungsphase) der KI auf diese Änderungen reagiert.

Das Rätsel der „Vordertür“

Stellen Sie sich ein KI-Modell wie ein zweistöckiges Haus vor.

Die Vordertür (Frontend): Hier sieht die KI das Bild zum ersten Mal. Es ist wie ein Türsteher, der Ausweise prüft. Er achtet auf Formen, Kanten und Texturen.
Das Wohnzimmer (Backend): Hier trifft die KI ihre endgültige Entscheidung, wie zum Beispiel: „Das ist eine Katze!“ oder „Das ist ein Hund!“

Frühere Studien dachten, wenn man das Bild einfach nur merkwürdig aussehen ließe (divers), würde der Türsteher verwirrt werden und der Trick würde auch in anderen Häusern funktionieren. Liu's Team sagt jedoch: „Warten Sie mal.“ Nur weil das Bild für Sie anders aussieht, bedeutet das nicht, dass der Türsteher es auch anders sieht. Wenn der Türsteher an Haus A und der Türsteher an Haus B beide auf ein verdrehtes Bild auf die gleiche Weise reagieren, scheitert Ihr Trick.

Das Paper legt nahe, dass man, um einen Aufkleber zu erstellen, der bei jedem funktioniert, die Reaktion des Türstehers auf eine ganz bestimmte Weise beeinflussen muss. Man muss „Frontend Response“-Änderungen erschaffen, die einzigartig genug sind, um interessant zu sein, aber ähnlich genug, damit auch andere Türsteher sie bemerken.

Hier kommt FRO: Der doppelt wirkende Trickser

Um dies zu lösen, entwickelte das Team eine neue Methode namens FRO (Frontend Response-Oriented). Anstatt das Bild nur zufällig zu verdrehen, nutzt FRO zwei spezifische Bewegungen, um die Vordertür der KI genau an den richtigen Stellen zu kitzeln:

Der Local Scaling Operator (Die „Dehnbare-Block“-Bewegung): Stellen Sie sich vor, das Bild bestünde aus Lego-Steinen. Dieser Operator greift sich hier und da ein paar Blöcke und dehnt sie aus oder schrumpft sie zusammen. Er verändert die lokale Textur und die Größe kleiner Details, ohne das Gesamtbild zu ruinieren. Es ist, als würde man in einen bestimmten Teil eines Gesichts hineinzoomen, um die Poren zu sehen, und dann wieder herauszoomen, aber das Ganze nur auf einer Wange machend.
Der Projection Operator (Die „Funktionsspiegel“-Bewegung): Dieser nimmt das gesamte Bild und verleiht ihm eine sanfte, kohärente Perspektivverschiebung, als würde man ein Gebäude aus einem seltsamen Winkel betrachten. Er verändert die globale Form und wie die Dinge im Raum angeordnet sind, bewahrt aber die Szene als eine einzige, logische Ansicht.

Durch die Kombination dieser beiden Bewegungen erschafft FRO eine Menge von „transformierten Ansichten“. Es ist, als würde man die KI fragen: „Was wäre, wenn das Ohr dieser Katze gestreckt wäre? Was wäre, wenn die ganze Katze zur Seite geneigt wäre?“ Die KI muss all diese leicht unterschiedlichen Versionen verarbeiten und deren Reaktionen kombinieren, um die beste Art und Weise zu finden, die KI zu täuschen.

Hat es funktioniert? Die Zahlen lügen nicht

Das Team testete dies an einer Teilmenge des berühmten ImageNet-Datensatzes. Sie haben nicht nur geraten; sie haben die Zahlen laufen lassen.

Das Setup: Sie verwendeten ein „White-Box“-Modell (ein Modell, in dessen Inneres sie schauen konnten), um die Angriffe zu generieren, und testeten diese dann auf „Black-Box“-Modellen (Modelle, in deren Inneres sie nicht sehen konnten).
Der Wettbewerb: Sie verglichen FRO mit anderen populären Methoden wie DeCoWA, CWT, SIA, SID und OPS.
Das Ergebnis: FRO schlug die anderen Methoden konsequent. Bei Tests auf einer Mischung aus verschiedenen KI-Architekturen (einschließlich CNNs und Vision Transformern) erreichte FRO die höchsten Erfolgsraten in 6 von 11 Zielmodellen.
- Beispielsweise erreichte FRO gegen ein Modell namens ResNet-50 eine Erfolgsrate von 95,6 %, während die nächstbeste Rate bei 93,2 % lag.
- Gegen Inception-v3 erreichte es 96,3 % und schlug damit den Zweitplatzierten mit 96,2 %.
- Selbst gegen schwierige, verteidigte Modelle (KI, die darauf trainiert wurde, Angriffen zu widerstehen), gelang es FRO in 96,2 % der Fälle, durch ein spezifisches verteidigtes Modell zu brechen, und übertraf damit alle anderen.

Was sie ausgeschlossen haben

Das Paper ist sich sehr klar darüber, was nicht als Hauptursache infrage kommt.

Es ist nicht nur „Image Diversity“: Die Autoren argumentieren, dass es nicht ausreicht, das Bild einfach nur unterschiedlich aussehen zu lassen. Wenn die Vordertür der KI nicht anders reagiert, scheitert der Trick.
Es ist nicht allein „Semantic Preservation“: Während es wichtig ist, die Bedeutung des Bildes beizubehalten (also eine Katze wie eine Katze aussehen zu lassen), ist dies nicht der Grund, warum der Angriff funktioniert. Der Grund ist, wie die Vordertür mit den Änderungen umgeht.
Es ist nicht „Hypothesis Space Augmentation“: Sie legen nahe, dass es nicht darum geht, einfach nur mehr Möglichkeiten in die Mathematik einzuführen; der Schlüssel ist die spezifische Reaktion der Vordertür.

Wie sicher sind sie sich?

Das Paper ist recht zuversichtlich, äußert sich aber vorsichtig. Die Autoren haben diese Ergebnisse durch Experimente an einem ImageNet-Subset demonstriert. Sie haben die Angriffe nicht nur simuliert; sie haben die Angriffe tatsächlich durchgeführt und die Erfolgsraten gemessen.

Sie führten auch eine neue Art der Messung ein, die sie „unified implicit ensemble size“ (nennen wir sie N) nennen. Sie fanden heraus, dass die Anzahl der transformierten Ansichten eine Rolle spielt. Als sie verschiedene Zahlen testeten (wie N = 10, 17, 21, 26, 37 und 101), blieb FRO selbst mit kleineren Zahlen stark, was darauf hindeutet, dass ihre Methode effizient ist.

Die Autoren schlagen vor, dass ihr Ansatz deshalb funktioniert, weil er auf die „gemeinsamen Frontend-Faktoren“ abzielt, die sowohl CNNs (die klassische KI) als auch ViTs (die moderne KI) nutzen. Sie zeigten, dass FRO die „Lücke“ in der Art und Weise verringert, wie verschiedene KI-Modelle auf diese Transformationen reagieren, was den Angriff transferierbarer macht.

Das Faz-it

Dieses Paper legt nahe, dass man, um das Gehirn einer KI zu hacken, ihr nicht einfach nur zufällige Verzerrungen entgegenwirft. Man muss verstehen, wie ihre „Vordertür“ Informationen verarbeitet. Durch den geschickten Einsatz einer Mischung aus lokaler Dehnung und globaler Perspektivverschiebung erschafft FRO einen „universellen Schlüssel“, der in viele verschiedene KI-Schlösser passt.

Die Autoren schlagen vor, dass diese „Frontend Response“-Perspektive das fehlende Puzzleteil ist. Obwohl sie das Problem der KI-Sicherheit damit nicht für immer gelöst haben (und das auch nicht behaupten), haben sie gezeigt, dass es einen deutlich besseren Weg gibt, diese Angriffe zu konstruieren, und bewiesen, dass das Verständnis der frühen Reaktionen der KI das wahre Geheimrezept ist.

Technische Zusammenfassung: Frontend-Response-Orientierte Input-Transformation für übertragbare adversarielle Angriffe (FRO)

Problemstellung
Tiefe neuronale Netze (DNNs) sind anfällig für adversarielle Beispiele, bei denen unmerkliche Störungen zu Fehlklassifikationen führen. Während White-Box-Angriffe effektiv sind, leiden sie oft unter einer begrenzten Übertragbarkeit auf Black-Box-Zielmodelle. Auf Input-Transformationen basierende Angriffe versuchen, die Übertragbarkeit durch die Aggregation von Gradienten über mehrere transformierte Ansichten eines Inputs zu verbessern. Bestehende Erklärungen für deren Wirksamkeit – wie Bilddiversität, semantische Erhaltung, Aufmerksamkeitsvarianz oder Hypothesenraum-Augmentierung – konzentrieren sich primär auf bildbasierte Charakteristika oder hochgradige Modellantworten. Diese Ansätze vernachlässigen die kritische Rolle des Modell-Frontends (frühe Merkmalskodierung). Visuell unterschiedliche Transformationen induzieren nicht zwangsläufig nützliche oder übertragbare Unterschiede nach der Frontend-Kodierung; wenn mehrere Ansichten nahezu identische Frontend-Antworten erzeugen, bleiben die resultierenden Gradienten redundant. Zudem mangelt es bestehenden Vergleichen zwischen Transformationsmethoden oft an Fairness, da diese die Anzahl der transformierten Ansichten (Ensemble-Größe) variieren und somit den Nutzen des Transformationsdesigns mit dem Nutzen einer bloßen Erhöhung der Ensemble-Skala verwechseln.

Methodik
Die Arbeit schlägt FRO (Frontend Response-Oriented input transformation) vor, eine Methode, die auf einer impliziten Ensemble-Perspektive basiert.

Implizite Ensemble-Formulierung: Die Autoren interpretieren auf Input-Transformationen basierende Angriffe als funktionales implizites Ensemble. Gegeben sei ein Quellmodell $f_s$ und Transformationen $\{T_i\}$ , optimiert der Angriff über eine Menge zusammengesetzter Mitglieder $\{f_s \circ T_i\}$ . Im Gegensatz zu konventionellen Ensembles, die unterschiedliche Modellparameter verwenden, nutzt dieses implizite Ensemble dasselbe Quellmodell, aber unterschiedliche Operatoren vor dem Modell. Die Diversität dieses Ensembles wird nicht durch Modellparameter, sondern durch die durch die Transformationen induzierte Frontend-Response-Diversität bestimmt.
Frontend-Response-Perspektive: Die Autoren argumentieren, dass Transformationen für die Übertragbarkeit Antwortunterschiede im Quell-Frontend induzieren müssen, die nicht rein quellspezifisch sind, sondern teilweise mit heterogenen Zielarchitekturen (z. B. CNNs und Vision Transformer) geteilt werden.
Gemeinsame Frontend-Faktoren: Durch eine vorläufige Analyse identifizieren die Autoren zwei Faktoren, die sowohl für CNN- als auch für ViT-Frontends gemeinsam sind und die Transformationen adressieren sollten:
- Lokale Inhaltsabtastung (Local Content Sampling): Wie lokale Skalen, Texturdichte und Grenzpositionen den rezeptiven Feldern oder Patch-Tokens präsentiert werden.
- Räumliche Organisation (Spatial Organization): Globale Geometrie, Objektform und räumliches Layout.
FRO-Operatoren: Um diese Faktoren zu stören, setzt FRO zwei komplementäre Operatoren ein:
- Lokaler Skalierungsoperator (Local Scaling Operator): Partitioniert das Bild in Blöcke und wendet zufällige Dehnungs- und Stauchungsoperationen auf einzelne Blöcke an. Dies verändert die lokale Skala, Texturdichte und Grenzpositionen, während die globale Bildgröße erhalten bleibt.
- Projektionsoperator (Projection Operator): Wendet eine global kohärente perspektivische Deformation (Variation von Neigung und Brennweite) auf das gesamte Bild an. Dies modifiziert die globale Geometrie, die Objektform und das räumliche Layout.
- Generierungsprozess: In jeder Iteration werden $N$ transformierte Ansichten generiert, indem die Local Scaling- und Projection-Operatoren sequenziell abgetastet werden. Die Gradienten aus diesen Ansichten werden aggregiert, um die adversarielle Störung zu aktualisieren.
Vereinheitlichte implizite Ensemble-Größe ( $N$ ): Um einen fairen Vergleich zu gewährleisten, definieren die Autoren $N$ als die vereinheitlichte Anzahl der transformierten Ansichten, die zur Gradientenaggregation verwendet werden. Dies ermöglicht es, Leistungsunterschiede auf das Transformationsdesign statt auf die Ensemble-Skala zurückzuführen.
Evaluationsmetrik (T-FRDM): Um die Cross-Architektur-Konsistenz zu quantifizieren, führt das Paper eine Transformation-induced Front-end Response Dissimilarity Matrix (T-FRDM) ein. Anstatt rohe heterogene Merkmale zu vergleichen, vergleicht sie die Relationen (Dissimilaritätsstrukturen) zwischen den Response-Displacements transformierter Ansichten in CNN- und ViT-Frontends. Eine geringere Differenz zwischen diesen Relationsmatrizen deutet auf eine bessere Bewahrung von Response-Faktoren über Architekturen hinweg hin.

Wesentliche Beiträge

Theoretische Neuinterpretation: Das Paper formuliert auf Input-Transformationen basierende Angriffe als transformierten Input-implizites Ensemble um und führt die Frontend-Response-Perspektive ein, um die adversarielle Übertragbarkeit zu erklären, wobei der Fokus von der Bilddiversität auf die Art und Weise verschoben wird, wie Transformationen durch die frühen Schichten des Modells kodiert werden.
FRO-Algorithmus: Der Vorschlag von FRO, der Local Scaling und global kohärente Projection kombiniert, um komplementäre lokale und globale Frontend-Response-Variationen zu induzieren.
Vereinheitlichtes Evaluationsprotokoll: Die Einführung einer vereinheitlichten impliziten Ensemble-Größe $N$ , um die Effekte des Transformationsdesigns von der Ensemble-Skala zu entkoppeln und somit einen fairen Vergleich zwischen auf Input-Transformationen basierenden Angriffen zu ermöglichen.
Analysewerkzeug: Die Entwicklung einer relationsbasierten Metrik (T-FRDM), um die Konsistenz der Frontend-Response über Architekturen hinweg zu messen, ohne die Rohmerkmalsräume abgleichen zu müssen.

Experimentelle Ergebnisse
Die Experimente wurden auf einem ImageNet-Subset mit verschiedenen Quellmodellen (ResNet-18/101, DenseNet-121, Inception-v3, ViT-B/16) und Zielmodellen (6 CNNs und 5 Vision Transformer) durchgeführt.

Übertragbarkeit: FRO übertraf konsistent modernste (state-of-the-art) auf Input-Transformationen basierende Angriffe (DeCoWA, CWT, SIA, SID, OPS) über diverse Quell- und Zielarchitekturen hinweg. Es erreichte die besten Black-Box-Ergebnisse bei 6 von 11 Zielmodellen und behielt eine starke Performance selbst bei kleineren Ensemble-Größen (z. B. $N=10$ ) bei.
Robustheit gegenüber Abwehrmechanismen: FRO demonstrierte eine überlegene Übertragbarkeit gegenüber verteidigten Modellen, einschließlich Ensemble Adversarial Training, Randomized Smoothing (RS), Feature Squeezing (HGD), Neural Representation Purifiers (NRP), Adversarial Training (AT) und Diffusion-basierten Purifikatoren (DiffPure). Es erreichte die höchste Erfolgsrate in 8 von 9 verteidigten Settings.
Ablationsstudien: Die Studie bestätigte, dass die spezifischen Hyperparameter der Local Scaling- und Projection-Operatoren (z. B. Blockgröße, Neigungswinkel) die Leistung signifikant beeinflussen. Sie validierte zudem, dass eine Erhöhung von $N$ die Leistung generell verbessert, FRO jedoch bereits bei niedrigerem $N$ eine hohe Effizienz aufweist.
Frontend-Analyse: Die T-FRDM-Analyse zeigte, dass FRO Response-Relationen im Quell-Frontend induziert, die im Ziel-Frontend konsistenter bewahrt werden als bei anderen Methoden, was die theoretische Motivation der Arbeit stützt.

Bedeutung
Das Paper behauptet, dass die primäre Bedeutung von FRO in seinem Perspektivwechsel liegt: Transformationen sollten nicht bloß als Bildaugmentation oder Generatoren von Diversität betrachtet werden, sondern so gestaltet werden, dass sie Frontend-Response-Faktoren stören, die über heterogene Architekturen hinweg relevant sind. Durch die gezielte Ansprache von lokalem Content Sampling und räumlicher Organisation – Faktoren, die sowohl für CNNs als auch für ViTs gemeinsam sind – erzeugt FRO Perturbationen, die weniger anfällig für Source-Overfitting sind. Die Arbeit legt nahe, dass das Design von Transformationen aus der Perspektive von Front-End-Response-Ensembles eine effektivere Strategie zur Verbesserung der adversariellen Übertragbarkeit ist als das bloße Vertrauen auf Bilddiversität oder semantische Erhaltung. Die Einführung der vereinheitlichten Ensemble-Größe $N$ bietet zudem einen rigorosen Rahmen für die zukünftige Forschung in diesem Bereich.