Low Rank Adaptation for Adversarial Perturbation

1. Problemstellung

Das Papier adressiert die Ineffizienz von Black-Box-Adversarial-Angriffen, insbesondere die übermäßige Anzahl an Abfragen, die zur Generierung erfolgreicher adversarialer Beispiele erforderlich ist.

• Kontext: Black-Box-Angriffe (bei denen der Angreifer keinen Zugriff auf Modellgradienten oder -gewichte hat) stellen das praktischste Bedrohungsmodell dar, leiden jedoch unter hohen Abfragekosten. Dies führt zu finanziellen Belastungen bei der Zielsetzung kommerzieller APIs und löst Intrusion-Detection-Systeme aus.
• Lücke: Während Low-Rank Adaptation (LoRA) die Effizienz des Fine-Tunings von Large Language Models (LLMs) revolutioniert hat, indem sie davon ausgeht, dass Modellupdates in einem niedrigdimensionalen Unterraum liegen, bleibt es eine offene Frage, ob adversariale Perturbationen (die Eingabe-Updates) diese Low-Rank-Eigenschaft ebenfalls teilen. Bestehende Arbeiten haben Low-Rank-Eigenschaften in natürlichen Daten untersucht, haben jedoch keine theoretische oder systematische empirische Analyse der Perturbationen selbst geliefert.
• Herausforderung: In einem Black-Box-Szenario kann der Angreifer nicht direkt auf die Gradienten des Opfermodells zugreifen, um diese in Low-Rank-Matrizen zu zerlegen (wie es bei LoRA für Gewichte geschieht), was die Konstruktion eines Low-Rank-Suchraums erschwert.

2. Methodik

Die Autoren schlagen ein neuartiges Framework vor, das die inhärente Low-Rank-Struktur adversarialer Perturbationen nutzt, um die Angriffseffizienz zu verbessern. Die Methodik besteht aus drei Hauptkomponenten:

A. Theoretische und Empirische Validierung

• Theorie: Die Autoren beweisen, dass für einen neuronalen Netzwerkklassifikator $f$ die minimale Perturbation $\delta$, die erforderlich ist, um eine Klassifikationsentscheidung umzukehren, im Zeilenraum der Jacobi-Matrix $J(x)$ liegt. Da die Ausgabedimension (Anzahl der Klassen $C$) viel kleiner ist als die Eingabedimension $d$ ($C \ll d$), ist die Perturbation $\delta$ inhärent Low-Rank (Rang $\le C$).
• Empirische Analyse: Mittels Singulärwertzerlegung (SVD) an Perturbationen, die durch verschiedene Angriffe (PGD, C&W) über verschiedene Architekturen (ResNet, ViT, EfficientNet) und Datensätze (ImageNet, CUB-200) generiert wurden, zeigen sie, dass ~70–80 % der relativen Betragänderung der Singulärwerte nahe Null konzentriert sind. Dies bestätigt, dass Perturbationen eine kleine Teilmenge dominanter Richtungen einnehmen.

B. Konstruktion eines Low-Rank-Unterraums (Black-Box-Szenario)

Um den Mangel an direktem Gradientenzugriff in Black-Box-Szenarien zu überwinden, schlagen die Autoren eine Methode zur transferierbaren Unterraumkonstruktion vor:

1. Auxiliäre Daten & Referenzmodell: Der Angreifer verwendet einen auxiliairen Datensatz (der sich in Labels/Verteilungen vom Opfer unterscheiden kann) und ein vortrainiertes Referenzmodell (andere Architektur), um Gradientenvektoren zu generieren.
2. Erklärbarkeitsfilterung: Um Rauschen in den Referenzgradienten zu mindern, wenden sie Techniken des Explainable Machine Learning (XAI) (z. B. GradCAM, SHAP, LIME) an, um „saliente Masken" zu erstellen. Diese Masken heben kritische Merkmale hervor und ermöglichen es dem System, sich auf die relevantesten Gradientenkomponenten zu konzentrieren.
3. Autoencoder (AE) Training: Ein auf U-Net basierender Autoencoder wird trainiert, um hochdimensionale Gradientenvektoren (gefiltert durch Masken) in einen niedrigdimensionalen latenten Raum abzubilden und sie wiederherzustellen. Der latente Raum repräsentiert den Low-Rank-Unterraum.

C. Low-Rank-Adversarial-Angriff

Der konstruierte Unterraum wird in bestehende Black-Box-Angriffe integriert (Score-basiert und Decision-basiert):

• Mechanismus: Anstatt zufällige Perturbationsvektoren im vollständigen hochdimensionalen Eingaberaum zu sampeln, sampelt der Angriff zufällige Vektoren innerhalb des gelernten niedrigdimensionalen latenten Raums.
• Projektion: Diese latenten Vektoren werden mithilfe des trainierten Decoders zurück in den ursprünglichen hochdimensionalen Raum decodiert.
• Optimierung: Der Angriff verläuft durch Schätzung von Gradienten und Aktualisierung der Perturbation strikt innerhalb dieses eingeschränkten Low-Rank-Unterraums, was den Suchraum erheblich reduziert und die Konvergenzgeschwindigkeit verbessert.

3. Hauptbeiträge

1. Theoretischer Beweis: Erster theoretischer Beweis, der zeigt, dass adversariale Perturbationen aufgrund der Dimensionslücke zwischen Eingaberaum und Ausgabeklassen inhärent eine Low-Rank-Struktur besitzen.
2. Empirische Evidenz: Umfassende SVD-Analyse über diverse Modelle, Datensätze und Angriffstypen hinweg, die die Low-Rank-Natur von Perturbationen bestätigt.
3. Neuartiges Framework: Ein Black-Box-Angriffsframework, das einen transferierbaren Low-Rank-Unterraum unter Verwendung auxiliairer Daten, Referenzmodelle und XAI-Techniken konstruiert, ohne Zugriff auf die internen Gradienten des Opfermodells zu benötigen.
4. Leistungssteigerungen: Deutliche Verbesserungen sowohl bei der Effektivität des Angriffs (geringere Verzerrung) als auch bei der Effizienz (weniger Abfragen) im Vergleich zu State-of-the-Art-Baselines.

4. Experimentelle Ergebnisse

Das Framework wurde auf den Datensätzen ImageNet, CUB-200 und Stanford Cars unter Verwendung von Modellen wie ResNet-50, EfficientNet und ViT evaluiert.

• Abfrageeffizienz: Bei decision-basierten Angriffen (z. B. HSJA) auf dem CUB-200-Datensatz reduzierte die Low-Rank-Methode die Anzahl der Abfragen, die erforderlich war, um die Modellrobustheit von 1,0 auf 0,66 zu senken, um 90 % (von ~10.000 auf <1.000 Abfragen) im Vergleich zu naiven Angriffen.
• Reduktion der Verzerrung: Die Methode erreichte eine signifikant geringere $L_2$-Verzerrung. Beispielsweise sank die mediane Verzerrung auf CUB-200 mit HSJA von 2,64 (naiv) auf 0,82 (Low-Rank mit GradCAM).
• Robustheit gegenüber Diskrepanzen: Der Angriff blieb auch dann hochwirksam, wenn der auxiliaire Datensatz (z. B. Gesichterbilder) und das Referenzmodell sich signifikant vom Opfermodell (z. B. Vogelklassifizierung) unterschieden, was die Transferierbarkeit des Low-Rank-Unterraums beweist.
• Ablationsstudien:
  • Autoencoder vs. PCA: Der nicht-lineare Autoencoder schnitt deutlich besser ab als lineare PCA und erfasste komplexe Gradientenmuster.
  • XAI-Integration: Die Verwendung von Gradientenmasken (XAI) zum Training des AE ergab bessere Ergebnisse als die Verwendung roher Gradienten allein.
  • Robuste Modelle: Die Methode griff erfolgreich adversarial trainierte Modelle (TRADES, Distillation usw.) an und reduzierte deren Robustheitsgenauigkeit signifikant.

5. Bedeutung

• Angriffsperspektive: Diese Arbeit liefert ein leistungsfähiges Werkzeug zur Bewertung der tatsächlichen Sicherheit von Black-Box-Systemen. Durch die drastische Reduktion der Abfragekosten wird es machbar, kommerzielle APIs zu testen, die zuvor zu teuer oder riskant waren, um sie umfassend zu untersuchen.
• Verteidigungsperspektive: Die Ergebnisse deuten darauf hin, dass adversariales Training effizienter gestaltet werden kann. Durch die Einschränkung der Generierung adversarialer Beispiele auf einen Low-Rank-Unterraum während des Trainings können der Rechen- und Speicheraufwand (oft das 3-fache des Standardtrainings) erheblich reduziert werden.
• Theoretische Einsicht: Sie schließt die Lücke zwischen parameter-effizientem Fine-Tuning (LoRA) und adversarialem Machine Learning und stellt fest, dass das „Low-Rank"-Phänomen eine fundamentale Eigenschaft der Optimierung in hochdimensionalen neuronalen Netzräumen ist, die sowohl für Gewichtsupdates als auch für Eingabe-Perturbationen gilt.