🤖 machine learning

Adversarial Attacks Leverage Interference Between Features in Superposition

Dieses Paper schlägt vor, dass adversarielle Anfälligkeit und Transferierbarkeit aus „Superposition“ in neuronalen Netzen resultieren, wobei eine effiziente Informationskodierung nicht-orthogonale Repräsentationen erzwingt, die Interferenzen zwischen Merkmalen verursachen und dadurch bewirken, dass gezielte Störungen unbeabsichtigt andere Konzepte beeinflussen.

Ursprüngliche Autoren: Edward Stevinson, Lucas Prieto, Melih Barsbey, Tolga Birdal

Veröffentlicht 2026-06-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Edward Stevinson, Lucas Prieto, Melih Barsbey, Tolga Birdal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der Kern der Idee: Zu viel in zu kleine Kisten packen

Stellen Sie sich vor, Sie haben einen sehr kleinen Koffer (das interne „Gehirn“ oder die Dimensionen des neuronalen Netzes), aber Sie müssen eine riesige Garderobe voller verschiedener Outfits unterbringen (die Konzepte oder Merkmale, die das Netzwerk verstehen muss, wie „Katze“, „Hund“, „LKW“ oder „Wolke“).

In einer perfekten Welt hätten Sie einen riesigen Koffer mit einem separaten, deutlich abgegrenzten Fach für jedes einzelne Outfit. In der Realität versuchen neuronale Netze jedoch oft, effizient zu sein. Sie versuchen, mehr Konzepte unterzubringen, als sie eigentlich an physischem Platz haben. Dieses Phänomen wird Superposition genannt.

Um dies zum Laufen zu bringen, muss das Netzwerk diese Konzepte zusammendrücken. Anstatt eine dedizierte „Katzen-Schublade“ und eine „Hunde-Schublade“ zu haben, muss es denselben Platz für beides nutzen, nur leicht versetzt. Es ist, als würde man versuchen, zwei verschiedene Geschichten auf demselben Blatt Papier zu schreiben, indem man die Tinte in leicht unterschiedlichen Winkeln verwendet.

Das Problem: Der „Übersprech“-Effekt

Da diese Konzepte so dicht gepackt sind, beginnen sie, sich gegenseitig zu stören. Die Arbeit nennt dies Interferenz.

Man kann es sich wie einen überfüllten Radiosender vorstellen. Wenn man einen Sender einschaltet, der Jazz spielt, und der benachbarte Sender Rockmusik spielt, hört man manchmal ein bisschen der Rockmusik gemischt mit dem Jazz. Die Signale „bluten“ ineinander, weil sie nicht perfekt voneinander getrennt sind.

In einem neuronalen Netzwerk kann es passieren, dass, wenn man versucht, das „Katze“-Merkmal zu aktivieren, das „Hund“-Merkmal auch versehentlich ein wenig Energie erhält, einfach weil sie denselben internen Raum teilen.

Wie Hacker dies ausnutzen (Adversarial Attacks)

Normalerweise ist diese Interferenz ein kleiner Preis für die Effizienz. Aber die Arbeit zeigt auf, dass Hacker (Adversaries) diesen Übersprech als Waffe einsetzen können.

Stellen Sie sich vor, Sie wollen das Netzwerk austricksen, damit es ein Bild einer Katze als einen Hund interpretiert.

Altes Denken: Sie verändern einfach die Pixel der Katzenohren so, dass sie eher wie Hundsohren aussehen.
Neue Erkenntnis: Der Hacker schaut nicht nur auf die „Katze“- und „Hund“-Knöpfe. Er betrachtet den gesamten, überfüllten Koffer.

Da die „Katze“- und „Hund“-Konzepte zusammengedrückt sind, kann der Hacker an einem „Katze“-Merkmal ziehen, was unbeabsichtigt das „Hund“-Merkmal stärker als erwartet bewegt, während er gleichzeitig das „Katze“-Signal unterdrückt. Er nutzt die überfüllte Packweise des Netzwerks gegen es selbst.

Die Arbeit zeigt, dass diese Angriffe kein zufälliges Rauschen sind. Sie folgen einem präzisen mathematischen Muster basierend darauf, wie die Konzepte gepackt sind. Wenn das Netzwerk „Katzen“ und „Hunde“ nah beieinander packt, wird der Angriff eine spezifische, vorhersehbare Verzerrung aufweisen.

Warum Angriffe zwischen Modellen „springen“ (Transferierbarkeit)

Sie fragen sich vielleicht: „Warum funktioniert ein Angriff, der bei Modell A funktioniert, auch bei Modell B?“

Die Arbeit erklärt dies mit der Analogie des überfüllten Raums.
Stellen Sie sich zwei verschiedene Personen (zwei verschiedene KI-Modelle) vor, die versuchen, dieselbe Menge an Kleidung in zwei identische kleine Koffer zu packen.

Selbst wenn sie mit unterschiedlichen Packstrategien beginnen, zwingen sie die Gesetze der Physik (die Daten, mit denen sie trainiert wurden), die „Hemden“ und „Hosen“ in ähnlicher Weise zu packen, da diese Gegenstände miteinander verwandt sind.
Schließlich landen in beiden Koffern die „Katze“- und „Hunde“-Konzepte fast an der exakt gleichen Stelle und stören sich auf die exakt gleiche Weise.

Da die „Interferenzmuster“ in beiden Modellen gleich sind, wird ein Trick, der bei einem Koffer funktioniert, mit fast hundertprozentiger Sicherheit auch beim anderen funktionieren. Die Arbeit fand heraus, dass Modelle, die auf ähnlichen Daten trainiert wurden, diese „Packmuster“ so ähnlich entwickeln, dass Angriffe mit nahezu 100 % Erfolg zwischen ihnen übertragen werden können.

Die „Magie“ des Experiments

Die Forscher haben nicht nur geraten; sie haben eine winzige, kontrollierte Version dieses Koffers gebaut (ein synthetisches Modell), in dem sie genau sehen konnten, wie die Konzepte gepackt wurden.

Sie bewiesen, dass, wenn man Konzepte dazu zwingt, sich den Platz zu teilen (Superposition), man automatisch Schwachstellen schafft.
Sie zeigten, dass der „perfekte“ Angriff, den sie auf dem Papier berechneten, exakt mit dem übereinstimmte, was der Hacking-Algorithmus des Computers (PGD) von selbst entdeckte.
Sie testeten dies an echten Bildklassifizierern (wie jenen, die Autos oder Tiere identifizieren) und fanden dieselben „Interferenz-Fingerabdrücke“ in den Angriffen.

Das Fazit

Die Arbeit argumentiert, dass adversarielle Anfälligkeit nicht nur ein Bug ist, sondern ein Nebenprodukt von Effizienz.

Neuronale Netze sind so gut darin, Informationen zu komprimieren (eine ganze Bibliothek in einen Schuhkarton zu packen), dass sie einen „Übersprech“ zwischen Ideen erzeugen. Hacker haben gelernt, diesem Übersprech zuzuhören und ihn zu nutzen, um das System zu brechen. Wenn Sie diese Angriffe stoppen wollen, müssen Sie vielleicht aufhören, die Konzepte so eng zu packen, oder lernen, wie man sie besser trennt, anstatt nur zu versuchen, die Löcher im Koffer zu flicken.

Technisches Resümee: Adversarielle Vulnerabilität durch Interferenz zwischen Merkmalen in Superposition

Problemstellung

Trotz intensiver Untersuchungen bleibt die Ursache für adversarielle Beispiele auf mechanistischer Ebene unzureichend verstanden. Während bestehende Erklärungen die Vulnerabilität der hochdimensionalen Geometrie, nicht-robuster Muster in den Eingabedaten oder der Struktur von Entscheidungsgrenzen zuschreiben, liefert keine davon eine mechanistische Erklärung auf Repräsentationsebene, die erklärt, warum spezifische Störungen erfolgreich sind oder warum Angriffe zwischen Modellen transferierbar sind. Es mangelt an einer prädiktiven Theorie, die Robustheitsinterventionen mit der Repräsentationsstruktur verknüpft. Diese Arbeit adressiert diese Lücke, indem sie untersucht, ob die adversarielle Vulnerabilität aus der effizienten Informationskodierung in neuronalen Netzen resultiert, spezifisch durch das Phänomen der Superposition.

Methodik

Die Autoren schlagen ein mechanistisches Framework vor, bei dem neuronale Netze mehr Konzepte (Merkmale) als Dimensionen repräsentieren ( $M \gg d$ ), indem sie diese als nicht-orthogonale Richtungen im Aktivierungsraum kodieren. Dieses Packen erzeugt Interferenz, wobei die Aktivierung eines Merkmals andere Merkmale beeinflusst. Die Studie validiert diese Hypothese durch drei primäre Settings:

Synthetische Argmax-Aufgabe: Ein minimales Bottleneck-Netzwerk mit einer geschlossenen Abbildung von der Eingabe zur Klasse. Hier werden $k$ Klassen in $m$ latente Dimensionen komprimiert ( $m < k$ ). Die Autoren kontrollieren die Korrelationen der Eingabedaten (unkorreliert, gepaart, global), um die Geometrie der Merkmale zu manipulieren. Dieses Setting ermöglicht die Berechnung von Ground-Truth-Störungen und den direkten Vergleich zwischen empirischen Angriffen (PGD) und theoretischen Optima, die aus der Interferenzgeometrie abgeleitet wurden.
Realistische Vision Transformer (ViTs): Modelle, die auf CIFAR-10/100, STL-10 und TinyImageNet trainiert wurden, wobei vor dem Klassifikationskopf künstliche Dimensions-Bottlenecks eingefügt wurden. Dies testet, ob die durch die Theorie vorhergesagten geometrischen Signaturen in tiefen, nichtlinearen Netzwerken auftreten.
Regularisiertes Training ohne explizite Bottlenecks: ViT-Modelle, die mit variierender Weight Decay trainiert wurden, um Low-Rank-Repräsentationen (effektive Bottlenecks) zu induzieren, ohne explizite architektonische Einschränkungen zu nutzen, um zu testen, ob allein die Reduktion des Rangs diesen Vulnerabilitätsmechanismus auslöst.

Zentrale analytische Werkzeuge:

Linear Representation Hypothesis (LRH): Behandlung der Klassen-Logits als lineare Projektionen von Feature-Vektoren.
Interferenz-Metriken: Quantifizierung der Nicht-Orthogonalität von Klassen-Feature-Vektoren ( $w_i^\top w_j$ ) und Messung, wie Störungen mit der „Interferenzgeometrie“ korrelieren, die durch die Differenz zwischen Ziel- und Quellklassen-Vektoren definiert ist.
Angriff-Alignment: Vergleich der Richtung von PGD-entdeckten Störungen mit den theoretisch optimalen Störungen, die aus der Interferenzgeometrie abgeleitet wurden ( $\delta \propto W_e^\top (w_k - w_j)$ ).

Zentrale Beiträge

Mechanistischer Account der Vulnerabilität: Die Arbeit etabliert eine direkte Verbindung zwischen der Superposition-Geometrie und der adversariellen Vulnerabilität. Sie zeigt, dass Datenkorrelationen die geometrische Anordnung von Feature-Vektoren in der Superposition einschränken, was wiederum die Interferenzmuster bestimmt. Diese Muster bestimmen wiederum, welche Störungen erfolgreich sind und warum Angriffe zwischen Modellen transferieren.
Superposition als hinreichende Bedingung: Die Autoren liefern theoretische und empirische Belege dafür, dass Superposition eine hinreichende (wenn auch nicht notwendige) Bedingung für adversarielle Vulnerabilität ist. Nicht-orthogonale Repräsentationen erzeugen ausnutzbare Interferenz, was bestehende Erklärungen basierend auf Dateneigenschaften oder architektonischen Faktoren ergänzt.
Validierung in realistischen Settings: Die Studie validiert, dass die durch die Theorie vorhergesagten geometrischen Signaturen in realistischen Settings (ViTs auf Standard-Datensätzen) auftreten, was zeigt, dass die Interferenz des Klassifikationskopfes die Struktur des Angriffs im Eingaberaum selbst in komplexen, tiefen Netzwerken steuert.

Zentrale Ergebnisse

1. Ausnutzung von Interferenz

In synthetischen Settings nutzen gradientenbasierte Angriffe (PGD) systematisch die Interferenz zwischen superponierten Merkmalen aus.

Alignment: Von PGD entdeckte Störungen stimmen stark mit den theoretisch optimalen Störungen überein, die aus der Interferenzgeometrie abgeleitet wurden (Kosinus-Ähnlichkeit $> 0,92$ über alle Konfigurationen).
Mechanismus: Störungen sind nicht willkürlich; ihr Vorzeichen und ihre Magnitude werden durch die Ausrichtung der Eingangsmerkmale mit dem latenten Angriffsvektor bestimmt. Merkmale, die konstruktiv mit der Zielklasse interferieren, werden verstärkt, während solche, die mit der Quellklasse interferieren, unterdrückt werden.

2. Rolle der Eingabekorrelationen

Eingabekorrelationen schränken die geometrische Anordnung der Feature-Vektoren ein:

Unkorrelierte Daten: Führen zu hoch variablen Geometrien über verschiedene Random Seeds hinweg.
Korrelierte Daten: Zwingen Merkmale in spezifische, stabile Anordnungen (z. B. fixiert globale Korrelationen die zyklische Ordnung).
Auswirkung: Stärkere Korrelationen reduzieren die geometrischen Freiheitsgrade und führen dazu, dass verschiedene Initialisierungen zu ähnlichen Anordnungen konvergieren.

3. Angriffs-Transferierbarkeit

Die Transferierbarkeit von Angriffen wird durch geteilte Interferenzmuster gesteuert.

Korrelation: Transferraten korrelieren stark mit der geometrischen Ähnlichkeit.
- Unkorrelierte Daten: ~5 % Transferrate.
- Gepaarte Korrelationen: ~33 % Transferrate.
- Globale Korrelationen: ~98 % Transferrate.
Erklärung: Wenn Modelle eine ähnliche Superposition-Geometrie teilen, bleiben Interferenzmuster, die im Quellmodell konstruktiv waren, auch im Zielmodell konstruktiv, was eine hohe Transferierbarkeit ermöglicht.

4. Real-World ViT Validierung

Struktur-Vorhersage: In ViTs mit Bottlenecks korreliert das Angriffs-Profil im Eingaberaum (wie Pixel gestört werden) stark mit dem Interferenz-Profil im latenten Raum (wie Klassen-Vektoren interferieren). Die Korrelation ( $\bar{\rho}$ ) erreicht 0,89 bei engen Bottlenecks ( $m/k=0,2$ ) und sinkt, wenn der Bottleneck gelockert wird.
Konsistenz: Interferenzmuster sind über Random Seeds hinweg konsistent und spiegeln eher die Semantik der Daten wider (z. B. entwickeln semantisch ähnliche Klassen wie „Katze“ und „Hund“ nicht-orthogonale Repräsentationen) als Optimierungsrauschen.
Regularisierungseffekte: Selbst ohne explizite Bottlenecks reduziert eine Erhöhung der Weight Decay die effektive Dimension des Netzwerks, was die Interferenzmagnitude und die Angriffs-Vulnerabilität erhöht. Dies deutet darauf hin, dass Standard-Regularisierung unbeabsichtigt adversarielle Vulnerabilitäten erzeugen kann.

Bedeutung und Ansprüche

Das Paper behauptet, dass adversarielle Vulnerabilität ein Nebenprodukt der Repräsentationskompression des Netzwerks sein kann. Durch das Packen von mehr Merkmalen in weniger Dimensionen führen Netzwerke Interferenzmuster ein, die Angreifer ausnutzen können.

Prädiktive Kraft: Das Framework bietet testbare Vorhersagen: Angriffe sollten mit den aus der Geometrie abgeleiteten optimalen Störungen übereinstimmen, und Transferierbarkeit sollte auftreten, wenn Modelle ähnliche Interferenzmuster teilen.
Komplementäre Erklärung: Dieser Mechanismus ersetzt keine bestehenden Erklärungen (z. B. nicht-robuste Merkmale oder Entscheidungsgrenzen-Krümmung), sondern ergänzt sie durch eine Darstellung auf Repräsentationsebene, die erklärt, warum bestimmte Richtungen sensitiv sind.
Sicherheitsimplikationen: Die Ergebnisse legen nahe, dass die Dimensionalität der Repräsentation und der Grad der Superposition kritische Komponenten der Modellsicherheit sind. Interventionen, die die Feature-Geometrie verändern (z. B. durch Regularisierung oder architektonische Änderungen), könnten die Robustheit erheblich beeinflussen.

Die Autoren bleiben bescheiden und merken an, dass Superposition zwar hinreichend, aber nicht notwendig für Vulnerabilität ist und dass die präzisen Mechanismen je nach Angriff und Modell variieren können. Die Arbeit konzentriert sich auf Merkmale mit bekannten Labels; zukünftige Arbeiten müssen diese Erkenntnisse auf intermediäre Schichten mittels Methoden zur Merkmalsentdeckung erweitern.