Feature-level analysis and adversarial transfer in rotationally equivariant quantum machine learning

Die Studie zeigt, dass Äquivarianz allein keine robuste Adversarial-Resistenz garantiert, da rotationsäquivariante Quantenmodelle weiterhin auf anfällige Merkmale wie ringgemittelte Intensitäten angewiesen sein können, deren Unterdrückung jedoch die Robustheit signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas eigensinnigen Schüler, der Bilder erkennen soll. Dieser Schüler ist ein Quanten-KI-Modell. Das Besondere an ihm ist, dass er eine spezielle Regel gelernt hat: Er soll ein Bild immer gleich erkennen, egal ob es gedreht ist oder nicht. Wenn Sie ein Foto einer Katze um 90 Grad drehen, soll er trotzdem „Katze" sagen. In der Fachsprache nennt man das Rotationsequivarianz.

Die Forscher aus diesem Papier haben sich gefragt: „Ist dieser Schüler dadurch auch sicherer gegen Tricks? Wenn jemand das Bild ein bisschen manipuliert, um ihn zu täuschen (ein sogenannter adversarial attack), hilft ihm seine Dreh-Regel dann, den Trick zu durchschauen?"

Die Antwort ist überraschend: Nein, nicht automatisch. Hier ist die Geschichte, wie sie das herausgefunden haben, einfach erklärt:

1. Der Schüler und seine „Dreh-Brille"

Stellen Sie sich vor, unser Quanten-Schüler trägt eine spezielle Brille. Diese Brille filtert alles heraus, was sich durch das Drehen ändert. Er sieht nur noch die Dinge, die sich beim Drehen nicht ändern.

• Was er sieht: Wenn Sie ein Bild von einem Kreis drehen, sieht er immer noch einen Kreis. Das ist gut.
• Was er nicht sieht: Er ignoriert, wo genau die Nase eines Gesichts ist, solange das Gesicht selbst gedreht wird.

Die Forscher haben herausgefunden, dass dieser Schüler seine „Brille" so nutzt, dass er sich fast ausschließlich auf durchschnittliche Helligkeiten in Ringen konzentriert.

• Die Analogie: Stellen Sie sich ein Bild wie eine Zwiebel vor, die in viele Ringe (Schalen) unterteilt ist. Der Schüler schaut nicht auf die Details in jedem Ring (z. B. ob dort ein Strich nach links oder rechts zeigt), sondern er misst nur: „Wie hell ist dieser Ring im Durchschnitt?"
• Das Problem: Diese „Durchschnittshelligkeit" ist zwar stabil beim Drehen, aber sie ist auch sehr leicht zu täuschen. Ein Angreifer kann den Ring ein wenig heller oder dunkler machen, und der Schüler ist verwirrt, obwohl das Bild fast gleich aussieht.

2. Der Test: Der „Trick-Transfer"

In der Welt der KI gibt es das Phänomen des „Transfer-Angriffs". Stellen Sie sich vor, ein Trickbetrüger (der Angreifer) trainiert einen ganz normalen, klassischen Schüler (eine herkömmliche KI) auf einem Computer, um einen Trick zu finden, der diesen Schüler täuscht. Dann nimmt er diesen gleichen Trick und versucht, ihn auf unseren speziellen Quanten-Schüler anzuwenden.

Normalerweise hofft man: „Da unser Quanten-Schüler eine andere Art zu denken hat (durch seine Dreh-Regel), wird der Trick, der den normalen Schüler täuscht, bei ihm nicht funktionieren."

Das Ergebnis des Papiers:
Der Trick funktioniert leider trotzdem! Warum? Weil der Quanten-Schüler, trotz seiner Dreh-Regel, immer noch auf die gleichen schwachen Punkte schaut wie der normale Schüler: nämlich auf die Durchschnittshelligkeit der Ringe.

• Der Angreifer weiß: „Wenn ich die Ringe ein bisschen heller mache, wird er verwirrt."
• Da der Quanten-Schüler genau diese Helligkeit nutzt, um zu entscheiden, was das Bild ist, lässt er sich täuschen. Seine Dreh-Regel hat ihn nicht vor diesem spezifischen Trick geschützt.

3. Die Lösung: Den „schwachen Finger" amputieren

Die Forscher haben dann eine clevere Lösung gefunden. Sie haben gesagt: „Okay, wir wissen, dass der Schüler auf die Durchschnittshelligkeit der Ringe (den Ring-0-Modus) zu stark vertraut. Das ist sein schwacher Punkt."

Sie haben dem Schüler eine neue Regel gegeben: „Ignoriere die Durchschnittshelligkeit der Ringe komplett!"

• Sie haben ihm gesagt: „Schau nur noch auf die Unterschiede innerhalb der Ringe, aber nicht auf den Gesamtwert."
• Das Ergebnis: Plötzlich war der Schüler viel widerstandsfähiger gegen die Tricks der Angreifer. Er wurde robuster, ohne dass er seine Fähigkeit verlor, die Bilder korrekt zu erkennen.

Zusammenfassung in einer Metapher

Stellen Sie sich einen Sicherheitsbeamten an einem Flughafen vor (das KI-Modell).

• Die alte Regel: „Du darfst nur auf die Farbe der Kleidung achten, nicht auf die Richtung, in die die Person schaut." (Das ist die Dreh-Regel).
• Das Problem: Der Dieb (der Angreifer) weiß, dass der Beamte nur auf die Farbe achtet. Also zieht der Dieb einfach eine Jacke an, die genau die richtige Farbe hat, aber aus einem Material besteht, das den Metalldetektor triggert. Der Beamt wird verwirrt, weil er nur die Farbe sieht, aber das Material (die Helligkeit) ist der eigentliche Trick.
• Die neue Lösung: Die Forscher sagen dem Beamten: „Vergiss die Farbe ganz! Achte stattdessen nur auf die Form der Kleidung."
• Das Ergebnis: Der Dieb kann den Trick nicht mehr anwenden, weil er sich auf die Farbe verlassen hat. Der Beamte ist jetzt sicherer.

Was bedeutet das für die Zukunft?

Dieses Papier zeigt uns, dass es nicht reicht, KI-Modelle einfach nur „symmetrisch" zu machen (also Regeln wie „Drehen ist egal" einzubauen), um sie sicher zu machen. Man muss genau verstehen, welche Informationen das Modell nutzt.

• Wenn es auf „brittle" (brüchige) Informationen wie Durchschnittswerte setzt, ist es anfällig.
• Wenn man diese spezifischen, schwachen Informationen gezielt unterdrückt, wird das Modell viel sicherer.

Es ist wie beim Hausbau: Es bringt nichts, nur ein stabiles Fundament zu haben (die Symmetrie), wenn man die Tür (die spezifischen Merkmale) offen lässt. Man muss wissen, wo die Schwachstellen sind, und sie gezielt verschließen.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Frage, wie Symmetrie-Einschränkungen (insbesondere Rotationsäquivarianz) in Quanten-Machine-Learning-Modellen (QML) deren adversarielle Robustheit beeinflussen. Während äquivariante Architekturen bekanntermaßen die Trainierbarkeit verbessern und Induktionsvoreingenommenheit (Inductive Bias) nutzen, ist unklar, welche Eingangsmerkmale (Features) diese Modelle tatsächlich für Vorhersagen nutzen und wie anfällig diese Merkmale gegenüber adversariellen Angriffen sind.

Ein zentrales Phänomen ist der Transfer-Angriff: Ein Angreifer erstellt Störungen an einem klassischen Surrogatmodell, die dann erfolgreich auf ein Ziel-Quantenmodell übertragen werden. Es ist ungeklärt, ob die Symmetrie des Quantenmodells allein ausreicht, um solche Transfer-Angriffe abzuwehren, oder ob auch innerhalb des eingeschränkten, symmetrie-invarianten Merkmalsraums „brüchige" (brittle) Merkmale existieren, die Angriffe ermöglichen.

2. Methodik

Die Autoren entwickeln einen Feature-Level-Analyse-Rahmen, der auf der Theorie des „Twirling" (Mittlung über die Symmetriegruppe) basiert, und wenden diesen auf ein spezifisches rotationsäquivariantes Quantenmodell an.

• Modellarchitektur: Es wird das Modell aus Referenz [5] verwendet, das Bilder in einen Quantenzustand codiert. Die Codierung nutzt eine radiale-orbitale Struktur: Ein Bild wird in konzentrische Ringe ($N_r$) unterteilt, wobei jeder Ring in $N_\phi$ Winkelpositionen abgetastet wird. Ein Quanten-Fourier-Transform (QFT) wird auf den orbitalen Register angewendet, um die Rotationssymmetrie ($Z_{N_\phi}$) in den Fourier-Basis-Modi ($m$) zu diagonalisieren.
• Theoretische Analyse (Twirling):
  • Die Autoren zeigen, dass die Vorhersage eines äquivarianten Modells mit invariantem Auslesen (Readout) nur von der ge-twirlten Eingabe abhängt.
  • Im Fourier-Raum bedeutet dies, dass das Modell nur auf rotationsinvariante Statistiken zugreifen kann. Diese zerfallen in verschiedene Symmetrie-Sektoren (irreduzible Darstellungen, bezeichnet durch $m$).
  • Der Sektor $m=0$ entspricht den ringgemittelten Intensitäten (Durchschnittsintensität pro Ring). Höhere Modi ($m \neq 0$) kodieren strukturierte Intensitätsvariationen um den Ring herum.
• Experimentelle Validierung durch Transformationen:
  Um zu prüfen, welche dieser invarianten Statistiken tatsächlich genutzt werden, führen die Autoren gezielte Eingabetransformationen durch:
  1. T1 (Orthogonale zirkulante Verschlüsselung): Erhält alle rotationsinvarianten Korrelationen, verändert aber die visuelle Darstellung. (Sollte keine Leistungseinbußen verursachen).
  2. T2 (Ringweise Permutation): Erhält die Ringmittelwerte, zerstört aber die Winkelkorrelationen.
  3. T3 (Ringmittelwert-Entfernung): Entfernt die Ringmittelwerte ($m=0$), behält aber die Korrelationsstruktur bei.
• Adversarielle Evaluierung:
  • Es werden Transfer-Angriffe (FGSM und PGD) verwendet, die auf klassischen Surrogatmodellen (Linear Classifier, MLP, CNN, ResNet18) trainiert wurden.
  • Die Robustheit des Quantenmodells wird getestet, wenn es auf reinen Daten, auf transformierten Daten (T2, T3) oder mit einer architektonischen Modifikation (Projektion des $m=0$-Sektors) trainiert wurde.

3. Wichtige Beiträge

1. Charakterisierung des zugänglichen Informationsraums: Die Autoren leiten eine explizite mathematische Beschreibung ab, welche Informationen einem rotationsäquivarianten Quantenmodell zugänglich sind: Es sind ausschließlich rotationsinvariante Bildstatistiken, die sich über Symmetrie-Sektoren (Fourier-Modi) verteilen.
2. Identifikation brüchiger Merkmale: Sie zeigen, dass Symmetrie allein keine Garantie für Robustheit ist. Auch innerhalb des invarianten Raums verlässt sich das Modell stark auf den $m=0$-Sektor (Ringmittelwerte), der sich als hochgradig anfällig für Transfer-Angriffe erweist.
3. Mechanistische Erklärung von Transfer-Angriffen: Die Studie demonstriert, dass Transfer-Angriffe erfolgreich sind, weil sowohl das klassische Surrogat als auch das Quantenmodell ähnliche, brüchige Merkmale (hier: Ringmittelwerte) nutzen, selbst wenn die Architekturen grundlegend unterschiedlich sind.
4. Strategie zur Verbesserung der Robustheit: Die Autoren zeigen, dass die gezielte Unterdrückung des $m=0$-Sektors (der Ringmittelwerte) die Robustheit gegen Transfer-Angriffe signifikant steigert, ohne die Genauigkeit auf sauberen Daten drastisch zu beeinträchtigen.

4. Ergebnisse

• Feature-Nutzung variiert je nach Datensatz:
  • Bei Datensätzen wie STM, RotFMNIST und CIFAR stützt sich das Modell stark auf Ringmittelwerte (hohe Genauigkeit bei T2, aber geringe Robustheit).
  • Bei MNIST und RotMNIST sind höhere Korrelationsstatistiken wichtiger (T3 führt zu besserer Leistung als T2).
• Fragilität der Ringmittelwerte: Modelle, die auf Ringmittelwerten basieren, sind extrem anfällig für Transfer-Angriffe, selbst wenn der Angreifer nur ein einfaches lineares Modell (Linear Classifier) verwendet. Dies liegt daran, dass lineare Surrogate oft ebenfalls stark auf diese globalen Mittelwerte reagieren.
• Effektivität der Unterdrückung:
  • Adversarielles Training: Verbessert die Robustheit, führt aber oft zu einem klassischen Trade-off zwischen Genauigkeit auf sauberen Daten und Robustheit.
  • Architektonische Intervention ($m=0$-Projektion): Das Entfernen des $m=0$-Kanals während des Messvorgangs (Readout) führt zu einer konsistenten Verbesserung der Robustheit über alle Surrogatmodelle hinweg (einschließlich CNN und ResNet18) und behält dabei eine hohe Genauigkeit auf sauberen Daten bei. Dies ist effektiver als reines adversarielles Training in diesem Setting.
• T1 als Verifizierung: Transformation T1 (die die invarianten Merkmale erhält) führt zu keiner Leistungsverschlechterung, was die theoretische Annahme bestätigt, dass das Modell nur auf diese invarianten Statistiken zugreift.

5. Bedeutung und Ausblick

Das Paper liefert einen systematischen Mechanismus, um die Robustheit von symmetrie-basierten Quantenmodellen zu verstehen und zu verbessern. Die Hauptimplikationen sind:

• Symmetrie ist kein Allheilmittel: Die bloße Einführung von Symmetrie (Equivarianz) garantiert keine adversarielle Robustheit, da auch innerhalb des invarianten Raums fragile Merkmale existieren können.
• Feature-Level-Analyse als Werkzeug: Durch die Zerlegung in Symmetrie-Sektoren (Fourier-Modi) können spezifische, anfällige Merkmale identifiziert und gezielt unterdrückt werden. Dies bietet einen neuen Ansatz für das Design robusterer QML-Architekturen.
• Praktische Anwendung: Die vorgeschlagene Methode der Unterdrückung bestimmter Symmetrie-Kanäle ist effizienter als reines adversarielles Training und erfordert keine zusätzlichen Daten, sondern nutzt die Struktur des Modells selbst.
• Datenschutz-Potenzial: Die Transformationen (insbesondere T1) könnten auch für die Verschleierung von Daten genutzt werden, da sie für das Modell informativ bleiben, aber für menschliche Beobachter unkenntlich gemacht werden.

Zusammenfassend etabliert diese Arbeit einen neuen Standard für die mechanistische Analyse von QML-Modellen, indem sie zeigt, wie Symmetrie-Einschränkungen genutzt werden können, um nicht nur die Trainierbarkeit, sondern auch die Sicherheitsaspekte (Robustheit) von Quantenalgorithmen zu optimieren.