Feature-level analysis and adversarial transfer in rotationally equivariant quantum machine learning

Titel: Feature-level analyse en adversariele overdracht in rotationeel equivariante quantum machine learning

1. Het Probleem

Hoewel groep-equivariante quantum-modellen (QML) zijn ontworpen om symmetrieën (zoals rotaties) te benutten, wat de trainbaarheid en inductieve bias verbetert, is het onduidelijk hoe deze symmetriebeperkingen de adversariële robuustheid beïnvloeden.

• Adversariële kwetsbaarheid: Machine learning-modellen zijn gevoelig voor kleine, zorgvuldig ontworpen verstoringen van invoerdata die leiden tot verkeerde classificaties.
• De vraag: Zorgt equivariantie (het garanderen dat de uitkomst niet verandert bij een rotatie van de invoer) automatisch voor robuustheid tegenover aanvallen? Bestaand onderzoek suggereert dat quantum-modellen soms robuuster zijn dan klassieke modellen tegenover "transfer attacks" (aanvallen die op een klassiek model worden getraind en overgedragen naar een quantum-model), maar het mechanisme hierachter is niet volledig begrepen.
• Kernvraag: Welke specifieke invoerfeatures zijn toegankelijk voor een equivariant quantum-model en relyt het model op kwetsbare ("brittle") of robuuste features binnen het beperkte ruimte van symmetrie-invariante informatie?

2. Methodologie

De auteurs analyseren een specifiek rotationeel equivariant quantum-model (gebaseerd op werk uit Ref. [5]) en passen een feature-level analyse toe.

• Modelarchitectuur:

  • Het model gebruikt een encodering waarbij beeldpixels worden gesampled op een rooster van ringen en hoekpunten (radiale en orbitale registers).
  • Rotaties worden gemodelleerd als cyclische verschuivingen op het orbitale register.
  • Door een Quantum Fourier Transform (QFT) toe te passen en diagonale poorten in de Fourier-basis te gebruiken, wordt de equivariantie gewaarborgd.
  • De uitkomst (readout) is invariant onder de groepswerking.

• Theoretisch Kader (Twirling):

  • De auteurs bewijzen dat de voorspelling van een equivariant model alleen afhangt van de ge-twirled invoer ($T_G(\rho)$).
  • Dit betekent dat het model alleen toegang heeft tot rotatie-invariante statistieken. In de Fourier-basis correspondeert dit met de Fourier-coëfficiënten $\tilde{x}_{r,m}$.
  • De $m=0$ sector vertegenwoordigt de ring-gemiddelde intensiteiten (gemiddelde pixelwaarde per ring), terwijl $m \neq 0$ gestructureerde variaties rond de ringen vertegenwoordigt.

• Experimentele Opzet:

  • Datasets: STM, MNIST, RotMNIST, RotFMNIST en CIFAR (beperkt tot 2 klassen).
  • Input Transformaties: Om te testen welke features het model daadwerkelijk gebruikt, passen ze drie transformaties toe op de trainingsdata:
    1. T1 (Orthogonaal circulant scrambling): Behoudt alle rotatie-invariante correlaties (verwacht geen prestatieverlies).
    2. T2 (Ring-wise permutatie): Behoudt ring-gemiddelden maar verstoort de hoekorde (verwacht verlies van hogere-orde correlaties).
    3. T3 (Ring-wise mean removal): Verwijdert de ring-gemiddelden ($m=0$) maar behoudt correlatiestructuur.
  • Adversariële Aanvallen: Ze gebruiken Transfer Attacks. Klassieke surrogate-modellen (Lineaire Classifier, MLP, CNN, ResNet18) worden aangevallen met FGSM en PGD. Deze perturbaties worden vervolgens overgedragen naar het quantum-model.

3. Belangrijkste Bijdragen

1. Feature-level Karakterisering: De auteurs leiden een expliciete karakterisering af van de toegankelijke informatie voor een rotationeel equivariant model: het model kan alleen vertrouwen op cirkulaire correlaties tussen ringen die afhankelijk zijn van relatieve hoekverschuivingen ($\Delta\phi$), niet van absolute hoeken.
2. Identificatie van Kwetsbare Features: Ze tonen aan dat equivariantie op zich geen garantie is voor robuustheid. Zelfs binnen het beperkte invariante ruimte, kan het model afhankelijk zijn van kwetsbare statistieken, specifiek de ring-gemiddelde intensiteiten ($m=0$ sector).
3. Mechanisme voor Robuustheid: Ze demonstreren dat het onderdrukken van de specifieke symmetrie-sector die verantwoordelijk is voor de kwetsbare features (de $m=0$ mode) de robuustheid aanzienlijk verbetert zonder de schone nauwkeurigheid (clean accuracy) significant te verlagen.

4. Resultaten

• Feature-gebruik:

  • Voor datasets zoals STM en RotFMNIST is het model sterk afhankelijk van ring-gemiddelden (T2 behoudt prestaties, T3 verlaagt ze sterk).
  • Voor MNIST is het model minder afhankelijk van ring-gemiddelden en meer van hogere-orde correlaties (T3 behoudt meer prestaties dan T2).
  • Transformatie T1 (die de invariante statistieken behoudt) heeft geen invloed op de prestaties, wat de theorie bevestigt.

• Transfer Robuustheid:

  • Modellen die op schone data zijn getraind, zijn kwetsbaar voor transfer-aanvallen, vooral als ze afhankelijk zijn van ring-gemiddelden.
  • Modellen getraind op T3-data (zonder ring-gemiddelden) tonen een hogere robuustheid tegenover transfer-aanvallen, maar vaak ten koste van de schone nauwkeurigheid.
  • Modellen getraind op T2-data (alleen ring-gemiddelden) zijn zeer kwetsbaar.

• Verbetering van Robuustheid:

  • Adversariële Training: Verbeterde robuustheid, maar vaak met een grote daling in schone nauwkeurigheid (trade-off).
  • Architecturale Interventie ($m=0$ Projectie): Door de $m=0$ Fourier-mode (ring-gemiddelden) expliciet uit de meting te projecteren tijdens het trainen op schone data, wordt de robuustheid aanzienlijk verbeterd (vaak beter dan adversariële training) terwijl de schone nauwkeurigheid behouden blijft. Dit werkt consistent over alle surrogate-modellen (LC, MLP, CNN, ResNet).

5. Betekenis en Conclusie

• Symmetrie is geen "Zilveren Kogel": Het artikel weerlegt het idee dat het simpelweg toevoegen van symmetrie-eigenschappen (equivariantie) een quantum-model van nature robuust maakt tegenover adversariële aanvallen. Kwetsbare features kunnen binnen de invariante subspace blijven bestaan.
• Gerichte Interventie: De studie biedt een systematische methode om kwetsbaarheid te analyseren en te verhelpen door specifieke symmetrie-sectoren (features) te identificeren en te onderdrukken.
• Toekomstperspectief: Dit werk legt een brug tussen de theoretische structuur van groep-equivariante QML en praktische beveiliging. Het suggereert dat toekomstige QML-ontwerpen bewust moeten omgaan met welke invariante features worden gebruikt, en dat het filteren van specifieke "brittle" kanalen een effectieve strategie is voor het vergroten van de veiligheid van quantum-systemen.

Kortom, de auteurs tonen aan dat feature-level analyse essentieel is om de robuustheid van quantum-modellen te begrijpen, en dat het selectief verwijderen van kwetsbare invariante features (zoals ring-gemiddelden) een krachtige, architecturale oplossing biedt voor adversariële kwetsbaarheid.