Defending Quantum Classifiers against Adversarial Perturbations through Quantum Autoencoders

Dit artikel stelt een verdedigingskader voor kwantumclassificatoren voor dat geen adversariale training vereist, gebruikmakend van een kwantumauto-encoder om adversariale samples te zuiveren en onreinigbare invoer te identificeren, en dat aanzienlijk beter presteert dan de state-of-the-art methoden qua voorspellingsnauwkeurigheid onder adversariale aanvallen.

De kern

Stel je een zeer slimme robot voor die naar een foto van een handgeschreven cijfer (zoals een "7") kan kijken en je precies kan vertellen wat het is. Deze robot is een Quantum Machine Learning-model, een supergeavanceerde versie van de AI die we vandaag de dag gebruiken.

Echter, net zoals een mens kan worden bedrogen door een goocheltruc, kan deze robot worden misleid. Een aanvaller kan een tiny, onzichtbare laag "statische ruis" of "ruis" aan de foto toevoegen. Voor je ogen ziet de "7" er nog steeds uit als een "7", maar de robot denkt plotseling dat het een "2" is. Dit wordt een adversariale aanval genoemd.

De auteurs van dit artikel wilden een schild bouwen voor deze robot zodat hij niet bedrogen zou worden. Hier is hoe ze dat deden, eenvoudig uitgelegd:

Het probleem met oude schilden

Meestal moet je, om een robot te leren deze trucs te negeren, hem duizenden neppe, bedrieglijke afbeeldingen laten zien en zeggen: "Dit is nog steeds een 7, laat je niet bedriegen!" Dit heet adversariaal trainen.

• De valstrik: Soms kun je dit niet doen. Misschien weet je niet welke soort trucs de aanvaller zal gebruiken, of misschien wordt de robot zo goed in het opsporen van één specifieke truc dat hij vergeet hoe hij met nieuwe moet omgaan. Het is alsof je alleen studeert voor één specifiek type wiskundetoets en faalt wanneer de vragen iets veranderen.

De nieuwe oplossing: de "Quantum Autoencoder" (Het magische filter)

In plaats van de robot opnieuw te trainen, bouwden de auteurs een Quantum Autoencoder (QAE). Denk hierbij aan een hightech fotofilter of een ruisannulerende koptelefoon voor afbeeldingen.

1. Het filter: Voordat de robot naar de foto kijkt, neemt de QAE de afbeelding (zelfs die met de onzichtbare ruis) en probeert deze te "reconstrueren".
2. De zuivering: De QAE is alleen getraind op schone, perfecte afbeeldingen. Wanneer het een ruisende, bedrieglijke afbeelding ziet, probeert het de vreemde ruis weg te halen en de afbeelding opnieuw op te bouwen op basis van wat het weet dat een "echte" afbeelding eruit ziet. Het is alsof een restaurator een modderig schilderij schoonmaakt om de originele kunst eronder te onthullen.
3. Het resultaat: De robot kijkt vervolgens naar deze opgepoetste versie. Omdat de ruis weg is, kan de robot de "7" weer correct identificeren.

De "Zekerheidsmeter" (De portier)

Soms is de ruis zo sterk dat het filter de afbeelding niet perfect kan reinigen. Als de robot een rommelige afbeelding probeert te raden, kan hij het nog steeds fout hebben.

Om dit op te lossen, voegden de auteurs een Zekerheidsmeter toe. Dit werkt als een strenge portier bij een club:

• De controle: Het systeem controleert twee dingen:
  1. Hoe goed heeft het filter de afbeelding gereinigd? (Is de ruis verdwenen?)
  2. Hoe zeker is de robot? (Is de robot zeker dat het een "7" is of raadt hij?)
• De beslissing: Als de afbeelding nog te rommelig is of de robot onzeker is, zegt de portier: "Geen toegang!" en verwerpt het voorbeeld. Hij maakt geen verkeerde gok; hij weigert simpelweg te antwoorden, wat beter is dan liegen.

Wat ze vonden

Het team testte dit op beroemde beelddatasets (MNIST voor cijfers en FashionMNIST voor kleding).

• De resultaten: Toen aanvangers sterke trucs gebruikten om de robot te bedriegen, faalden de oude methoden (met standaard computerfilters) op erbarmelijke wijze, met een nauwkeurigheid die daalde tot bijna nul.
• De winst: Hun nieuwe systeem (QAE++) hield de robot correct werkend. In sommige gevallen verbeterde het de nauwkeurigheid van de robot met 68% ten opzichte van de beste bestaande methoden.
• Efficiëntie: Hun quantumfilter was ook veel kleiner en lichter dan de oude computerfilters, en vereiste veel minder geheugen om te draaien.

In het kort

Het artikel stelt een manier voor om quantum-AI te beschermen tegen bedrog zonder dat het op elke mogelijke truc opnieuw getraind hoeft te worden. Ze gebruiken een quantumfilter om de afbeeldingen te reinigen en een zekerheidsmeter om alles wat te verdacht lijkt te verwerpen. Dit houdt de AI nauwkeurig en betrouwbaar, zelfs wanneer iemand probeert onzichtbare ruis binnen te smokkelen om hem in de war te brengen.

Technische samenvatting

1. Probleemstelling

Variational Quantum Classifiers (VQCs) komen op als krachtige hulpmiddelen voor machine learning en bieden potentiële voordelen in parameter-efficiëntie ten opzichte van klassieke modellen. Echter, net als hun klassieke tegenhangers, zijn VQCs kwetsbaar voor adversariële aanvallen. Bij deze aanvallen introduceert een aanvaller onwaarneembare, zorgvuldig ontworpen ruis (perturbaties) in invoergegevens (bijvoorbeeld afbeeldingen), waardoor het model de invoer verkeerd classificeert.

Bestaande verdedigingsmechanismen vertrouwen voornamelijk op adversariële training, waarbij het model wordt hergetraind op adversariële voorbeelden. Deze aanpak heeft aanzienlijke beperkingen:

• Haalbaarheid: Het vereist de mogelijkheid om adversariële samples te genereren, wat mogelijk niet haalbaar is in black-box scenario's of wanneer het aanvalsvectoren onbekend is.
• Overfitting: Modellen die zijn getraind op specifieke aanvalstypen, falen vaak in het generaliseren tegen andere typen aanvallen.
• Resource-intensiteit: Het hertrainen van quantummodellen is computergewijs duur.

Het artikel adresseert de behoefte aan een verdedigingskader dat niet afhankelijk is van adversariële training en dat adversariële samples effectief kan zuiveren voordat ze de classifier bereiken.

2. Methodologie: Het QAE++ Kader

De auteurs stellen QAE++ voor, een verdedigingskader dat gebruikmaakt van een Quantum Autoencoder (QAE) om invoergegevens te reconstrueren en te "zuiveren" voordat ze worden ingevoerd in een VQC. Het kader bestaat uit drie hoofdcomponenten:

A. Quantum Autoencoder (QAE) voor Reconstructie

De QAE fungeert als een voorverwerkingslaag. In tegenstelling tot klassieke autoencoders (CAE's), die afzonderlijke training vereisen voor encoder- en decoder-weights, maakt de QAE gebruik van de reversibiliteit van quantumgates.

• Structuur: De QAE codeert een invoerstaat $|\psi_{in}\rangle$ (op $n$ qubits) in een latente ruimte (op $k$ qubits, waarbij $k < n$). De overige $n-k$ qubits worden aangeduid als "trash qubits".
• Trainingsdoel: De encoder wordt getraind om de invoer te comprimeren zodat de "trash qubits" worden verwisseld met een referentiestaat (typisch $|0\rangle^{\otimes n-k}$). De decoder is simpelweg de Hermitisch geconjugeerde (inverse) van de encoder.
• Zuiveringsmechanisme: Door de QAE uitsluitend op schone data te trainen, leert het de manifold van de schone data-verdeling. Wanneer een adversariële sample (met ruis buiten deze manifold) wordt doorgegeven, probeert de QAE deze te reconstrueren. Het reconstructieproces filtert de adversariële ruis effectief eruit en projecteert de sample terug op de geleerde schone data-manifold.
• Optimalisatie: De encoder wordt getraind door de fideliteit tussen de trash-staat en de referentiestaat te maximaliseren met behulp van een SWAP-test. De verliesfunctie is $L = 1 - \langle\sigma_Z\rangle$, waarbij $\langle\sigma_Z\rangle$ de fideliteit voorstelt.

B. Vertrouwensmetriek

Om de robuustheid verder te versterken, introduceert het kader een vertrouwensmetriek om te beslissen of een voorspelling wordt geaccepteerd of dat de sample wordt afgewezen als potentieel adversariëel. Deze metriek combineert twee factoren:

1. Encoding Fideliteit ($\langle\sigma_Z\rangle_x$): Meet hoe goed de QAE de invoer heeft gecomprimeerd. Een lage fideliteit suggereert dat de invoer kenmerken (ruis) bevatte die niet aanwezig waren in de trainingsverdeling, wat wijst op een potentiële adversariële aanval.
2. Logit-verschil ($l_{\hat{x}}$): Het verschil tussen de hoogste en de op een na hoogste output-logits van de VQC. Een klein verschil duidt op weinig vertrouwen in de classificatie, vaak een teken van een adversariële sample.

De vertrouwensmetriek $C$ wordt als volgt berekend:
$$C = \langle\sigma_Z\rangle_x + \frac{l_{\hat{x}}}{2}$$
Deze waarde wordt vergeleken met een drempelwaarde $T$ (afgeleid van schone validatie-data). Als $C < T$, wordt de sample ** afgewezen**; anders wordt de voorspelling van de VQC geaccepteerd.

C. Algorithmische Stroom (QAE++)

1. Invoersample $x$ (schoon of adversariëel) wordt ingevoerd in de QAE.
2. De QAE produceert een gereconstrueerde sample $\hat{x}$ en een score voor encoding fideliteit.
3. $\hat{x}$ wordt doorgegeven aan de VQC voor classificatie, wat logits oplevert.
4. De vertrouwensmetriek $C$ wordt berekend met behulp van de fideliteit en het logit-verschil.
5. Als $C$ de drempelwaarde voldoet, wordt de voorspelde klasse teruggegeven; anders wordt de sample afgewezen.

3. Belangrijkste Bijdragen

• Verdediging zonder Adversariële Training: Het kader verdedigt VQCs zonder dat het model moet worden hergetraind op adversariële voorbeelden, waardoor het toepasbaar is in scenario's waar aanvalsgeneratie onmogelijk is.
• Quantumvoordeel in Zuivering: De auteurs tonen aan dat QAE's klassieke autoencoders (CAE's) kunnen overtreffen bij het reconstrueren van adversariële samples, waarschijnlijk vanwege het vermogen van de QAE om kenmerken te extraheren in een quantum latente ruimte met minder parameters.
• Op Vertrouwen Gebaseerde Afwijzing: De introductie van een hybride vertrouwensmetriek (fideliteit + logit-verschil) stelt het systeem in staat om dynamisch hoog-risico samples af te wijzen, wat de algehele nauwkeurigheid aanzienlijk verhoogt.
• Parameter-efficiëntie: Het QAE-model vereist aanzienlijk minder parameters (bijvoorbeeld 120) in vergelijking met state-of-the-art CAE-verdedigingen (91.000), wat een meer resource-efficiënte verdedigingsstrategie biedt.

4. Experimentele Resultaten

Het kader werd geëvalueerd op de MNIST en FashionMNIST (FMNIST) datasets met behulp van VQCs met variërende laagdieptes (100, 200, 300 lagen) onder FGSM en PGD aanvallen met perturbatiesterktes ($\epsilon$) variërend van 0,05 tot 0,30.

• Verbetering in Nauwkeurigheid:
  • Bij sterke aanvallen ($\epsilon = 0,30$) op MNIST daalde de baseline VQC-nauwkeurigheid tot bijna 0%.
  • De voorgestelde QAE++ behaalde 78,06% nauwkeurigheid, wat significant beter was dan de CAE-verdediging (14,95%) en de QAE-only verdediging (21,82%).
  • Over het algemeen toonde QAE++ verbeteringen van tot wel 68% ten opzichte van state-of-the-art CAE-verdedigingen in diverse aanvalsscenario's.
• Afwijzingsvermogen:
  • De vertrouwensmetriek identificeerde en wees adversariële samples effectief af. Bijvoorbeeld, bij $\epsilon=0,30$ (FGSM) wees QAE++ meer dan 5.700 verkeerd geclassificeerde samples af terwijl het 494 correct geclassificeerde samples accepteerde.
• Prestaties bij Gemengde Samples:
  • In scenario's met gemengde schone en adversariële invoer presteerde QAE++ consequent beter dan CAE- en QAE-only verdedigingen, vooral naarmate het aantal VQC-lagen toenam.
• Stabiliteit: Hoewel CAE's soms beter presteerden dan QAE's op kleinere modellen met lage aanvalskracht, behield QAE++ superieure stabiliteit en prestaties naarmate modelcomplexiteit en aanvalskracht toenamen.

5. Betekenis

Dit artikel presenteert een cruciale stap naar de robuustheid van Quantum Machine Learning. Door aan te tonen dat Quantum Autoencoders adversariële ruis effectief kunnen zuiveren zonder adversariële training, bieden de auteurs een praktische oplossing voor het inzetten van VQCs in real-world, potentieel vijandige omgevingen.

De betekenis ligt in:

1. Generaliseerbaarheid: De verdediging werkt tegen onbekende aanvalstypen zonder hertraining.
2. Efficiëntie: Het bereikt hogere nauwkeurigheid met drastisch minder parameters dan klassieke verdedigingen, in lijn met het doel van quantumvoordeel (meer doen met minder).
3. Betrouwbaarheid: De vertrouwensmetriek voegt een veiligheidslaag toe, waardoor het systeem kan "nederigheid tonen" (een sample afwijzen) in plaats van met vertrouwen een adversariële invoer verkeerd te classificeren, wat cruciaal is voor veiligheidskritieke toepassingen.

Concluderend vestigt QAE++ een nieuwe benchmark voor het verdedigen van quantumclassifiers en bewijst het dat quantum-native reconstructietechnieken superieure robuustheid kunnen bieden in vergelijking met klassieke tegenhangers.