WTHaar-Net: a Hybrid Quantum-Classical Approach

Probleemstelling

Convolutionele neurale netwerken (CNN's) zijn afhankelijk van lineaire filteroperaties die vaak rekenintensief zijn. Hoewel quantum computing belooft om bepaalde gestructureerde lineaire transformaten efficiënter uit te voeren met ondiepe circuits, zijn volledig convolutionele lagen momenteel onhaalbaar voor huidige quantumhardware. Dit komt omdat de benodigde hoeveelheid qubits schaalt met de inputdimensie, wat snel de capaciteit van huidige devices overstijgt.

Bestaande hybride quantum-klassieke benaderingen gebruiken vaak de Hadamard-transformatie (HT). Hoewel de HT efficiënt te implementeren is met Hadamard-gates, heeft deze een nadeel: het mengt alle inputcomponenten uniform (globale mixing). Dit staat haaks op de inductieve bias van visuele taken, waarbij ruimtelijke localiteit en multi-resolutie representaties cruciaal zijn. Er is dus behoefte aan een hybride architectuur die de efficiëntie van quantumcomputing behoudt, maar beter aansluit bij de ruimtelijke structuur van beelden.

Methodologie: WTHaar-Net

De auteurs introduceren WTHaar-Net, een hybride quantum-klassiek convolutioneel neurale netwerk dat de Hadamard-transformatie vervangt door de Haar Wavelet Transformatie (HWT).

1. Haar Wavelet Transformatie (HWT):

   • In tegenstelling tot de globale Hadamard-transformatie, biedt de HWT een ruimtelijk gelokaliseerde, multi-resolutie representatie.
   • De transformatie wordt recursief gedefinieerd via sommen en verschillen van paren waarden (low-pass en high-pass filtering), gevolgd door downsampling.
   • De HWT-matrix is orthogonaal en kan worden ontbonden in een reeks eenvoudige unitaire operaties (Hadamard-gates, gecontroleerde Hadamard-gates, Pauli-X en SWAP-gates), wat het ideaal maakt voor quantumimplementatie.

2. Hybride Laag (HWT-Perceptron):

   • De standaard Conv2D-laag wordt vervangen door een laag die in het transformatiedomein werkt.
   • Stap 1: Toepassing van een scheidbare 2D Haar-wavelettransformatie op de inputkanalen.
   • Stap 2: Multi-path filtering in het wavelet-domein. Dit omvat leerbare schaalingsmatrices, 1x1 convoluties (voor kanaalverwerking) en een soft-thresholding niet-lineariteit (in plaats van ReLU). Soft-thresholding behoudt zowel positieve als negatieve coëfficiënten, wat essentieel is in het transformatiedomein.
   • Stap 3: Aggregatie van de paden en terugkeer naar het ruimtelijke domein via de inverse Haar-transformatie.
   • Residuele verbindingen worden gebruikt waar nodig.

3. Quantum Realisatie:

   • De HWT wordt geïmplementeerd als een quantumcircuit dat amplitudes van een 4x4 beeldpatch verwerkt.
   • Het circuit gebruikt een specifieke volgorde van Hadamard-gates en gecontroleerde operaties om de recursieve som-verschil structuur na te bootsen.
   • Voor een input van lengte $N=2^m$ heeft de klassieke snelle HWT een complexiteit van $O(N)$, en het quantumcircuit behoudt een constante diepte ($O(1)$) door gebruik te maken van de gestructureerde gate-decompositie.

Belangrijkste Bijdragen

• HWT-gebaseerde hybride pipeline: Integratie van de Haar Wavelet Transformatie als front-end transformatie in een hybride CNN, wat een betere match biedt met visuele inductieve bias dan de Hadamard-transformatie.
• Quantum-vriendelijke realisatie: Een decompositie van de HWT in gestructureerde Hadamard-gates die compatibel is met huidige (near-term) quantumhardware.
• Efficiëntie en nauwkeurigheid: Significant verminderde rekenkosten (MACs) en parameters zonder in te leveren op nauwkeurigheid, en zelfs verbetering op hogere resolutie datasets.
• Hardware validatie: Succesvolle implementatie en evaluatie op echte quantumhardware (IBM Quantum cloud) voor patch-gebaseerde experimenten.

Resultaten

De prestaties zijn geëvalueerd op CIFAR-10, Tiny-ImageNet en MNIST (voor quantumvalidatie).

• Tiny-ImageNet:

  • WTHaar-Net (3-pad) bereikte 70,84% Top-1 nauwkeurigheid, wat aanzienlijk beter is dan de Hadamard-baseline (66,65%) en de standaard ResNet-baseline (63,28%).
  • Er werd een reductie van 12,4% in het aantal parameters behaald ten opzichte van ResNet.
  • De HWT-variant overtrof de HT-variant consistent, wat de superioriteit van ruimtelijke localiteit bevestigt.

• CIFAR-10:

  • De 3-pad HWT-ResNet-20 bereikte 91,28% nauwkeurigheid, wat bijna gelijk is aan de standaard ResNet-20 (91,66%) en de HT-variant (91,29%).
  • Er werd een 26,64% reductie in parameters bereikt.
  • Hoewel de prestaties op CIFAR-10 vergelijkbaar waren met de baselines, toonde de HWT betere ruimtelijke localiteit, wat cruciaal is voor hogere resoluties.

• Robuustheid:

  • Gaussian Blur: WTHaar-Net presteerde aanzienlijk beter dan WHT bij alle blur-niveaus, wat aangeeft dat de wavelet-representatie beter is in het vastleggen van laagfrequente structurele informatie.
  • Salt-and-Pepper Ruis: WHT was robuuster bij hoge ruisniveaus, terwijl WTHaar beter presteerde bij lage ruisniveaus. Dit suggereert complementaire eigenschappen.

• Quantum Validatie:

  • Experimenten op de IBM Brisbane (127-qubit Heron processor) en simulators bevestigden de haalbaarheid.
  • De quantumuitvoer (na meting) toonde een lage Mean Squared Error (MSE = 0,023) vergeleken met de klassieke berekening.
  • Beperking: Quantummetingen leveren alleen de grootte van de amplitude op, waardoor het teken (sign) van de coëfficiënten verloren gaat. De auteurs lossen dit op via klassieke post-processing en het trainen van klassieke lagen op magnitude-only representaties.

Betekenis en Conclusie

WTHaar-Net demonstreert dat het vervangen van globale transformaties (zoals Hadamard) door ruimtelijk gelokaliseerde wavelet-transformaties (Haar) een krachtige route is voor hybride quantum-klassieke deep learning.

• Efficiëntie: De methode biedt aanzienlijke besparingen in parameters en rekenkracht (MACs), wat essentieel is voor de toepassing op beperkte quantumhardware.
• Toekomstperspectief: De aanpak maakt de brug tussen wavelet-based CNN's en hybride quantummodellen. De belangrijkste beperkingen zijn de patch-grootte (beperkt door qubit-aantal) en het verlies van tekeninformatie bij meting. Toekomstig werk richt zich op fase-schatting voor tekenherstel en schaalbaarheid naar grotere patches via foutmitigatie.

Kortom, dit werk toont aan dat quantumcomputing niet alleen theoretisch mogelijk is voor visuele taken, maar dat specifieke, hardware-vriendelijke transformaties zoals de Haar-wavelet concrete voordelen bieden in nauwkeurigheid en efficiëntie in de huidige "noisy intermediate-scale quantum" (NISQ) era.