Image classification via a quantum-inspired strategy involving a mixture of experts

Technische Samenvatting: Beeldclassificatie via een Quantum-geïnspireerde Mixture of Experts

Probleemstelling
Patroonherkenning in fysieke beeldverwerking vereist vaak het extraheren van relevante kenmerken uit enorme datasets waarbij opslag en verwerkingstijd beperkt zijn. Standaard Convolutionele Neurale Netwerken (CNN's) pakken dit aan via diffusie-gebaseerd vervaging en blokgewijze pooling om data te downsamplen. Echter, deze klassieke mechanismen zijn inherent verlieslatend; ze degraderen fijnmazige structurele details om de computationele complexiteit te verminderen. Hoewel quantumalgoritmen potentieel efficiëntievoordelen bieden, vereisen significante voordelen doorgaans echte quantumdata-inputs. Dit werk adresseert de uitdaging om de efficiëntie van feature extractie en classificatie voor standaard beelddatasets te verbeteren door een hybride klassiek-quantum framework voor te stellen dat informatieverlies tijdens het downsamplingproces minimaliseert.

Methodologie
De auteurs stellen een Quantum Mixture of Experts (QMoE) framework voor, geïmplementeerd als een hybride systeem waarbij quantum-geïnspireerde subroutines specifieke componenten van een standaard CNN vervangen, gevolgd door een klassiek volledig verbonden neuraal netwerk (FCL) voor de uiteindelijke classificatie. De methodologie bestaat uit vijf sleutelstadia:

1. Toestandsencodering (State Encoding):

   • Inputbeelden (MNIST en Fashion-MNIST, oorspronkelijk 28×28) worden opgevuld naar 32×32 en gedrempelwaard (thresholded) naar binaire waarden ($c_{x,y} = \pm 1$).
   • Beelden worden ingebed in 10-qubit quantumtoestanden via amplitude encoding: $|\psi\rangle = \frac{1}{32} \sum c_{x,y} |x, y\rangle$. Dit vermindert de ruimtelijke hulpbronvereiste exponentieel, waardoor opeenvolgende operaties kunnen optreden op de gecodeerde toestand in plaats van op ruwe pixels.

2. Convolutionele Vervaging (Unitair vs. Diffusie):

   • Klassieke Baseline: Gebruikt een discrete Laplaciaan-operator voor iteratieve diffusie: $X^{t+1}_{i,j} = (1-\alpha)X^t_{i,j} + \frac{\alpha}{4}\sum X^t_{neighbors}$. Dit is een verlieslatend proces.
   • Quantumstrategie: Vervangt diffusie door niet-verlieslatende unitaire vervaging. Het beeldraster wordt gesplitst in even en oneven subsets (schaakbordpatroon). Lokale unitaire operatoren ($U_o, U_e$) mengen amplitudes op de hoekpunten van elementaire vierkanten met behulp van Hamiltonian-blokken afgeleid van Pauli-matrices. De menging wordt gecontroleerd door een parameter $s = \sin \theta$, die tijdens de training wordt geoptimaliseerd.

3. Mixture of Experts (MoE):

   • Meerdere "experts" worden gedefinieerd door onderscheidende parametervariaties ($\theta_i$) die worden gebruikt in de unitaire vervaging.
   • Onafhankelijke Strategie: Elke expert verwerkt het beeld, en voorspellingen worden gecombineerd via een meerderheidsstemming.
   • Gezamenlijke Strategie: Kenmerken die door alle experts zijn geëxtraheerd, worden geconcateneerd en gezamenlijk verwerkt door de classifier. Het artikel benadrukt deze gezamenlijke aanpak.

4. Blokgewijze Pooling (Stabilizer Codes):

   • Klassieke Baseline: Vermindert de beeldresolutie (32×32 $\to$ 16×16 $\to$ 8×8 $\to$ 4×4) door middel van gewogen middeling van 3×3 vensters.
   • Quantumstrategie: Maakt gebruik van de [[5,1,3]] perfecte niet-degeneratieve stabilizer code. Aangezien pixelcoördinaten in 5 qubits per as zijn gecodeerd, extraheert de code syndromen (verwachtingswaarden van comutatieve generatoren) om 16 onderscheidende kenmerken per as te produceren. Dit vervangt irreversibele downsampling door een deterministische syndroomextractie die specifieke structurele informatie behoudt.

5. Classificatie:

   • De geëxtraheerde kenmerken (16 kenmerken per expert per laag) worden gevoed aan een standaard volledig verbonden neuraal netwerk (FCL) met een funnel-architectuur (512 $\to$ 256 $\to$ 128 $\to$ 10).
   • Het systeem wordt getraind met de Adam-optimizer met CrossEntropyLoss (inclusief label smoothing) op GPU-workstations met behulp van PyTorch.

Belangrijkste Bijdragen

• Hybride Framework: Het artikel introduceert een specifieke architectuur waarbij klassieke diffusie wordt vervangen door unitaire convolutie en klassieke pooling wordt vervangen door quantum stabilizer code syndroomextractie.
• Mixture of Experts: Het demonstreert dat een gezamenlijk besluitvormingsproces tussen meerdere experts (elk met verschillende vervagingsparameters) significant beter presteert dan zowel onafhankelijke expert-stemming als single-expert klassieke baselines.
• Efficiënte Feature Extractie: Door gebruik te maken van amplitude encoding en stabilizer codes, reduceert de methode de inputdimensie van 784 pixels naar 16 kenmerken (of $16 \times N_{exp} \times N_{lyr}$ in het geval van MoE), terwijl er meer relevante informatie behouden blijft dan bij klassieke verlieslatende downsampling.
• Praktische Implementatie: Het algoritme is volledig geïmplementeerd op klassieke GPU-hardware met behusing van een "quantum-geïnspireerde" aanpak (tensoroperaties die quantumtoestanden simuleren), waardoor het direct inzetbaar is zonder dat er daadwerkelijke quantumhardware nodig is.

Resultaten
Het framework werd getest tegen klassieke diffusie-baselines op de MNIST en Fashion-MNIST datasets:

• MNIST Dataset:
  • De klassieke baseline (optimale $\alpha=1.5$) bereikte een 95,02% testnauwkeurigheid.
  • De Quantum Joint Expert strategie (16 experts, 16 lagen) bereikte 97,63% testnauwkeurigheid.
  • Dit vertegenwoordigt een reductie in de foutmarge van ongeveer een factor twee vergeleken met de klassieke methode.
• Fashion-MNIST Dataset:
  • Vanwege hogere vorm-ambiguïteit piekte de klassieke baseline op 76,80%.
  • De Quantum Joint Expert strategie (18 experts, 16 lagen) bereikte 86,20%.
  • Opnieuw werd de foutmarge met ongeveer een factor twee verminderd.
• Computationele Overhead: De tijd per epoch voor het gezamenlijke expert quantum-geïnspireerde model vertoonde slechts een gematigde toename vergeleken met de klassieke baseline, wat de aanpak computationeel praktisch maakt op huidige GPU-workstations.

Significantie en Claims
Het artikel claimt dat de voorgestelde quantum-geïnspireerde strategie een duidelijk voordeel biedt bij beeldclassificatietaken, met name voor datasets met complexe structurele kenmerken zoals Fashion-MNIST. De primaire significantie ligt in de demonstratie dat:

1. Unitaire convolutie meer beeldinformatie behoudt dan verlieslatende klassieke diffusie.
   2. Stabilizer code-gebaseerde syndroomextractie een robuuste methode biedt voor feature reductie die beter presteert dan standaard pooling.
   3. Gezamenlijke expertanalyse meer relevante kenmerken extraheert dan onafhankelijke analyse, wat de "Mixture of Experts"-aanpak binnen deze quantum-geïnspireerde context valideert.

De auteurs concluderen dat hoewel de huidige implementatie klassiek is (gesimuleerd), het framework is ontworpen om uitvoerbaar te zijn op een quantumprocessor (zoals gedetailleerd in de Appendix), wat wijst op een levensvatbaar pad naar hybride klassiek-quantum processors voor toekomstige machine learning taken. Ze merken bescheiden op dat de strategie een praktisch alternatief is voor bestaande klassieke schema's met gematigde overhead, in plaats van een vervanging voor alle klassieke methoden.