Image classification via a quantum-inspired strategy involving a mixture of experts

Riepilogo Tecnico: Classificazione di Immagini tramite una Miscela di Esperti di Ispirazione Quantistica

Definizione del Problema
Il riconoscimento di pattern nell'elaborazione di immagini fisiche richiede spesso l'estrazione di caratteristiche rilevanti da enormi set di dati dove la memoria di archiviazione e i tempi di elaborazione sono limitati. Le classiche Reti Neurali Convoluzionali (CNN) affrontano questo problema attraverso la diffusione per sfocatura (smearing) e il pooling a blocchi per il sottocampionamento dei dati. Tuttavia, questi meccanismi classici sono intrinsecamente dissipativi; essi degradano i dettagli strutturali fini per ridurre la complessità computazionale. Sebbene gli algoritmi quantistici offrano potenziali guadagni di efficienza, i vantaggi significativi richiedono solitamente input di dati quantistici genuini. Questo lavoro affronta la sfida di migliorare l'efficienza dell'estrazione delle caratteristiche e della classificazione per dataset di immagini standard, proponendo un framework ibrido classico-quantistico che minimizza la perdita di informazioni durante il processo di sottocampionamento.

Metodologia
Gli autori propongono un framework Quantum Mixture of Experts (QMoE), implementato come un sistema ibrido in cui subroutine di ispirazione quantistica sostituiscono componenti specifici di una CNN standard, seguiti da una rete neurale completamente connessa classica (FCL) per la classificazione finale. La metodologia si articola in cinque fasi chiave:

1. Codifica dello Stato (State Encoding):

   • Le immagini in input (MNIST e Fashion-MNIST, originariamente 28×28) vengono estese a 32×32 e soggette a soglia per valori binari ($c_{x,y} = \pm 1$).
   • Le immagini sono incorporate in stati quantistici a 10 qubit tramite codifica di ampiezza (amplitude encoding): $|\psi\rangle = \frac{1}{32} \sum c_{x,y} |x, y\rangle$. Ciò riduce esponenzialmente il requisito di risorse spaziali, permettendo alle operazioni successive di agire sullo stato codificato piuttosto che sui pixel grezzi.

2. Smearing Convoluzionale (Unitario vs. Diffusione):

   • Baseline Classica: Utilizza un operatore Laplaciano discreto per la diffusione iterativa: $X^{t+1}_{i,j} = (1-\alpha)X^t_{i,j} + \frac{\alpha}{4}\sum X^t_{neighbors}$. Questo è un processo dissipativo.
   • Strategia Quantistica: Sostituisce la diffusione con uno smearing unitario non dissipativo. La griglia dell'immagine viene divisa in sottoinsiemi pari e dispari (schema a scacchiera). Operatori unitari locali ($U_o, U_e$) mescolano le ampiezze agli angoli di quadrati elementari utilizzando blocchi Hamiltoniani derivati dalle matrici di Pauli. Il mescolamento è controllato da un parametro $s = \sin \theta$, che viene ottimizzato durante l'addestramento.

3. Miscela di Esperti (Mixture of Experts - MoE):

   • Molteplici "esperti" sono definiti da distinti valori di parametro ($\theta_i$) utilizzati nello smearing unitario.
   • Strategia Indipendente: Ogni esperto elabora l'immagine e le previsioni vengono combinate tramite voto di maggioranza.
   • Strategia Congiunta: Le caratteristiche estratte da tutti gli esperti vengono concatenate e processate insieme dal classificatore. Il documento enfatizza questo approccio congiunto.

4. Pooling a Blocchi (Codici Stabilizzatori):

   • Baseline Classica: Riduce la risoluzione dell'immagine (32×32 $\to$ 16×16 $\to$ 8×8 $\to$ 4×4) tramite la media pesata di finestre 3×3.
   • Strategia Quantistica: Utilizza il codice stabilizzatore perfetto non degenere [[5,1,3]]. Poiché le coordinate dei pixel sono codificate in 5 qubit per asse, il codice estrae i sindromi (valori di aspettazione di generatori commutanti) per produrre 16 caratteristiche distinte per asse. Questo sostituisce il sottocampionamento irreversibile con un'estrazione di sindromi deterministica che preserva specifiche informazioni strutturali.

5. Classificazione:

   • Le caratteristiche estratte (16 caratteristiche per esperto per livello) vengono inviate a una standard rete neurale completamente connessa (FCL) con un'architettura a imbuto (512 $\to$ 256 $\to$ 128 $\to$ 10).
   • Il sistema viene addestrato utilizzando l'ottimizzatore Adam con CrossEntropyLoss (inclusa la label smoothing) su workstation GPU utilizzando PyTorch.

Contributi Chiave

• Framework Ibrido: Il documento introduce un'architettura specifica in cui la diffusione classica è sostituita dalla convoluzione unitaria e il pooling classico è sostituito dall'estrazione di sindromi tramite codice stabilizzatore quantistico.
• Miscela di Esperti: Dimostra che un processo decisionale congiunto tra molteplici esperti (ognuno con diversi parametri di smearing) supera significativamente sia il voto degli esperti indipendenti che le baseline classiche a singolo esperto.
• Estrazione Efficiente delle Caratteristiche: Sfruttando la codifica di ampiezza e i codici stabilizzatori, il metodo riduce la dimensionalità dell'input da 784 pixel a 16 caratteristiche (o $16 \times N_{exp} \times N_{lyr}$ nel caso MoE) mantenendo al contempo più informazioni rilevanti rispetto al sottocampionamento classico dissipativo.
• Implementazione Pratica: L'algoritmo è implementato interamente su hardware GPU classico utilizzando un approccio di "ispirazione quantistica" (operazioni tensoriali che simulano stati quantistici), rendendolo immediatamente distribuibile senza richiedere hardware quantistico reale.

Risultati
Il framework è stato testato rispetto alle baseline di diffusione classica sui dataset MNIST e Fashion-MNIST:

• Dataset MNIST:
  • La baseline classica (ottimo $\alpha=1.5$) ha raggiunto il 95,02% di accuratezza di test.
  • La strategia Quantum Joint Expert (16 esperti, 16 livelli) ha raggiunto il 97,63% di accuratezza di test.
  • Ciò rappresenta una riduzione del tasso di errore di circa un fattore due rispetto al metodo classico.
• Dataset Fashion-MNIST:
  • A causa dell'ambiguità di forma più elevata, la baseline classica ha raggiunto un picco del 76,80%.
  • La strategia Quantum Joint Expert (18 esperti, 16 livelli) ha raggiunto l'86,20%.
  • Anche in questo caso, il tasso di errore è stato ridotto di circa un fattore due.
• Overhead Computazionale: Il tempo per epoca del modello di ispirazione quantistica con esperti congiunti ha mostrato solo un moderato aumento rispetto alla baseline classica, rendendo l'approccio computazionalmente pratico sulle attuali workstation GPU.

Significatività e Rivendicazioni
Il documento afferma che la strategia proposta di ispirazione quantistica offre un chiaro vantaggio nei compiti di classificazione di immagini, in particolare per dataset con caratteristiche strutturali complesse come Fashion-MNIST. La significatività primaria risiede nella dimostrazione che:

1. La convoluzione unitaria conserva più informazioni sull'immagine rispetto alla diffusione classica dissipativa.
2. L'estrazione di sindromi basata su codici stabilizzatori fornisce un metodo robusto per la riduzione delle caratteristiche che supera il pooling standard.
3. L'analisi congiunta degli esperti estrae più caratteristiche rilevanti rispetto all'analisi indipendente, validando l'approccio "Mixture of Experts" in questo contesto di ispirazione quantistica.

Gli autori concludono che, sebbene l'attuale implementazione sia classica (simulata), il framework è progettato per essere eseguibile su un processore quantistico (come dettagliato nell'Appendice), suggerendo una via percorribile verso processori ibridi classico-quantistici per futuri compiti di machine learning. Essi notano con modestia che la strategia è un'alternativa pratica agli schemi classici esistenti con un overhead moderato, piuttosto che un sostituto per tutti i metodi classici.