Image classification via a quantum-inspired strategy involving a mixture of experts

Résumé Technique : Classification d'images via un mélange d'experts d'inspiration quantique

Énoncé du problème
La reconnaissance de formes dans le traitement d'images physiques nécessite souvent l'extraction de caractéristiques pertinentes à partir de jeux de données massifs où les contraintes de stockage et de temps de traitement sont importantes. Les réseaux de neurones convolutifs (CNN) classiques traitent cela par une diffusion par étalement et un regroupement (pooling) par blocs pour sous-échantillonner les données. Cependant, ces mécanismes classiques sont intrinsèquement perdants ; ils dégradent les détails structurels fins pour réduire la complexité computationnelle. Bien que les algorithmes quantiques offrent des gains d'efficacité potentiels, des avantages significatifs nécessitent généralement des entrées de données quantiques authentiques. Ce travail aborde le défi de l'amélioration de l'extraction de caractéristiques et de l'efficacité de la classification pour les jeux de données d'images standards en proposant un cadre hybride classique-quantique qui minimise la perte d'information lors du processus de sous-échantillonnage.

Méthodologie
Les auteurs proposent un cadre de Mélange d'Experts Quantiques (QMoE), implémenté comme un système hybride où des sous-programmes d'inspiration quantique remplacent des composants spécifiques d'un CNN standard, suivis d'un réseau de neurones entièrement connecté (FCL) classique pour la classification finale. La méthodologie se compose de cinq étapes clés :

1. Encodage d'état :

   • Les images d'entrée (MNIST et Fashion-MNIST, originellement 28×28) sont complétées (padding) à 32×32 et seuillées en valeurs binaires ($c_{x,y} = \pm 1$).
   • Les images sont intégrées dans des états quantiques de 10 qubits via l'encodage d'amplitude : $|\psi\rangle = \frac{1}{32} \sum c_{x,y} |x, y\rangle$. Cela réduit exponentiellement l'exigence de ressources spatiales, permettant aux opérations suivantes d'agir sur l'état encodé plutôt que sur les pixels bruts.

2. Étalement convolutif (Unitaire vs Diffusion) :

   • Référence classique : Utilise un opérateur Laplacien discret pour une diffusion itérative : $X^{t+1}_{i,j} = (1-\alpha)X^t_{i,j} + \frac{\alpha}{4}\sum X^t_{voisins}$. Il s'agit d'un processus perdant.
   • Stratégie quantique : Remplace la diffusion par un étalement unitaire non perdant. La grille d'image est divisée en sous-ensembles pairs et impairs (motif en damier). Des opérateurs unitaires locaux ($U_o, U_e$) mélangent les amplitudes aux coins des carrés élémentaires en utilisant des blocs hamiltoniens dérivés des matrices de Pauli. Le mélange est contrôlé par un paramètre $s = \sin \theta$, qui est optimisé pendant l'entraînement.

3. Mélange d'Experts (MoE) :

   • Plusieurs « experts » sont définis par des valeurs de paramètres distinctes ($\theta_i$) utilisées dans l'étalement unitaire.
   • Stratégie indépendante : Chaque expert traite l'image, et les prédictions sont combinées via un vote majoritaire.
   • Stratégie conjointe : Les caractéristiques extraites par tous les experts sont concaténées et traitées ensemble par le classificateur. Le document met l'accent sur cette approche conjointe.

4. Regroupement par blocs (Codes de stabilisateurs) :

   • Référence classique : Réduit la résolution de l'image (32×32 $\to$ 16×16 $\to$ 8×8 $\to$ 4×4) par une moyenne pondérée de fenêtres 3×3.
   • Stratégie quantique : Utilise le code de stabilisateur [[5,1,3]] parfait non dégénéré. Puisque les coordonnées des pixels sont encodées en 5 qubits par axe, le code extrait des syndromes (valeurs d'attente de générateurs commutants) pour produire 16 caractéristiques distinctes par axe. Cela remplace le sous-échantillonnage irréversible par une extraction de syndrome déterministe qui préserve des informations structurelles spécifiques.

5. Classification :

   • Les caractéristiques extraites (16 caractéristiques par expert par couche) sont injectées dans un réseau de neurones entièrement connecté (FCL) standard avec une architecture en entonnoir (512 $\to$ 256 $\to$ 128 $\to$ 10).
   • Le système est entraîné à l'aide de l'optimiseur Adam avec CrossEntropyLoss (incluant le lissage d'étiquette) sur des stations de travail GPU utilisant PyTorch.

Contributions clés

• Cadre hybride : Le document introduit une architecture spécifique où la diffusion classique est remplacée par une convolution unitaire et le regroupement classique est remplacé par l'extraction de syndrome par code de stabilisateur.
• Mélange d'experts : Il démontre qu'un processus de décision conjoint parmi plusieurs experts (utilisant chacun des paramètres d'étalement différents) surpasse significativement le vote d'experts indépendants et la référence à expert unique classique.
• Extraction de caractéristiques efficace : En exploitant l'encodage d'amplitude et les codes de stabilisateurs, la méthode réduit la dimensionnalité de l'entrée de 784 pixels à 16 caractéristiques (ou $16 \times N_{exp} \times N_{lyr}$ dans le cas du MoE) tout en conservant plus d'informations pertinentes que le sous-échantillonnage classique perdant.
• Implémentation pratique : L'algorithme est entièrement implémenté sur du matériel GPU classique en utilisant une approche « d'inspiration quantique » (opérations tensorielles simulant des états quantiques), ce qui le rend immédiatement déployable sans nécessiter de matériel quantique réel.

Résultats
Le cadre a été testé par rapport aux références de diffusion classique sur les jeux de données MNIST et Fashion-MNIST :

• Jeu de données MNIST :
  • La référence classique ( $\alpha=1,5$ optimal) a atteint 95,02 % de précision de test.
  • La stratégie quantique conjointe d'experts (16 experts, 16 couches) a atteint 97,63 % de précision de test.
  • Cela représente une réduction du taux d'échec d'un facteur d'environ deux par rapport à la méthode classique.
• Jeu de données Fashion-MNIST :
  • En raison d'une ambiguïté de forme plus élevée, la référence classique a culminé à 76,80 %.
  • La stratégie quantique conjointe d'experts (18 experts, 16 couches) a atteint 86,20 %.
  • Là encore, le taux d'échec a été réduit d'un facteur d'environ deux.
• Surcharge de calcul : Le temps par époque du modèle d'inspiration quantique avec experts conjoints n'a montré qu'une augmentation modérée par rapport à la référence classique, rendant l'approche calculatoirement pratique sur les stations de travail GPU actuelles.

Signification et revendications
L'article affirme que la stratégie d'inspiration quantique proposée offre un avantage clair dans les tâches de classification d'images, particulièrement pour les jeux de données dotés de caractéristiques structurelles complexes comme Fashion-MNIST. La principale signification réside dans la démonstration que :

1. La convolution unitaire conserve plus d'informations d'image que la diffusion classique perdante.
2. L'extraction de syndrome par code de stabilisateur fournit une méthode robuste de réduction de caractéristiques qui surpasse le regroupement (pooling) standard.
3. L'analyse conjointe des experts extrait plus de caractéristiques pertinentes que l'analyse indépendante, validant l'approche de « Mélange d'Experts » dans ce contexte d'inspiration quantique.

Les auteurs concluent que, bien que l'implémentation actuelle soit classique (simulée), le cadre est conçu pour être exécutable sur un processeur quantique (comme détaillé dans l'annexe), suggérant une voie viable vers des processeurs hybrides classique-quantique pour les tâches futures d'apprentissage automatique. Ils notent modestement que la stratégie est une alternative pratique aux schémas classiques existants avec une surcharge modérée, plutôt qu'un remplacement de toutes les méthodes classiques.