Layer-wise QUBO-Based Training of CNN Classifiers for Quantum Annealing

Cet article propose un cadre d'entraînement itératif basé sur l'optimisation quadratique sans contraintes (QUBO) pour les têtes de classificateur des réseaux de neurones convolutifs via l'annealing quantique, évitant les plateaux stériles et démontrant des performances compétitives par rapport aux méthodes classiques sur plusieurs benchmarks de classification d'images.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot à reconnaître des chats et des chiens sur des photos. C'est ce qu'on appelle l'intelligence artificielle (IA). Habituellement, on utilise des réseaux de neurones, qui sont un peu comme des cerveaux artificiels composés de plusieurs couches.

Ce papier de recherche propose une façon nouvelle et excitante d'entraîner la dernière partie de ce cerveau, en utilisant une technologie appelée informatique quantique. Voici l'explication simple, avec quelques images pour vous aider à visualiser.

1. Le Problème : Une montagne dans le brouillard

Pour entraîner une IA classique, on utilise une méthode appelée "descente de gradient". Imaginez que vous êtes au sommet d'une montagne dans un brouillard épais et que vous voulez atteindre la vallée (le point le plus bas, où l'erreur est nulle). Vous avancez pas à pas, en sentant la pente sous vos pieds.

Le problème, c'est que parfois, le terrain est plat (on appelle ça les "plateaux stériles" ou barren plateaus), et vous ne sentez plus la pente. Vous restez bloqué. De plus, si vous avez trop de données, le calcul devient trop lourd, comme essayer de déplacer une montagne avec une cuillère.

2. La Solution : Une caméra à objectif fixe

Les auteurs ont une idée brillante basée sur un concept appelé Extreme Learning Machine.
Imaginez un appareil photo. Habituellement, on règle à la fois l'objectif (pour voir les détails) et la mise au point finale (pour que l'image soit nette).

Dans cette méthode, ils gèlent l'objectif.

• La partie "Vision" (Convolution) : C'est l'objectif de la caméra. Ils le fixent au hasard et ne le touchent plus jamais. Il sert juste à transformer la photo en une liste de caractéristiques (des lignes, des formes, des textures).
• La partie "Décision" (Classifieur) : C'est la mise au point finale. C'est la seule partie qu'ils entraînent.

C'est comme si vous aviez un assistant qui vous décrit ce qu'il voit ("je vois une oreille pointue, une queue"), et vous, vous devez juste apprendre à dire "c'est un chat" ou "c'est un chien" en vous basant sur cette description fixe. Cela simplifie énormément le travail.

3. Le Moteur : Le Puzzle Quantique (QUBO)

Pour entraîner cette partie "Décision", au lieu de marcher pas à pas dans le brouillard, ils utilisent un Recuit Quantique (Quantum Annealing).

• L'analogie de la bille : Imaginez un paysage vallonné avec des creux et des bosses. Au lieu de marcher, vous lâchez une bille. La bille va rouler naturellement jusqu'au point le plus bas.
• Le Puzzle QUBO : Pour que la bille puisse rouler, il faut traduire le problème mathématique en un langage que la machine quantique comprend : le QUBO. C'est un puzzle où chaque pièce ne peut être que "allumée" (1) ou "éteinte" (0).

Leur astuce est de transformer la formule mathématique compliquée (qui est bosselée et difficile) en une surface lisse et convexe (comme une cuvette parfaite) que la bille peut descendre facilement.

4. La Taille du Puzzle : Découper pour mieux régner

Le problème est que ces puzzles quantiques peuvent devenir gigantesques. Si vous essayez de tout résoudre d'un coup, la machine quantique actuelle n'est pas assez grosse.

Les auteurs ont donc découpé le problème. Au lieu d'un seul grand puzzle pour tous les animaux, ils en font un petit puzzle par catégorie.

• Un puzzle pour "Chat".
• Un puzzle pour "Chien".
• Etc.

C'est comme si vous aviez 10 petits casse-têtes au lieu d'un seul géant. Cela permet de les résoudre en parallèle et de les faire tenir sur les machines actuelles (comme celles de D-Wave).

5. Les Résultats : Ça marche, mais il faut de la précision

Ils ont testé cette méthode sur plusieurs jeux de données (des chiffres manuscrits, des vêtements, des objets...).

• La précision compte : Ils ont découvert qu'il faut une "règle de mesure" assez fine. Si on utilise une règle trop grossière (5 bits), l'IA est confuse (33% de réussite). Si on affine la règle (20 bits), l'IA devient très performante (plus de 80% de réussite, parfois mieux que les méthodes classiques).
• La vitesse : Pour l'instant, c'est plus lent qu'un ordinateur classique car ils ont utilisé une simulation. Mais l'idée est que sur une vraie machine quantique, la bille pourrait trouver le chemin beaucoup plus vite grâce à des effets quantiques (comme traverser les murs par tunnel).

En résumé

Ce papier propose une nouvelle façon de faire apprendre l'IA :

1. On fige la partie qui "voit" les images (pour simplifier).
2. On transforme l'apprentissage en un puzzle logique (QUBO).
3. On utilise une machine quantique (ou une simulation) pour résoudre ce puzzle comme une bille qui cherche le point le plus bas.

C'est une étape importante pour montrer qu'on peut entraîner des intelligences artificielles complexes sans utiliser les méthodes traditionnelles, ouvrant la porte à une collaboration future entre l'IA classique et le futur du calcul quantique.

Résumé technique

Résumé Technique

Titre : Entraînement de Classificateurs CNN Basé sur QUBO pour Recuit Quantique
Auteurs : Mostafa Atallah et Rebekah Herrman (Université du Tennessee & Université du Caire)
Domaine : Apprentissage Automatique Quantique (QML), Optimisation Combinatoire, Réseaux de Neurones Convolutifs (CNN)

1. Problématique

L'apprentissage automatique quantique (QML) pour la classification d'images fait face à deux obstacles majeurs :

• Les plateaux stériles (Barren Plateaus) : Les méthodes basées sur des circuits quantiques variationnels (VQC) souffrent de gradients exponentiellement décroissants à mesure que le nombre de qubits augmente, rendant l'optimisation intractable.
• La scalabilité des méthodes à noyau : Les méthodes à noyau quantique (quantum kernel methods) nécessitent le calcul d'une matrice de noyau de taille $O(N^2)$, ce qui est prohibitif pour les grands jeux de données.

De plus, les problèmes d'optimisation de réseaux de neurones sont non convexes et non quadratiques (perte d'entropie croisée), ce qui les rend incompatibles avec les solveurs de recuit quantique actuels qui nécessitent une formulation QUBO (Optimisation Binaire Quadratique Non Contrainte) ou Ising.

2. Méthodologie

Les auteurs proposent un cadre itératif pour entraîner la tête de classification (couche entièrement connectée) d'un CNN en utilisant le recuit quantique, tout en évitant l'optimisation basée sur le gradient des circuits.

• Paradigme Extreme Learning Machine (ELM) : Les filtres convolutifs sont initialisés aléatoirement et figés. Seule la couche fully connected (FC) est optimisée. Cela découple l'extraction de caractéristiques (classique) de l'optimisation du classifieur (QUBO).
• Surrogate Quadratique Convexe : Pour contourner la non-linéarité de la perte d'entropie croisée, l'article remplace la fonction de perte par un surrogate quadratique convexe dérivé de la matrice de Gram ($G = \frac{1}{N}X^T X$). Cette matrice est calculée une seule fois et reste constante car les caractéristiques sont figées.
• Encodage Binaire : Les mises à jour continues des poids sont discrétisées via un encodage binaire signé symétrique. Chaque paramètre de mise à jour est représenté par un vecteur binaire de $K$ bits (précision).
• Décomposition par Sortie (Per-Output Decomposition) : Au lieu de formuler un seul QUBO massif pour toutes les classes, le problème à $C$ classes est décomposé en $C$ problèmes QUBO indépendants. Chaque QUBO optimise les poids d'une seule classe avec $(d+1)K$ variables binaires (où $d$ est la dimension des features). Cela évite que la taille du problème ne dépende du nombre d'échantillons d'entraînement ($N$), mais seulement de la dimension du modèle.
• Algorithme Itératif :
  1. Calcul des probabilités softmax et des résidus.
  2. Construction du QUBO pour chaque classe en utilisant la matrice de Gram et le gradient.
  3. Résolution du QUBO via recuit simulé (SA) ou recuit quantique.
  4. Mise à jour des poids de la couche FC.
  5. Répétition sur $T$ itérations.

3. Contributions Clés

1. Surrogate QUBO Itératif : Une formulation permettant d'entraîner un réseau de neurones à partir d'une initialisation aléatoire sans utiliser de descente de gradient classique, en remplaçant la perte non quadratique par un surrogate quadratique.
2. Décomposition Économe en Ressources : Réduction de la taille du QUBO de $(d+1)CK$ à $C$ problèmes indépendants de $(d+1)K$, rendant le problème scalable par rapport au modèle et non par rapport aux données.
3. Étude de Sensibilité à la Précision : Identification d'un seuil de précision binaire minimal ($K \ge 10$) pour un entraînement efficace.
4. Benchmark Multi-Dataset : Validation empirique sur six jeux de données d'images (sklearn digits, MNIST, Fashion-MNIST, CIFAR-10, EMNIST, KMNIST).

4. Résultats Expérimentaux

Les expériences ont été menées sur des images réduites à 8x8 pixels (contrainte matérielle) et résolues via un recuit simulé (SA) pour établir une baseline avant déploiement sur hardware quantique.

• Impact de la Précision (Bit Precision) :
  • 5 bits : Convergence échouée (précision ~33-37%).
  • 10 bits et plus : Résultats compétitifs.
  • 20 bits : Meilleures performances, atteignant ou dépassant la descente de gradient stochastique (SGD) classique.
• Performance par Dataset (20 bits vs SGD Classique) :
  • MNIST : +3,1% de précision sur test (81,3% vs 78,2%).
  • Fashion-MNIST : +1,3% de précision.
  • EMNIST : Équivalent (±0%).
  • CIFAR-10 & KMNIST : Légèrement inférieur ou compétitif (bottleneck dû à la réduction 8x8 et au nombre de filtres).
• Contraintes Matérielles :
  • Pour $d=18$ et $K=20$, chaque QUBO par classe utilise 380 variables logiques.
  • Cela reste dans la capacité de qubits du D-Wave Advantage (5 640 qubits), mais la connectivité dense (72 010 couplers) dépasse la topologie Pegasus actuelle, nécessitant un minor-embedding coûteux.
• Temps d'Exécution : L'entraînement QUBO est 100 à 400 fois plus lent que le SGD classique en simulation, mais le recuit quantique réel pourrait offrir des accélérations via l'effet tunnel.

5. Signification et Implications

• Alternative aux VQC : Cette méthode évite les plateaux stériles car elle ne repose pas sur l'optimisation de paramètres de circuits quantiques, mais sur la résolution de problèmes d'optimisation combinatoire.
• Indépendance aux Données : La complexité du problème QUBO dépend de la dimension des features et de la précision binaire, et non du nombre d'échantillons d'entraînement, ce qui est un avantage majeur pour les grands jeux de données.
• Faisabilité Hardware : La formulation est compatible avec les anneleurs quantiques actuels (D-Wave), bien que la densité des connexions soit un défi.
• Fondation pour le Futur : En utilisant le recuit simulé, les auteurs établissent une baseline de qualité de solution que le hardware quantique devra égaler ou dépasser. L'approche ouvre la voie à un entraînement "gradient-free" de réseaux de neurones sur du matériel quantique.

Conclusion : L'article démontre qu'il est possible d'entraîner efficacement la partie classifiante d'un CNN via des solveurs d'optimisation quantique (QUBO), en contournant les limitations des circuits variationnels, à condition d'utiliser une précision binaire suffisante (≥10 bits) et de gérer les contraintes de connectivité matérielle.