Improving Quantum Recurrent Neural Networks with Amplitude Encoding

Ce document améliore les réseaux de neurones récurrents quantiques (QRNN) en intégrant EnQode pour l'encodage d'amplitude approximatif, en introduisant une technique de prétraitement qui augmente les entrées avec des magnitudes pré-normalisées pour améliorer la généralisation, et en proposant une nouvelle architecture de circuit qui réduit considérablement la profondeur tout en maintenant l'équivalence mathématique.

L'essentiel

Imaginez que vous essayez d'apprendre à un robot à prédire le marché boursier. Vous possédez un cerveau de robot très puissant et futuriste appelé Réseau de Neurones Récurrents Quantiques (QRNN). Ce cerveau est spécial car il peut se souvenir des événements passés (comme un humain se souvenant de la météo d'hier pour prédire celle d'aujourd'hui) et traiter l'information en utilisant les lois étranges de la physique quantique.

Cependant, construire ce cerveau de robot est délicat. Le document de Jack Morgan et son équipe est comme un « Manuel d'utilisation pour les mises à jour ». Ils ont trouvé trois façons spécifiques de rendre ce cerveau quantique plus intelligent, plus rapide et moins sujet aux pannes.

Voici une décomposition simple de ces trois mises à niveau :

1. Le problème du « Bouton de Volume » (Prétraitement)

Le Problème :
Pour injecter des données dans un ordinateur quantique, vous devez transformer les nombres en « ondes quantiques ». La méthode standard consiste à normaliser les données, ce qui revient à tourner tous les boutons de volume d'une chaîne stéréo au même niveau exact pour qu'ils rentrent dans la graduation.

• L'Analogie : Imaginez que vous avez deux chansons. L'une est jouée à voix basse et l'autre est un rugissement. Si vous les normalisez, l'ordinateur quantique les entendra comme étant identiques car il ne regarde que la forme du son, pas son « volume » (sa magnitude). Il perd l'information sur le « volume ».
• La Solution : Les auteurs suggèrent d'ajouter une caractéristique de « Bouton de Volume » aux données avant l'injection. Ils prennent l'intensité d'origine des données, la compriment en un nouveau nombre, et l'injectent comme un ingrédient supplémentaire.
• Le Résultat : Désormais, le cerveau quantique peut faire la différence entre un murmure et un rugissement. Ils ont découvert qu'utiliser une méthode spécifique pour mettre à l'échelle ce « volume » (qu'ils appellent MaxMin) aidait le robot à faire de meilleures prédictions sur les données financières.

2. Le dilemme du « Parfait vs Assez Bon » (EnQode)

Le Problème :
Créer l'onde quantique parfaite pour un ensemble de données spécifique est incroyablement difficile. C'est comme essayer de fabriquer un costume sur mesure parfait pour chaque personne qui entre dans un magasin. Cela prend tellement de temps et d'efforts (profondeur de circuit) que le robot se fatigue et fait des erreurs (décohérence) avant d'avoir terminé.

• L'Analogie : Au lieu de fabriquer un costume parfaitement sur mesure pour chaque personne, et si vous aviez quelques « tailles standards » (centroïdes) qui iraient assez bien à la plupart des gens ?
• La Solution : Ils ont utilisé un outil appelé EnQode. Au lieu de construire un état quantique parfait à partir de zéro à chaque fois, EnQode trouve la « taille standard » la plus proche et l'ajuste légèrement. C'est une approximation.
• Le Résultat : Bien que le costume ne soit pas parfaitement ajusté, il est assez bon (environ 94 % de précision). Le grand avantage est qu'il prend une fraction du temps nécessaire. Sur un véritable ordinateur quantique, être rapide et simple est préférable à être parfait mais lent, car l'ordinateur cesse de fonctionner si vous prenez trop de temps.

3. La mise à niveau de la « Chaîne de Montage » (Structure du Circuit)

Le Problème :
Dans l'ancien design, le robot devait tout faire étape par étape. Il devait finir de préparer les données pour « Aujourd'hui », puis finir de les traiter, puis préparer « Demain », puis traiter cela. C'était comme une route à voie unique où les embouteillages provoquaient des retards et des erreurs.

• L'Analogie : Imaginez une usine. L'ancienne méthode était : Construire le châssis, le peindre, le laisser sécher, puis construire le châssis suivant. La nouvelle méthode est une chaîne de montage à deux voies. Pendant que les ouvriers peignent le châssis d'« Aujourd'hui », une autre équipe est déjà en train de construire le châssis de « Demain ».
• La Solution : Ils ont introduit des Registres de Caractéristiques Alternés. Ils utilisent deux « espaces de travail » (registres) différents qui se relaient. Pendant que l'un est en train d'être rempli de nouvelles données, l'autre est en cours de traitement.
• Le Résultat : Cela crée une « profondeur de circuit » (longueur de la chaîne de montage) beaucoup plus courte. Cela rend le robot plus rapide et moins susceptible de perdre sa mémoire (décohérence) avant d'avoir terminé sa tâche.

L'essentiel à retenir

Les auteurs ont testé ces trois mises à niveau sur des données financières (prédiction des rendements boursiers). Ils ont constaté que :

1. L'ajout de la caractéristique de « volume » a aidé le modèle à mieux comprendre les données.
2. L'utilisation de l'approximation « assez bon » (EnQode) a rendu le système assez rapide pour fonctionner réellement sur du matériel réel sans perdre trop de précision.
3. Le nouveau design de « chaîne de montage » a rendu l'ensemble du processus plus court et plus efficace.

En combinant ces trois astuces, ils ont créé un nouveau guide de « Bonnes Pratiques » pour toute personne tentant de construire un Réseau de Neurones Récurrents Quantiques, le rendant plus pratique pour les ordinateurs quantiques dont nous disposons aujourd'hui.

Résumé technique

Résumé Technique : Amélioration des Réseaux de Neurones Récurrents Quantiques par l'Encodage d'Amplitude

Énoncé du Problème

Les réseaux de neurones récurrents (RNN) sont la norme pour modéliser les dépendances temporelles, pourtant leurs contreparties quantiques (QRNN) font face à des obstacles majeurs concernant la faisabilité matérielle et la généralisation. Bien que les réseaux de neurones récurrents quantiques (QRNN) utilisant des circuits quantiques paramétrés (PQC) offrent des avantages potentiels en termes d'expressivité et d'efficacité énergétique, les implémentations existantes reposent souvent sur l'encodage d'angle, qui évolue linéairement avec le nombre de caractéristiques ($O(N)$ qubits). L'encodage d'amplitude offre une efficacité de qubit supérieure ($O(\log N)$) et a démontré une précision plus élevée dans d'autres tâches d'apprentissage automatique quantique, mais il reste sous-exploré dans les QRNN entièrement quantiques en raison de deux contraintes principales :

1. Complexité de la Préparation d'État : La préparation d'état quantique (QSP) exacte nécessite des circuits d'une profondeur exponentielle, ce qui les rend irréalisables pour les dispositifs de l'ère NISQ (Noisy Intermediate-Scale Quantum).
2. Perte d'Information : L'encodage d'amplitude standard nécessite une normalisation des entrées, ce qui rejette l'amplitude globale (la norme) des vecteurs de caractéristiques. Cette perte d'information sur la magnitude peut fausser la modélisation de séquences, car des vecteurs ayant des magnitudes différentes mais des directions identiques sont encodés de manière identique.

De plus, l'exécution des QRNN sur un matériel bruité introduit des erreurs de cohérence, particulièrement dans le registre de l'état latent, ce qui dégrade les performances.

Méthodologie

Les auteurs proposent trois modifications spécifiques de l'architecture canonique des QRNN pour remédier à ces limitations. L'étude utilise deux jeux de données financiers (Yahoo Finance et Oxford-Man Institute) pour prévoir les rendements quotidiens du S&P 500, en employant des séquences de 8 jours. Les modèles sont simulés sur l'AerSimulator de Qiskit (à la fois sans bruit et avec le modèle de bruit IBM Torino Heron r1).

1. Augmentation de Caractéristique d'Amplitude Pré-normalisée

Pour atténuer la perte d'information de magnitude inhérente à l'encodage d'amplitude, les auteurs introduisent une étape de prétraitement. Avant de normaliser le vecteur de caractéristiques pour l'encodage quantique, ils ajoutent une nouvelle caractéristique représentant la norme $\ell_2$ (amplitude pré-normalisée) du vecteur original.

• Implémentation : Les $N$ caractéristiques originales sont mises à l'échelle via MinMax. La nouvelle caractéristique d'amplitude est ensuite mise à l'échelle en utilisant soit un scaleur MinMax, soit un scaleur MaxMin avant que l'ensemble du vecteur de dimension $N+1$ ne soit normalisé.
• Hypothèse : La mise à l'échelle MaxMin de la caractéristique d'amplitude préserve mieux les relations relatives entre les échantillons que la mise à l'échelle MinMax, permettant au modèle de distinguer des vecteurs de magnitudes différentes.

2. Encodage d'Amplitude Approximatif EnQode

Pour surmonter la profondeur exponentielle de la QSP exacte, l'article intègre EnQode, une approche d'apprentissage automatique classique pour la préparation d'état approximative.

• Mécanisme : EnQode utilise le partitionnement en k-moyennes (k-means clustering) sur l'ensemble de données normalisé pour identifier des centroïdes. Un PQC Ansatz est entraîné classiquement (en utilisant une représentation symbolique et la rétropropagation) pour préparer l'état quantique correspondant à chaque centroïde.
• Application : Lors de l'inférence, le centroïde le plus proche d'un nouvel échantillon est identifié, et les paramètres pré-entraînés pour ce centroïde sont utilisés pour générer un état encodé par amplitude approximatif $|\tilde{x}_t\rangle$. Cela permet une mise à l'échelle logarithmique de la profondeur du circuit et du nombre de qubits.

3. Circuit de Registre de Carte de Caractéristiques Alterné

Pour réduire la profondeur du circuit et les erreurs de décohérence, les auteurs proposent une nouvelle disposition de circuit utilisant des registres de cartes de caractéristiques (F) alternés.

• Mécanisme : Au lieu de réutiliser un seul registre F (ce qui nécessite de réinitialiser et de réencoder entre les pas de temps tout en préservant l'état caché), la nouvelle architecture utilise deux registres F. Tandis que l'Ansatz PQC traite l'état du pas de temps $t-1$ dans un registre, le prochain état d'entrée $|x_t\rangle$ est préparé dans le second registre.
• Équivalence : Contra contrairement au "Staggered QRNN" (SQRNN) qui rejette l'information pour réinitialiser les qubits, cette structure alternée est mathématiquement équivalente au QRNN canonique sur un processeur idéal, mais réduit considérablement la profondeur requise du circuit.

Résultats Clés

Comparaison de Performance (Modèles de Base)

• Amplitude vs Encodage d'Angle : Le QRNN d'Amplitude (sans modifications) a atteint une erreur quadratique moyenne (MSE) de test plus faible de 0,009 par rapport au QRNN d'Angle (0,015) et au RNN classique (0,012), malgré un nombre de paramètres entraînables inférieur (28 contre 44). Cela confirme que l'encodage d'amplitude offre une meilleure généralisation pour cette tâche.

Impact du Prétraitement

• Caractéristique d'Amplitude : L'ajout de la caractéristique d'amplitude pré-normalisée a amélioré les performances.
  • Mise à l'échelle MinMax : A convergé plus rapidement sur les données d'entraînement mais a montré une plus faible généralisation.
  • Mise à l'échelle MaxMin : A obtenu la meilleure généralisation, réduisant le MSE de test à 0,0056 (une amélioration de 36 % par rapport au modèle de base de l'Amplitude QRNN).

Impact de l'Encodage Approximatif (EnQode)

• Fidélité vs Profondeur : EnQode a atteint une fidélité de préparation d'état moyenne de 0,94.
• Simulation sans Bruit : L'utilisation d'EnQode a augmenté la perte de test de 40 % par rapport à la QSP exacte en raison des erreurs de préparation d'état.
• Simulation avec Bruit : Lors de la simulation du modèle de bruit IBM Torino, le modèle EnQode a surpassé le modèle de QSP exacte. La réduction de la profondeur du circuit (et la réduction consécutive des erreurs de décohérence) a compensé la pénalité de l'infidélité de préparation d'état de 6 %.

Impact de la Structure du Circuit

• Échelle de Profondeur : L'architecture de registre F alterné a réduit la profondeur du circuit par rapport à l'architecture standard.
• Scalabilité : Bien que la différence de profondeur soit négligeable pour de petits ensembles de caractéristiques (4-8 caractéristiques), l'article démontre que la profondeur de la structure alternée évolue plus favorablement à mesure que le nombre de caractéristiques augmente, particulièrement sur des processeurs à connectivité limitée où des portes de permutation (swap gates) sont nécessaires.

Signification et Revendications

L'article établit un nouvel ensemble de bonnes pratiques pour l'implémentation des QRNN sur le matériel de l'ère NISQ. Les auteurs affirment que :

1. Généralisation : L'augmentation des entrées encodées par amplitude avec des caractéristiques d'amplitude pré-normalisées (spécifiquement en utilisant la mise à l'échelle MaxMin) améliore considérablement la généralisation du modèle en préservant l'information de magnitude.
2. Faisabilité : L'encodage d'amplitude approximatif EnQode est une stratégie viable pour les QRNN. Bien qu'il introduise une erreur de préparation d'état, la réduction de la profondeur du circuit qui en résulte rend l'approche supérieure à l'encodage exact dans les environnements bruités.
3. Efficacité : La structure de circuit à registre F alterné fournit une implémentation mathématiquement équivalente mais plus peu profonde des QRNN, répondant directement aux contraintes de cohérence.

Les auteurs concluent que ces techniques ne sont pas limitées aux QRNN mais sont applicables à d'autres cadres d'apprentissage séquentiel quantique, tels que le Calcul de Réserve Quantique (QRC), les Machines d'Apprentissage Extrême Quantiques (QELM) et les Modèles de Markov Cachés Quantiques (QHMM), qui partagent des structures similaires de registres latents et d'encodage de données.