Towards Real-time Control of a CartPole System on a Quantum Computer

Ce papier présente une investigation de bout en bout d'un agent hybride quantique-classique minimal contrôlant un système CartPole sur un processeur quantique supraconducteur physique, démontrant qu'un modèle à un seul qubit surpasse ses équivalents classiques tout en identifiant des compromis critiques entre les budgets de tir et les fréquences de contrôle, et en réalisant une rétroaction à faible latence par la programmation directe de l'électronique de lecture.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment équilibrer un balai sur sa main. C'est un défi classique en robotique appelé « CartPole ». Habituellement, nous enseignons aux robots en utilisant des ordinateurs classiques (ceux que vous trouvez dans votre ordinateur portable). Mais que se passerait-il si nous essayions de lui apprendre en utilisant un ordinateur quantique ?

Ce document est un bulletin de notes sur cette expérience. Les chercheurs ont posé trois grandes questions :

1. Un petit ordinateur quantique peut-il apprendre à équilibrer le balai plus rapidement qu'un ordinateur normal ?
2. Le robot se perd-il si nous l'entraînons à une vitesse mais lui demandons de travailler à une vitesse différente ?
3. Pouvons-nous rendre l'ordinateur quantique assez rapide pour contrôler réellement le robot en temps réel, ou est-il trop lent ?

Voici la décomposition de leurs découvertes, en utilisant des analogies simples.

1. Le « Petit Cerveau » contre le « Grand Cerveau »

Le Contexte :
Les chercheurs ont construit un « cerveau » de robot hybride. Il est composé principalement d'un ordinateur normal, mais il possède une toute petite partie quantique (un seul « qubit », qui est comme une pièce quantique pouvant être face, pile, ou les deux à la fois). Ils l'ont comparé à un « grand cerveau » entièrement constitué de composants informatiques standards (un réseau de neurones profond).

Le Résultat :
Le petit cerveau quantique était un démon de la vitesse.

• L'Analogie : Imaginez deux étudiants passant un examen. L'étudiant du « Grand Cerveau » doit lire le manuel 430 fois avant d'obtenir un A. L'étudiant du « Petit Cerveau Quantique » n'a besoin de le lire que 160 fois pour obtenir le même A.
• La Contrainte : Cette accélération s'est produite même lorsque le cerveau quantique devait deviner ses réponses en lançant la pièce de nombreuses fois (une méthode appelée « parameter-shift ») plutôt que de connaître la réponse parfaitement. Cela a prouvé qu'un modèle quantique très petit peut être étonnamment efficace pour apprendre.

2. Le Problème du « Dos d'Âne » (Entraînement vs Conduite)

Le Contexte :
Dans le monde réel, un robot doit prendre des décisions très rapidement (par exemple 50 fois par seconde). Cependant, les ordinateurs quantiques sont bruyants et lents. Pour obtenir une réponse claire de la pièce quantique, vous devez souvent la lancer de nombreuses fois (appelées « shots »).

• Le Compromis : Si vous lancez la pièce trop peu de fois, la réponse est bruyante (comme essayer d'entendre un chuchotement dans une tempête). Si vous la lancez trop de fois, cela prend trop de temps, et le robot tombe avant de pouvoir réagir.

L'Expérience :
Les chercheurs ont entraîné le robot à différentes vitesses, puis l'ont testé à différentes vitesses pour voir s'il se perdrait. Ils ont créé une immense « carte thermique » (comme une carte météorologique) montrant comment le robot s'équilibrait sous différentes conditions.

Le Résultat :

• La Vitesse d'« Inférence » Compte le Plus : Peu importait la vitesse à laquelle le robot était entraîné. Ce qui comptait, c'était la vitesse à laquelle il conduisait (inférence). Si le robot avait le droit de prendre des décisions rapidement (fréquence élevée), il s'équilibrait bien. S'il était forcé de conduire lentement, il tombait.
• Plus de Lancers = Plus de Stabilité : Si le robot devait conduire lentement, on pouvait le corriger en lui donnant plus de « shots » (en lançant la pièce plus de fois pour obtenir une réponse claire).
• Le Juste Milieu : Vous devez trouver un équilibre. Le robot doit conduire vite et avoir assez de temps pour obtenir une réponse quantique claire. Le document fournit une carte pour aider les ingénieurs à trouver cet équilibre parfait pour les robots futurs.

3. L'« Embouteillage » contre l'« Autoroute » (Latence)

Le Contexte :
C'est la partie la plus critique. Même si l'ordinateur quantique apprend bien, il est inutile s'il est trop lent pour réagir en temps réel.

• Le Problème : Normalement, lorsque vous utilisez un ordinateur quantique dans le cloud, vous devez envoyer votre demande à travers beaucoup de « bureaucratie » (couches logicielles, compilateurs, délais Internet). C'est comme essayer de conduire une voiture de course dans une ville remplie de panneaux stop, de feux tricolores et de zones de travaux.
• L'Ancienne Méthode : En utilisant le logiciel standard, le robot ne pouvait prendre une décision qu'environ 0,14 fois par seconde. Il était essentiellement endormi.

La Percée :
Les chercheurs ont décidé de contourner la « bureaucratie ». Ils ont programmé directement le matériel de l'ordinateur quantique, comme un pilote de course prenant un raccourci sur une autoroute privée.

• Le Résultat : En éliminant les intermédiaires, ils ont accéléré le robot de 40 fois. Le robot pouvait maintenant prendre des décisions 6,2 fois par seconde.
• La Limite : Bien que 6,2 fois par seconde représente une énorme amélioration, ce n'est toujours pas assez rapide pour un balai qui doit être équilibré 50 fois par seconde. Cependant, cela prouve que l'« embouteillage » était le principal problème, et non la physique quantique elle-même.

La Conclusion

Ce document est une « preuve de concept » qui déclare :

1. Oui, un petit cerveau quantique peut apprendre une tâche d'équilibrage plus rapidement qu'un grand cerveau classique.
2. Oui, nous pouvons cartographier exactement la vitesse et la précision dont l'ordinateur quantique a besoin pour empêcher le robot de tomber.
3. Oui, nous pouvons rendre les ordinateurs quantiques assez rapides pour être utiles au contrôle, mais seulement si nous cessons d'utiliser le logiciel standard lent et si nous parlons directement au matériel.

Les chercheurs n'ont pas encore construit de voiture autonome ni de robot médical. Ils ont simplement prouvé que le moteur (l'apprentissage quantique) fonctionne, et ils ont déterminé comment éliminer les embouteillages (la latence) afin qu'il puisse éventuellement rouler plus vite.

Résumé technique

Résumé Technique : Vers le Contrôle en Temps Réel d'un Système CartPole sur un Ordinateur Quantique

Énoncé du Problème
L'application de l'Apprentissage par Renforcement Quantique (QRL) aux systèmes de contrôle en temps réel fait face à des obstacles majeurs concernant la latence matérielle, la sensibilité au bruit et la convergence de l'apprentissage. Bien que la recherche théorique sur l'apprentissage automatique quantique (QML) suggère des avantages potentiels en termes d'efficacité d'échantillonnage et de représentation en haute dimension, le déploiement pratique sur des dispositifs quantiques à échelle intermédiaire bruyants (NISQ) reste limité. Les études existantes s'appuient souvent sur des simulations idéalisées ou ne parviennent pas à résoudre les goulots d'étranglement critiques de latence inhérents à l'exécution quantique standard basée sur le cloud, ce qui les rend inadaptées aux tâches de contrôle en boucle fermée sensibles à la latence. Le défi spécifique abordé dans ce travail est l'écart entre les évaluations par simulation uniquement et l'exécution d'un agent hybride quantique-classique sur une unité de traitement quantique (QPU) supraconductrice physique sous des contraintes de temps réel.

Méthodologie
Les auteurs présentent une investigation de bout en bout d'un agent hybride quantique-classique minimal appliqué au benchmark CartPole.

• Environnement et Encodage de l'État : La tâche consiste à stabiliser un pendule inversé sur un chariot. L'agent utilise un vecteur de caractéristiques réduit à trois dimensions (vitesse du chariot, angle du pôle, vitesse angulaire du pôle) plutôt que l'état complet à quatre dimensions, motivé par les contraintes d'une architecture à un seul qubit.
• Architecture de l'Agent :
  • Modèle Hybride : L'agent emploie un circuit quantique variationnel (VQC) à un seul qubit connecté à des couches entièrement connectées classiques. Le VQC utilise une porte Hadamard suivie d'une séquence de trois rotations ($R_z-R_y-R_z$) pour encoder l'état sur la sphère de Bloch, et une rotation $R_x$ entraînable. La valeur d'attente d'une mesure de Pauli-Z est injectée dans des réseaux classiques d'acteur et de critique (chacun avec 32 neurones cachés).
  • Référence Classique : Un réseau d'acteur-critique entièrement classique avec des structures de couches cachées identiques (128 et 256 unités) sert de référence.
  • Entraînement : Les deux modèles utilisent la méthode Acteur-Critique avec des gradients de politique. L'agent hybride est entraîné en utilisant la règle de décalage de paramètre pour l'estimation du gradient sur des backends basés sur des tirs, ainsi que des gradients analytiques pour comparaison.
• Catégories Expérimentales :
  1. Benchmark Sans Bruit : Comparaison des taux de convergence entre les agents classiques et hybrides en utilisant le BasicSimulator de Qiskit.
  2. Compatibilité Entraînement-Inférence : Une étude systématique cartographiant le compromis entre le taux de boucle de contrôle (fréquence d'inférence) et le budget de tirs de mesure. Des agents entraînés à diverses fréquences (20–100 Hz) ont été évalués sur différentes fréquences d'inférence et nombres de tirs (128–1024) sur un backend émulant le bruit (FakeAdonis).
  3. Exécution Matérielle à Faible Latence : Déploiement d'une politique entraînée sur le VTT Q5 (une QPU supraconductrice à 5 qubits). Crucialement, les auteurs ont contourné la pile logicielle Qiskit/IQM de haut niveau standard. Au lieu de cela, ils ont programmé directement l'électronique de lecture des instruments Zurich (HDAWG et UHFQA) via des tables de commandes (CT), éliminant la surcharge de recompilation de code et de téléversement d'ondes pour chaque changement de paramètre.

Contributions Clés

1. Efficacité d'Échantillonnage des Agents Hybrides Minimaux : L'étude démontre qu'un agent hybride à un seul qubit peut résoudre l'environnement CartPole en un nombre d'épisodes substantiellement inférieur (environ 162 épisodes) qu'un réseau d'acteur-critique classique comparable (environ 429 épisodes), même lorsqu'il est entraîné en utilisant la règle de décalage de paramètre avec des évaluations à nombre fini de tirs.
2. Analyse du Compromis au Moment de l'Inférence : Les auteurs fournissent des matrices de performance quantifiant la relation entre la fréquence de contrôle d'inférence et le nombre de tirs. Les résultats indiquent que des fréquences d'inférence plus élevées améliorent systématiquement la stabilité de l'équilibrage. De plus, l'augmentation du budget de tirs abaisse la fréquence d'inférence minimale requise pour atteindre un équilibrage quasi-maximal, soulignant la nécessité de trouver un juste milieu optimal entre ces deux contraintes.
3. Réduction de Latence par Contrôle de Bas Niveau : En contournant la pile logicielle standard et en utilisant la programmation directe de tables de commandes sur l'électronique de contrôle, les auteurs ont obtenu une amélioration d'un ordre de grandeur de la vitesse d'exécution. Sur le processeur VTT Q5, le taux d'itération est passé d'environ 0,14 Hz (pile standard) à plus de 6,2 Hz (chemin de bas niveau) pour 128 tirs, représentant une accélération de plus de 40 fois.

Résultats

• Dynamiques d'Apprentissage : Dans les simulations sans bruit, l'agent hybride a convergé significativement plus vite que la référence classique. L'utilisation de gradients de décalage de paramètre a entraîné une convergence légèrement plus lente que les gradients analytiques mais a maintenu un avantage clair par rapport au modèle classique.
• Contraintes de Déploiement : L'étude de compatibilité a révélé que les contraintes au moment de l'inférence (fréquence et nombre de tirs) sont les déterminants principaux de la stabilité, plutôt que la fréquence d'entraînement. Un décalage entre les fréquences d'entraînement et d'inférence a eu un effet secondaire par rapport au nombre de tirs et à la fréquence d'inférence.
• Performance Matérielle : Sur le VTT Q5, le chemin d'exécution de bas niveau a permis des taux d'itération de 6,23 Hz (128 tirs) jusqu'à 2,71 Hz (1024 tirs). Bien que les scores absolus d'épisodes sur le matériel aient été conservateurs en raison de l'absence d'atténuation des erreurs de lecture et de conditions d'inférence non idéales, le système a démontré avec succès un contrôle en boucle fermée. Les résultats ont montré qu'avec un budget de tirs suffisant (par exemple, 1024 tirs), le système pouvait atteindre des scores d'équilibrage quasi parfaits (500) malgré le bruit matériel.

Signification et Revendications
L'article revendique fournir une étape fondamentale vers la réalisation d'une boucle de rétroaction de contrôle en temps réel sur du matériel quantique. Il ne revendique pas une accélération quantique théorique au sens de la théorie de la complexité, étant donné la nature de basse dimension de CartPole. Au lieu de cela, la signification réside dans :

• Quantification des Limites : Le travail quantifie les limites actuelles du contrôle assisté par le quantique, spécifiquement les compromis entre le nombre de tirs, la fréquence de contrôle et la latence.
• Feuille de Route Pratique : Il trace une voie pratique pour les démonstrations en temps réel en démontrant que le contournement des piles logicielles standard est nécessaire pour atteindre le débit de dizaines de hertz requis pour une rétroaction en temps réel.
• Faisabilité des Modèles Minimaux : Il valide que les modèles minimaux à un seul qubit peuvent agir comme des agents d'apprentissage efficaces dans des boucles d'apprentissage par renforcement lorsqu'ils sont couplés à un encodage approprié et à un post-traitement classique léger, même sous des contraintes de bruit réalistes et de nombre fini de tirs.

Les auteurs concluent que si les taux d'itération actuels du matériel NISQ (multi-hertz) n'ont pas encore pleinement atteint le régime de dizaines de hertz requis pour un contrôle en temps réel robuste, le pipeline à faible latence démontré fournit un début viable pour atteindre un tel débit dans les itérations futures.