Uncovering Latent Structures in Robust Pulse Sequences: A Model-Based Reinforcement Learning Approach for Adaptable Quantum Control

Résumé Technique : Découverte de structures latentes dans les séquences d'impulsions robustes via l'apprentissage par renforcement fondé sur un modèle

Énoncé du problème
Le contrôle adaptatif en temps réel des systèmes quantiques nécessite la génération rapide d'impulsions de contrôle robustes et de haute fidélité à travers des plages continues de conditions de fonctionnement. Les algorithmes d'optimisation standards, tels que le Gradient Ascent Pulse Engineering (GRAPE), résolvent chaque instance de contrôle de manière indépendante. Cette approche « sans mémoire » rejette l'information entre les exécutions, nécessissant une réinitialisation et une réoptimisation coûteuses chaque fois que les paramètres du système (par exemple, le désaccord de fréquence, les inhomogénéités d'amplitude) changent. De plus, bien que l'apprentissage supervisé offre de la rapidité, il est limité par la qualité des données d'entraînement pré-calculées et ne peut surpasser les solutions qu'il a été entraîné à reproduire. L'apprentissage par renforcement (RL) sans modèle évite les dépendances aux données mais souffre d'une inefficacité d'échantillonnage et d'un manque de robustesse physique dû à son ignorance de l'Hamiltonien du système.

Méthodologie
Les auteurs proposent un cadre d'apprentissage par renforcement (RL) fondé sur un modèle qui intègre directement l'Hamiltonien du système physique dans le pipeline d'entraînement. Cette approche utilise un réseau de neurones unique pour générer des portes quantiques robustes à travers toute une famille de configurations sans données d'entraînement pré-calculées.

• Architecture et entrées : Un réseau de neurones entièrement connecté prend quatre entrées définissant une configuration de porte : l'angle de rotation ($\beta$), la durée de l'impulsion ($T_P$), la plage de désaccord cible ($\Delta\delta$), et la plage d'inhomogénéité d'amplitude cible ($\Delta s$). Le réseau produit un profil de phase dépendant du temps $\phi(t)$ pour une amplitude nominale constante.
• Boucle d'entraînement : Le réseau génère une impulsion de contrôle, qui est appliquée à l'Hamiltonien du système au sein d'une simulation de physique différentiable. La simulation calcule le propagateur $U(T, \xi_m)$ pour un ensemble de paramètres du système $\xi_m$ échantillonnés à partir de la grille de robustesse. L'infidélité $J$ est calculée par rapport à une unitaire cible $U_T$ et est rétropropagée à travers l'ensemble du graphe de calcul (de l'infidélité aux poids du réseau) en utilisant la différenciation automatique (AD).
• Robustesse et lissage : Pour garantir la viabilité expérimentale, la fonction de perte moyenne l'infidélité sur une grille de variations de désaccord et d'amplitude. Un filtre de moyenne mobile exponentielle (EMA) bidirectionnel est appliqué à la séquence de phase de sortie pour supprimer les oscillations de haute fréquence tout en préservant la structure temporelle et la différentiabilité.
• Planification de la perte (Loss Scheduling) : Pour améliorer la convergence vers des solutions de haute fidélité, la fonction de perte est repondérée lors de l'étape de réglage fin en utilisant $J^\alpha$ (avec $\alpha < 1$), augmentant ainsi le poids du gradient pour les configurations ayant déjà atteint une haute fidélité.
• Modèle du système : La méthode est démontrée sur un système à spin unique (système à deux niveaux) piloté par un champ externe, régi par un Hamiltonien incluant le dérive (drift), les champs de contrôle, le désaccord de fréquence et les erreurs d'échelle d'amplitude.

Contributions clés

1. Politique de contrôle généralisable : Le cadre entraîne un réseau unique pour mapper une famille continue de configurations de portes vers des impulsions optimisées. Une fois entraîné, le réseau génère des impulses de haute fidélité pour toute combinaison de paramètres dans les limites de l'entraînement en quelques millisecondes, éliminant ainsi le besoin de réoptimisation.
2. Découverte de structures latentes : Les auteurs démontrent que le réseau de neurones découvre systématiquement des profils de phase structurés à travers l'espace des paramètres. Ces structures correspondent à des familles de solutions spécifiques dans le paysage de contrôle qui sont souvent obscurcies dans les optimisations GRAPE standards en raison de l'initialisation stochastique et des exécutions d'optimisation indépendantes.
3. Symétrie et continuité : Le réseau révèle que les impulsions optimales présentent des variations structurelles lisses et continues (par exemple, symétrie ou antisymétrie autour du milieu de l'impulsion) à travers les durées et les angles de rotation. Cette continuité permet une interpolation fluide entre les paramètres, une propriété que GRAPE ne possède pas par conception.
4. Efficacité : Le réseau entraîné couvre l'espace complet des paramètres (angle de rotation, durée, désaccord, inhomogénéité) en une seule passe directe (forward pass). La génération d'une couverture équivalente avec un GRAPE multi-germes (multi-seed) est décrite comme étant de complexité intraitable à l'échelle évaluée.

Résultats

• Comparaison de performance : Comparé à un GRAPE multi-germes (utilisant 1 et 20 germes) sur 100 000 configurations de portes, le réseau de neurones atteint des fidélités comparables à celles de GRAPE. Bien que le GRape multi-germes dépasse occasionnellement le réseau dans le régime d'infidélité la plus basse ($J < 10^{-4}$) en explorant davantage de minima locaux, le réseau surpasse systématiquement le GRAPE à germe unique et reste à moins d'un ordre de grandeur des meilleurs résultats multi-germes.
• Consistance structurelle : Lorsqu'un GRAPE est initialisé en utilisant la sortie du réseau de neurones, il affine la solution au sein de la même famille structurée, confirmant que le réseau converge vers de véritables minima dans le paysage de contrôle. Les empreintes de robustesse (infidélité vs désaccord) des impulsions générées par le réseau, des impulsions GRAPE, et des impulsions GRAPE initialisées par le réseau sont presque identiques, malgré des différences visibles dans les profils de phase bruts.
• Généralisation : Le réseau parvient à interpoler vers des combinaisons de paramètres non vues (par exemple, des durées d'impulsion et des angles de rotation continus) avec des paysages de fidélité lisses, validant sa capacité à généraliser au-delà de la grille d'entraînement discrète.
• Vitesse : Le réseau génère des impulsions en millisecondes, tandis que le GRAPE multi-germes nécessite des heures de calcul pour une couverture équivalente.

Signification et affirmations
L'article affirme que cette approche de RL fondée sur un modèle offre un paradigme fondamentalement différent pour l'optimisation du contrôle quantique. En intégrant la physique directement dans le processus d'apprentissage, la méthode atteint :

• Adaptabilité : Tout paramètre entrant dans l'Hamiltonien peut servir d'entrée au réseau, rendant le cadre directement transférable à différents systèmes et contextes de contrôle sans changer la procédure d'entraînement.
• Aperçu des paysages de contrôle : L'approche révèle des « structures latentes » dans le paysage de contrôle — spécifiquement, des familles de phases structurées qui sont cohérentes à travers les paramètres. Cela suggère que le paysage de contrôle contient des familles de solutions distinctes et robustes que les méthodes de gradient locales (comme le GRAPE standard) peuvent manquer ou entre lesquelles elles peuvent sauter de manière stochastique.
• Utilité pratique : La méthode permet la génération sur le vif d'impulsions adaptées individuellement pour des variations matérielles spécifiques, une exigence critique pour les protocoles expérimentaux avancés comme l'IRM à transmission parallèle et les calibrations de portes continues.

Les auteurs maintiennent une position modeste, notant que bien que le réseau soit hautement efficace et généralisable, il ne surpasse pas systématiquement le GRAPE multi-germes exhaustif en termes d'infidélité minimale absolue. Cependant, il constitue une alternative pratique et de haute fidélité qui équilibre le coût computationnel avec la performance et offre des perspectives uniques sur la topologie du paysage de contrôle quantique.