Résumé Technique : Acquisition Active de Noyaux Quantiques pour la Régression par Processus Gaussien

Énoncé du Problème

Les méthodes de noyaux quantiques offrent un accès à des espaces de caractéristiques conjecturés comme étant classiquement insolubles, mais leur déploiement pratique sur le matériel actuel est contraint par un « budget de tir » (shot budget) fini. Dans l'estimation de noyaux quantiques, chaque entrée $K_{ij}$ de la matrice de Gram est une espérance de Bernoulli estimée via un nombre fini d'exécutions de circuits (tirages/shots). Le bruit d'estimation résultant suit l'échelle $\text{Var}(\hat{K}_{ij}) = K_{ij}(1-K_{ij})/s_{ij}$.

Bien que des travaux récents aient démontré que l'allocation non uniforme de tirages basée sur la sensibilité de la tâche améliore les performances dans la classification par noyau quantique (ex: KRR, SVM), il reste incertain si cette approche se transpose à la régression par processus gaussien (GP). La régression GP présente un défi distinct : contrairement à la classification, qui repose sur le signe du prédicteur (robuste à l'échelle), la régression GP dépend du spectre complet de l'inverse de la matrice de noyau $(K + \sigma_n^2 I)^{-1}$ pour les moyennes prédictives, les variances et les vraisemblances marginales. Par conséquent, le bruit du noyau est amplifié par un facteur proportionnel au nombre de condition $1/\sigma_n^4$. Une allocation naïve pilotée par la sensibilité, qui fonctionne pour la classification, risque un échec catastrophique en régression GP si l'estimation initiale du noyau (phase de "warm-up") est trop bruitée pour identifier de manière fiable les paires sensibles.

Méthodologie : AQKA-GP

Les auteurs proposent AQKA-GP (Acquisition Active de Noyaux Quantiques pour la Régression par Processus Gaussien), une extension du cadre d'allocation de variance minimale de type Neyman à la régression GP. La méthode opère en trois étapes :

1. Couverture à Seuil Haut (High-Floor Coverage) : Pour éviter une concentration catastrophique sur des estimations de sensibilité bruitées, l'algorithme réserve une fraction $\rho$ (fixée à 0,5) du budget total $B$ pour un échantillonnage uniforme sur toutes les paires de noyaux. Cela garantit que chaque entrée reçoit un nombre minimal de tirages, empêchant la matrice de Gram de contenir des entrées non observées qui seraient par défaut à la moyenne a priori (0,5), ce qui déstabiliserait l'inverse de la matrice.
2. Allocation Pondérée par la Sensibilité : Le budget restant est alloué de manière non uniforme en fonction de sensibilités dérivées par paire. Les auteurs dérivent trois sensibilités en forme close, chacune correspondant à un objectif en aval différent :
   • Couplage Prédictif ($|\alpha_i \alpha_j|$) : Dérivé pour minimiser l'erreur quadratique moyenne (RMSE) de test. Il s'agit de la spécialisation de rang 1 du poids exact de Neyman sous l'objectif de l'erreur quadratique moyenne prédictive, où $\alpha = (K + \sigma_n^2 I)^{-1}y$.
   • Gradient de Vraisemblance Marginale : Dérivé pour l'apprentissage des hyperparamètres. La sensibilité est la dérivée partielle exacte de la log-vraisemblance marginale négative par rapport à $K_{ij}$, donnée par $|\frac{1}{2}[A^{-1}]_{ij} - \frac{1}{2}\alpha_i \alpha_j|$.
   • Résidu Leave-One-Out (LOO) : Dérivé pour la calibration prédictive. La sensibilité met l'accent sur les paires où un point terminal présente un grand résidu LOO et est étroitement couplé à ses voisins via $A^{-1}$.
3. Jitter (Tremblement) au Moment de l'Inférence : Pour gérer le mauvais conditionnement du postérieur lorsque $\hat{K}$ contient du bruit de tirage, la méthode gonfle le bruit d'observation $\sigma_n^2$ par un terme de jitter calibré $j \propto \sqrt{n} \cdot \sqrt{\hat{K}(1-\hat{K})/s}$. Cette mise à l'échelle est motivée par les bornes de concentration de matrices de type Wigner pour garantir que le postérieur reste stable.

Le cadre est également étendu aux Processus Gaussiens à Points d'Induction Sparses (VFE, SVGP, FITC) et aux Processus Gaussiens Profonds (Deep GPs), où les sensibilités sont adaptées aux structures de couplage de faible rang spécifiques de ces approximations.

Contributions Clés

1. Dérivation de Sensibilités Spécifiques aux GP : L'article fournit trois sensibilités par paire en forme close pour la régression GP, allant au-delà des gradients spécifiques à la classification utilisés dans les travaux antérieurs. Ces sensibilités capturent comment l'incertitude du noyau se propage aux moyennes, variances et vraisemblances prédictives.
2. Identification du Mode de Défaillance "High-Floor" : Les auteurs identifient que la régression GP est exceptionnellement sensible au bruit de "warm-up" lors de l'estimation de la sensibilité. Ils prouvent qu'un seuil élevé de couverture uniforme ($\rho \approx 0,5$) est nécessaire pour restaurer la robustesse, contrastant avec les seuils plus bas ($\rho \le 0,2$) suffisants pour la classification.
3. Justification Théorique : L'article établit que les sensibilités proposées ne sont pas des substituts arbitraires mais sont soit des dérivées exactes, soit des spécialisations de rang 1 des poids de Neyman exacts pour des objectifs d'estimation spécifiques (MSE prédictive, vraisemblance marginale, LOO).
4. Validation Empirique : Des expériences approfondies démontrent que l'allocateur offre des améliorations constantes dans le régime de budget modéré.

Résultats Expérimentaux

Les auteurs ont évalué AQKA-GP sur quatre benchmarks de régression UCI et deux contextes synthétiques (GP à densité de prior dense et données à parcimonie plantée) avec $n_{tr}=200$.

• Gains de Performance : Dans le régime de budget modéré (50–250 tirages par paire), AQKA-GP atteint une réduction de 10 à 21 % de la RMSE de test par rapport à l'allocation uniforme. Les gains sont plus prononcés sur les données denses, où la décroissance spectrale crée une hétérogénéité prédictive même avec des noyaux homogènes.
• Robustesse : La stratégie de seuil élevé ($\rho=0,5$) élimine avec succès la défaillance catastrophique observée à bas budget lorsque $\rho$ est faible.
• Tâches Aval : Les gains se transfèrent à :
  • Quadrature Bayésienne : Réduction de 37 % de l'erreur d'intégration.
  • Régression Hétéroscédastique : Amélioration de la RMSE de 19 à 29 %.
  • Apprentissage d'Hyperparamètres : Réduction de 65 % de l'écart par rapport à la largeur de bande réelle du noyau.
  • Cokriging Multi-sorties : Amélioration de 4 %.
• Noyaux Quantiques :
  • Sur de véritables noyaux quantiques ZZ et Pauli-Z avec des données de nature quantique, la méthode produit des améliorations de la RMSE de 13 à 15 % à bas budget ($p < 0,05$).
  • Sur les caractéristiques UCI intégrées dans des noyaux ZZ, le gain disparaît. Les auteurs attribuent cela au « régime de concentration exponentielle », où les valeurs du noyau se regroupent autour d'une moyenne fixe, éliminant l'hétérogénéité nécessaire pour que l'allocation de tirages puisse l'exploiter.
• GP Sparses : La méthode s'étend aux GP VFE sparses, comblant l'écart vers le plancher oracle d'environ 40 %, bien que les gains absolus soient plus faibles en raison de l'effet de lissage de l'approximation sparse.

Signification et Revendications

L'article affirme qu'AQKA-GP étend avec succès les principes de l'acquisition active de noyaux quantiques de la classification à la configuration plus exigeante de la régression. Sa signification réside dans :

• Traitement de l'Amplification de l'Inverse : Il prend explicitement en compte le fait que la régression GP amplifie le bruit du noyau plus sévèrement que la classification en raison de la dépendance au spectre complet de la matrice inverse.
• Fourniture d'un Protocole Robuste : Il établit qu'un seuil élevé de couverture uniforme est une condition nécessaire pour une régression GP stable sous le bruit de tirage, une exigence non présente dans la classification.
• Optimisation Spécifique à la Tâche : Il démontre que différentes tâches en aval (prédiction vs estimation de vraisemblance) nécessitent des métriques de sensibilité distinctes et théoriquement fondées.

Les auteurs restent modestes quant à la portée de ces gains, notant que la méthode est plus efficace dans les régimes où le noyau présente une hétérogénéité suffisante (c'est-à-dire en dehors du régime de concentration exponentielle). Ils déclarent explicitement que la méthode n'améliore pas "magiquement" les tâches où la combinaison de la carte de caractéristiques et des données sous-jacentes manque de la structure nécessaire (comme vu dans l'étude UCI-ZZ) et que la constante de jitter spécifique est calibrée empiriquement plutôt que dérivée théoriquement.