Résumé Technique : Régression de Kolmogorov pour des Politiques de Diffusion Robustes

Énoncé du Problème

Les politiques de diffusion à dimension finie (FD), bien que dominantes dans l'apprentissage de politiques visuomotrices pour la robotique et les systèmes autonomes, souffrent d'une dérive temporelle causée par des artefacts de discrétisation. Les approches standards discrétisent les espaces d'action (par exemple, en mappant des trajectoires continues vers des pixels ou des jetons de texte) avant l'entraînement. Ce schéma de « discrétisation des données avant la diffusion » désaligne les politiques avec la dynamique sous-jacente des systèmes autonomes continus. Les artefacts de grille qui en résultent engendrent des erreurs d'interpolation qui se cumulent au fil des déroulements de trajectoire, menant à :

• Une instabilité dans les déploiements réels critiques pour la sécurité.
• Une mauvaise exécution de la planification à long horizon.
• Des bornes de convergence qui se dégradent en $O(\sqrt{d})$ avec la dimension d'action $d$.
• Une absence de diagnostics déterministes pour l'échec de la politique sans dépendre des signaux de récompense.

L'article soutient qu'une approximation fondée sur le contrôle doit représenter la distribution sur les trajectoires admissibles directement dans un espace de fonctions, en différant la discrétisation le plus longtemps possible afin de préserver la structure géométrique de la dynamique.

Méthodologie

Les auteurs proposent un cadre de diffusion en dimension infinie (ID) fondé sur la théorie de la mesure gaussienne et l'Équation de Kolmogorov Arrière (BKE). Au lieu d'apprendre un objectif de score matching stochastique dans l'espace euclidien, la méthode élève la politique de diffusion vers un espace de Cameron-Martin (un sous-ensemble de l'espace de Hilbert $H = L^2([0, T], \mathbb{R}^{d_a})$).

L'innovation centrale remplace le pipeline DDPM standard par trois substitutions minimales qui ne nécessitent aucun changement de l'architecture du réseau neuronal :

1. Bruit de Propagation Coloré (Colored Forward Noise) :

   • Le bruit blanc standard $\eta \sim \mathcal{N}(0, I)$ est remplacé par un bruit coloré $\eta = L_N \xi$, où $\xi \sim \mathcal{N}(0, I)$ et $L_N = \text{chol}(G_N)$ est le facteur de Cholesky d'une matrice de Gram de Matérn.
   • Cela respecte la structure de covariance de la distribution d'action, produisant des trajectoires lisses et physiquement plausibles, et évitant les discontinuités de vitesse abruptes.

2. Perte de Cameron-Martin Pondérée par la Précision :

   • L'erreur quadratique moyenne (MSE) standard est remplacée par la perte de Cameron-Martin :
     $$\mathcal{L}_{CM} = \mathbb{E} \left[ \| C_\mu^{-1/2} (\eta_\theta - \eta) \|_H^2 \right]$$
   • Ici, $C_\mu$ est l'opérateur de covariance. Cette pondération par l'inverse de la covariance garantit que la perte de débruitage préserve la structure de mesure de la distribution de bruit sous-jacente (via le théorème de Radon-Nikodym) et permet d'atteindre une convergence indépendante de la dimension.

3. Bruit de Rétroaction Coloré (Colored Reverse Noise) :

   • Lors de l'inférence, le bruit blanc est remplacé par la même structure de bruit coloré ($\eta = L_N \xi$) utilisée lors de l'entraînement pour maintenir la cohérence avec la structure de covariance tout au long de la trajectoire d'échantillonnage.

Fondement Théorique : L'Équation de Kolmogorov Arrière (BKE)

Le cadre évite les formulations basées sur la densité (qui échouent en dimension infinie en raison de l'absence de mesure de référence de Lebesgue) en définissant le score comme une dérivée logarithmique de Cameron-Martin. La fonction de valeur $u(x, s) = \mathbb{E}[f(X_t) | X_s = x]$ satisfait la BKE déterministe :
$$-\frac{\partial u}{\partial s} = \left\langle -\frac{1}{2}x, \nabla_x u \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2_x u]$$
Cela transforme le problème de score-matching stochastique en un problème de PDE de type problème aux limites déterministe.

Diagnostic au Temps d'Inférence : Le Résidu de Kolmogorov

Une contribution novatrice est le Résidu de Kolmogorov ($R(\hat{u})$), un signal déterministe, sans oracle, pour détecter l'échec de la politique. Il mesure la violation de la contrainte BKE par la fonction apprise $\hat{u}$ :
$$R(\hat{u}) := \left\| \frac{\partial \hat{u}}{\partial s} + \left\langle -\frac{1}{2}x, \nabla_x \hat{u} \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2 \hat{u}] \right\|_H$$
Des résidus élevés indiquent des écarts par rapport à la contrainte BKE, corrélés avec des modes d'échec en aval (ex: dérive de trajectoire ou planification infaisable) sans nécessiter de récompenses de tâche ou de vérité terrain.

Principales Contributions

1. PDE de Kolmogorov pour la Diffusion : L'ancrage des politiques de diffusion dans la BKE remplace le score matching stochastique par un problème aux limites déterministe, offrant des garanties de convergence où les constantes dépendent du rang effectif du noyau plutôt que de la dimension d'action.
2. Instanciation Algorithmique en Trois Points : Démontrer que le cadre ID se réduit à trois substitutions dans les DDPM standards (bruit coloré, perte pondérée par la précision, bruit de rétroaction coloré), permettant une adoption facile sans changement d'architecture de réseau.
3. Détection de Défaillance Déterministe : Introduction du résidu de Kolmogorov comme un diagnostic interprétable et non supervisé de la fiabilité de la politique.
4. Validation Multi-Domaine : Validation de l'approche à travers la manipulation robotique et le contrôle de flux de fabrication.

Résultats Expérimentaux

1. Benchmark de Manipulation PushT

• Performance : La perte de Cameron-Martin a permis une amélioration de 17 % de la récompense maximale par épisode (0,95 contre 0,78 pour la MSE).
• Qualité de Trajectoire : Une réduction de 67,6 % des dérives inter-étapes lors de l'inférence par rapport aux bases MSE.
• Diagnostics : Le résidu de Kolmogorov pour le modèle entraîné par CM était d'environ 0,11 (contre environ 0,34 pour la MSE), montrant un fort alignement avec la contrainte BKE. Les résidus élevés étaient fortement corrélés aux échecs de tâche.

2. Contrôle de Flux de Fabrication (6-Station CONWIP)

• Prévision : Le modèle ID a obtenu une RMSE 28,4 % plus faible dans la prévision du travail en cours (WIP) par rapport aux bases classiques LSTM.
• Détection d'Anomalie : Le résidu de Kolmogorov a servi de détecteur de goulot d'étranglement avec une Précision@1 = 1,0 et un rapport signal/bruit de 13× (identifiant la station surchargée S2 avec un résidu moyen de 13,05 contre 0,96 pour les autres).
• Certification de Sécurité : Intégré à la théorie de la réachabilité de Hamilton-Jacobi (HJ), le système a certifié des politiques d'ordonnancement qui ont réduit les événements de blocage (deadlock) de 96 % (351 événements évités sur 100 essais) par rapport à un ordonnancement non contrôlé.

Signification et Revendications

L'article affirme qu'en élevant les politiques de diffusion vers des espaces de fonctions en dimension infinie et en les ancrant dans la théorie de la mesure, il résout le désalignement fondamental entre les artefacts de discrétisation et la dynamique physique continue.

• Garanties de Convergence : Les bornes théoriques montrent des taux de convergence découplés de la dimension du problème, dépendant plutôt des propriétés spectrales (rang effectif) de l'opérateur de covariance.
• Interprétabilité : Le cadre fournit un diagnostic conscient de la physique (le résidu de Kolmogorov) qui détecte l'échec de la politique sans signaux de récompense, comblant le fossé entre l'apprentissage boîte noire et la vérification critique pour la sécurité.
• Supériorité Opérationnelle : Dans la fabrication, la méthode surpasse la prévision basée sur des scalaires (LSTM) en capturant les couplages inter-stations de type fonction, et fournit des enveloppes de sécurité certifiées via la réachabilité HJ, prévenant les défaillances opérationnelles telles que l'asphyxie (starvation) ou le blocage (deadlock).

Les auteurs concluent que la structure en dimension infinie n'est pas seulement une construction théorique mais est opérationnellement supérieure pour les systèmes dont la dynamique sous-jacente est de type fonction, offrant une voie vers un déploiement plus fiable, interprétable et sûr des politiques de diffusion en robotique et en contrôle industriel.