⚡ electrical engineering

Trajectory-Regularized Stochastic Optimal Control via KL Divergence

Cet article introduit le Contrôle Optimal Stochastique Régularisé par Trajectoire (TRSOC), un cadre qui incorpore une pénalité de divergence de Kullback-Leibler entre les distributions de trajectoires contrôlées et de référence pour modifier le coût courant tout en préservant la structure de programmation dynamique, offrant des solutions analytiques dans des contextes linéaires-quadratiques et permettant un compromis ajustable entre la performance et l'adhérence à la référence.

Auteurs originaux : Mintae Kim, Koushil Sreenath

Publié 2026-07-27

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mintae Kim, Koushil Sreenath

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment marcher dans un parc bondé et sous la pluie. Vous voulez que le robot atteigne un banc spécifique le plus rapidement possible, mais le sol est glissant et le vent est imprévisible. C'est le monde du Contrôle Optimal Stochastique (COS). Considérez « stochastique » comme un mot sophistiqué pour dire « plein de surprises aléatoires », et « contrôle optimal » comme l'outil mathématique utilisé pour trouver le meilleur chemin quand on ne peut pas prédire exactement ce qui va se passer ensuite. Habituellement, ces problèmes mathématiques ne se soucient que d'une chose : atteindre l'objectif avec le moins d'efforts ou de temps possible.

Cependant, dans le monde réel, nous avons souvent le « fantôme » d'une manière de bouger préférée. Peut-être qu'un humain a entraîné le robot pour qu'il marche lentement et prudemment, ou bien nous avons un tas de vieilles données vidéo montrant comment un robot sûr de lui se comportait auparavant. Les mathématiques standards ignorent souvent ce « fantôme », se concentrant uniquement sur le trajet le plus rapide, ce qui pourrait rendre le robot saccadé ou dangereux. Ce document pose une question simple : Pouvons-nous apprendre au robot à être rapide, tout en restant poliment proche de la façon dont il bougeait auparavant ? Les auteurs introduisent une nouvelle méthode appelée Contrôle Optimal Stochastique Régularisé par Trajectoire (TRSOC). Ils utilisent un outil mathématique appelé Divergence KL (pensez à un « compteur de distance » pour des trajectoires entières, et non pour de simples étapes) pour guider doucement les mouvements aléatoires du robot afin qu'il reste proche d'un modèle de référence, sans pour autant le forcer à suivre ce modèle à la lettre.

La grande idée du papier : Le « Fantôme » dans la machine

Les auteurs, Mintae Kim et Koushil Sreenath, proposent une manière ingénieuse de mélanger deux désirs concurrents : bien faire le travail (performance) et agir comme l'ancienne version sûre de soi (référence). Ils appellent leur nouveau système TRSOC.

Imaginez que vous conduisiez une voiture. L'objectif de « performance » est d'arriver à l'épicerie en 10 minutes. Le comportement de « référence » est celui de votre grand-mère prudente : elle ne dépasse jamais la vitesse, elle met toujours son clignotant et elle prend des virages larges. Les mathématiques de conduite standard vous diraient d'ignorer votre grand-mère et de conduire aussi vite que les lois de la circulation le permettent. Le TRSOC, cependant, ajoute une « pénalité de politesse ». Il dit : « Vous pouvez conduire vite, mais si vous commencez à zigzaguer de manière sauvage ou à ignorer les habitudes de votre grand-mère, vous recevrez une amende. »

Le tour de magie de ce papier réside dans la façon dont ils calculent cette « amende ». Habituellement, comparer deux trajectures entières est incroyablement difficile, comme essayer de comparer deux films entière image par image. Mais les auteurs utilisent un célèbre théorème mathématique appelé théorème de Girsanov pour simplifier cela. Ils démontrent qu'au lieu de comparer tout le film, il suffit de regarder la dérive (le drift) — la direction vers laquelle le robot essaie d'aller à n'importe quel instant donné.

Si le robot tente de se pousser dans une direction très différente du « fantôme » de référence, les mathématiques ajoutent une pénalité quadratique. Voyez cela comme un élastique. Si le robot tente de s'éloigner de la trajectoire de référence, l'élastique s'étire, et le coût (l'« amende ») augmente. Plus l'élastique est fort (contrôlé par un nombre appelé $\lambda$ ), plus il est difficile pour le robot de dévier.

Les résultats : Trouver le point d'équilibre

Le papier ne se contente pas de proposer cette idée ; il prouve mathématiquement qu'elle fonctionne et la teste via des simulations.

1. Le compromis est réel
Les auteurs montrent qu'en tournant le bouton de l'« élastique » ( $\lambda$ ), vous pouvez glisser de manière fluide entre deux extrêmes :

$\lambda = 0$ (Pas d'élastique) : Le robot agit uniquement sur la performance. Il trouve le chemin le plus rapide et le plus efficace, mais il peut paraître saccadé ou ignorer les habitudes de sécurité.
$\lambda = \text{Énorme}$ (Élastique très serré) : Le robot devient un imitateur. Il suit presque parfaitement la trajectoire de référence, même si ce chemin n'est pas le plus rapide.
Entre les deux : Le robot trouve un juste milieu. Il accomplit sa tâche tout en gardant des mouvements fluides et familiers.

Dans leurs expériences, ils ont utilisé un robot qui devait suivre une piste en forme de huit. Lorsqu'ils ont augmenté la régularisation, le robot a cessé de faire des corrections brusques et agressives pour suivre la trajectoire courbe et fluide de la référence, même si le chemin le plus « rapide » aurait été un peu plus erratique.

2. Cela fonctionne aussi avec des données « fantômes »
L'un des aspects les plus intéressants est que la « référence » n'a pas besoin d'être une formule mathématique parfaite. Les auteurs ont montré que l'on peut alimenter le système avec des données hors ligne (offline data) — des enregistrements d'un robot en mouvement — et les mathématiques apprendront le comportement du « fantôme » à partir de ces données.

Ils ont entraîné un petit réseau de neurones pour deviner comment le robot de référence se déplaçait.
Ensuite, ils ont laissé le système TRSOC utiliser cette supposition comme guide.
Résultat ? Le nouveau robot se comportait de manière très similaire à celui des enregistrements, prouvant que cette méthode peut apprendre de données réelles, et non seulement d'équations parfaites.

3. Sécurité et stabilité
Le papier examine également si cet « élastique » rend le robot instable. Étonnamment, ils ont découvert que l'ajout de cette régularisation peut en fait rendre le système plus stable. En pénalisant les mouvements agressifs et sauvages, les mathématiques découragent naturellement le robot de prendre des risques qui pourraient lui faire perdre le contrôle. Dans leurs simulations, le robot est resté dans des limites sûres même lorsque les calculs devenaient complexes.

Ce que cela signifie pour l'avenir

Ce papier ne prétend pas avoir résolu tous les problèmes de contrôle de l'univers. Au lieu de cela, il offre un outil nouveau et flexible. Il montre que l'on n'est pas obligé de choisir entre « rapide et risqué » ou « sûr et lent ». On peut avoir un système qui est les deux, en ajustant un seul nombre.

Les auteurs suggèrent que cela pourrait être énorme pour la robotique qui doit apprendre à partir de démonstrations humaines (comme un bras robotique apprenant à plier du linge à partir d'une vidéo) ou pour les voitures autonomes qui doivent respecter les habitudes de conduite locales tout en naviguant dans le trafic. En utilisant cette « régularisation de trajectoire », les ingénieurs peuvent construire des robots qui ne sont pas seulement efficaces, mais aussi prévisibles et polis, restant fidèles au « fantôme » d'un bon comportement tout en accomplissant leur mission.

En bref, le TRSOC est comme donner une conscience à un robot. Il veut toujours gagner la course, mais il se souvient de la façon dont il se comportait auparavant, et il cherche un chemin qui satisfait à la fois son ambition et son histoire.

Résumé technique : Contrôle optimal stochastique régularisé par trajectoire via la divergence KL

1. Formulation du problème

L'article traite d'une limitation du contrôle optimal stochastique (SOC) standard, qui se concentre uniquement sur la minimisation du coût cumulé attendu sous incertitude sans contraindre la manière dont les dynamiques de système résultantes dévient d'un comportement de référence souhaité. Dans de nombreuses applications, les comportements de référence (par exemple, la dynamique passive, les contrôleurs de base ou les distributions dérivées de données hors ligne) encodent des structures de connaissance précieuses. Des écarts importants par rapport à ces références peuvent conduire à des politiques fragiles.

Les auteurs proposent le Contrôle optimal stochastique régularisé par trajectoire (TRSOC). L'objectif est de minimiser une fonction de coût qui équilibre la performance de la tâche avec la proximité de la distribution de la trajectoire contrôlée par rapport à une distribution de trajectoire de référence. Cette proximité est mesurée par la divergence de Kullback–Leibler (KL) entre les lois de probabilité du processus contrôlé ( $P_u$ ) et du processus de référence ( $P_0$ ).

Le système est modélisé comme un processus de diffusion contrôlé :
$dX_t = f(X_t, u_t)dt + \sigma(X_t)dW_t$
où le contrôle $u_t$ intervient à travers la dérive (drift). Les dynamiques de référence partagent la même matrice de diffusion $\sigma$ mais possèdent une dérive $f_0$ différente.

2. Méthodologie

A. Réduction de la KL de trajectoire au coût local

Une contribution théorique centrale est la réduction de la divergence KL au niveau de la trajectoire vers un coût courant local et traitable.

Théorème de Girsanov : Sous l'hypothèse que la matrice de diffusion $\sigma(x)$ est inversible et que l'écart de dérive satisfait la condition de Novikov, la dérivée de Radon–Nikodym entre les mesures contrôlée et de référence existe.
Lemme 1 : La divergence KL $KL(P_u \| P_0)$ sur un horizon fini $[0, T]$ est démontrée être égale à l'espérance de l'intégrale d'une pénalité quadratique de l'écart de dérive :
$KL(P_u \| P_0) = \frac{1}{2} \mathbb{E}_{P_u} \left[ \int_0^T \|\phi_t^u\|^2 dt \right]$
où $\phi_t^u = \sigma(X_t)^{-1}(f(X_t, u_t) - f_0(X_t))$ .
Coût courant augmenté : Ce résultat permet d'incorporer la régularisation de trajectoire directement dans le cadre standard du SOC comme un terme additif au coût courant :
$L(x, u) = \ell(x, u) + \frac{\lambda}{ 2} \|\sigma(x)^{-1}(f(x, u) - f_0(x))\|^2$
Ici, $\lambda \geq 0$ est le paramètre de régularisation.

B. Programmation dynamique et structure HJB

Parce que la pénalité KL se réduit à une intégrale d'un coût courant, le TRSOC préserve la propriété de Markov et le principe de programmation dynamique (DP).

La fonction de valeur $V(t, x)$ satisfait l'équation Hamilton–Jacobi–Bellman (HJB) standard :
$-\partial_t V(t, x) = \inf_{u \in U} \{ L(x, u) + \mathcal{L}_u V(t, x) \}$
où $\mathcal{L}_u$ est le générateur infinitésimal de la diffusion.
Contra�à les approches de "contrôle KL" qui optimisent directement sur les mesures de trajectoire (menant souvent à des objectifs sensibles au risque et à un basculement exponentiel), le TRSOC reste un problème de SOC standard avec un coût augmenté, conservant une espérance linéaire et une caractérisation HJB standard.

C. Structure du contrôle optimal (cas affine en commande)

Pour les systèmes avec une dérive affine en commande $f(x, u) = f_0(x) + B(x)u$ et des coûts de commande quadratiques, les auteurs dérivent une loi de rétroaction optimale explicite.

Le terme KL agit comme une pénalité de commande supplémentaire, modifiant la matrice de poids de commande effective :
$\bar{R}(x) = R(x) + \lambda B(x)^\top (\sigma(x)\sigma(x)^\top)^{-1} B(x)$
Le contrôle optimal est donné par :
$u^*(x) = -\bar{R}(x)^{-1} B(x)^\top \nabla V(x)$
Cette formulation implique que les commandes induisant de grands changements de dérive dans les directions de faible bruit sont plus lourdement pénalisées.

D. Spécialisation Linéaire-Quadratique (LQ)

Dans le cadre Linéaire-Quadratique, le problème se réduit à un régulateur linéaire-quadratique (LQR) avec une déduction de poids de commande modifié $\bar{R}$ . La solution implique la résolution d'une équation de Riccati algébrique (ARE) modifiée, où le paramètre de régularisation $\lambda$ influence directement le gain de rétroaction, menant à un contrôle plus conservateur à mesure que $\lambda$ augmente.

3. Contributions clés

Formulation TRSOC : Introduction d'un cadre de contrôle stochastique régularisé par le comportement qui incorpore des comportements a priori (contrôleurs nominaux ou bases de données) via la divergence KL de trajectoire.
Réduction au coût local : Démonstration que sous un contrôle de dérive uniquement avec une diffusion non dégénérée, la divergence KL de trajectoire se réduit à une pénalité quadratique d'écart de dérive. Cela préserve la structure DP et permet une caractérisation HJB standard.
Caractérisation de la politique optimale : Dérivation de lois de rétroaction optimales explicites pour les systèmes affines en commande et analyse du cas LQ, montrant comment la régularisation modifie le coût de commande et les propriétés de stabilité.
Analyse de stabilité : Preuve que la régularisation de trajectoire peut améliorer la dissipativité de la dérive en boucle fermée, facilitant les inégalités de Lyapunov et assurant la limitation au sens de la moyenne quadratique de l'état.

4. Résultats et Expériences

L'article valide les résultats théoriques par des expériences numériques sur un système de double intégrateur stochastique suivant une trajectoire en forme de huit.

Compromis Performance–Déviation : Les expériences démontrent que le paramètre de régularisation $\lambda$ $λ$ induit un compromis continu.
- Lorsque $\lambda \to 0$ , le contrôleur se comporte comme un SOC standard piloté par la performance, atteignant un coût de tâche faible mais pouvant dévier significativement de la référence.
- Lorsque $\lambda \to \infty$ , le contrôleur force la dérive induite à s'aligner sur les dynamiques de référence, minimisant la déviation au détriment de la performance de la tâche.
Référence basée sur les données : Le cadre est appliqué avec succès à un contexte où les dynamiques de référence sont apprises à partir de données hors ligne (en utilisant un réseau de neurones pour approximer l'accélération de référence). Les résultats montrent que le TRSOC équilibre efficacement l'optimisation de la tâche avec l'adhérence à la référence apprise.
Géométrie de la trajectoire : Les visualisations de trajectoires révèlent que la régularisation agit sur la géométrie des dynamiques induites. Les contrôleurs régularisés produisent des trajectoires qui se situent entre les corrections agressives du contrôleur optimal non régularisé et le comportement de référence nominal, particulièrement dans les régions à forte courbure.

5. Signification et Revendications

Les auteurs affirment que le TRSOC fournit une méthode fondée sur des principes pour intégrer des connaissances préalables ou des données hors ligne sans abandonner le cadre DP/HJB standard.

Préservation structurelle : Contraرا aux autres méthodes de régularisation de trajectoire qui peuvent nécessiter l'optimisation sur des mesures ou mener à des objectifs non standards sensibles au risque, le TRSOC maintient la structure SOC standard, le rendant applicable aux dynamiques non linéaires générales.
Interpolation : Le cadre offre une scalarisation d'un problème d'optimisation multi-objectif (performance de la tâche vs adhérence à la référence), permettant aux praticiens de régler le comportement du contrôleur via un paramètre unique $\lambda$ .
Robustesse : La méthode est montrée comme étant robuste aux erreurs d'approximation lorsque les dynamiques de référence sont apprises à partir de données, suggérant une utilité potentielle dans les contextes d'apprentissage par renforcement hors ligne à en ligne et d'apprentissage par imitation.

L'article conclut que la régularisation de trajectoire agit comme une modification de l'énergie de commande "sensible au bruit", pénalisant plus lourdement les changements de dérive dans les directions où le système est moins stochastique, offrant ainsi un mécanisme géométriquement intuitif pour équilibrer la performance et la sécurité/cohérence.