🤖 machine learning

Analytic Planning under Uncertainty with Moment Closure

Cet article propose un cadre fondé sur des principes pour l'apprentissage par renforcement analytique basé sur des modèles, qui utilise un principe de compatibilité entre des modèles de transition gaussiens et des fonctions de valeur à bases radiales pour dériver des mises à jour de Bellman en forme fermée, permettant ainsi une planification efficace sous incertitude sans dépendre de structures de politiques restrictives ou d'échantillonnage stochastique.

Auteurs originaux : Shishir Sharma, Doina Precup

Publié 2026-08-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shishir Sharma, Doina Precup

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à marcher, à jongler ou à équilibrer un poteau. Pour y parvenir, le robot a besoin d'un « cerveau » capable d'observer le monde, de deviner ce qui va se passer ensuite et de décider de la meilleure action. Ce domaine est appelé l'Apprentissage par Renforcement (Reinforcement Learning), où un agent apprend par essais et erreurs. Mais le monde réel est désordonné et imprévisible. Si vous poussez un chariot, il peut glisser légèrement différemment selon une minuscule bosse sur le sol. Cette imprévisibilité est appelée incertitude.

La plupart des cerveaux de robots modernes tentent de gérer cette incertitude en jouant des milliers de scénarios de type « et si... » dans leur tête, comme un joueur de jeu vidéo testant différentes touches dans une simulation. Ils lancent les dés, voient ce qui se passe et font la moyenne des résultats. Cela fonctionne, mais c'est lent et bruyant, comme essayer de deviner la taille moyenne d'une foule en interrogeant seulement quelques personnes. D'autres robots essaient d'être hyper-confiants et ignorent le désordre, supposant que tout se passera exactement comme prévu. C'est rapide, mais si le monde les surprend, ils s'écrasent. La grande question que se posent les chercheurs est la suivante : Pouvons-nous construire un cerveau de robot qui comprenne parfaitement l'incertitude sans avoir à jouer des milliers de simulations désordonnées ?

Ce papier, intitulé « Analytic Planning under Uncertainty with Moment Closure », répond oui. Les auteurs, Shishir Sharma et Doina Precup, ont trouvé un raccourci mathématique ingénieux qui permet à un robot de calculer l'« avenir moyen » d'une situation à l'aide d'une formule précise, sans avoir besoin de lancer les dés des milliers de fois.

Le Problème : Le Bruit de la Conjecture

Imaginez que vous vous teniez au bord d'une falaise. Vous voulez savoir s'il est sûr de sauter.

L'ancienne méthode (Monte Carlo) : Vous fermez les yeux et imaginez 100 sauts. Parfois, vous atterrissez en sécurité ; parfois, vous tombez. Vous comptez combien de fois vous avez survécu et vous divisez par 100. Si vous n'imaginez que 5 sauts, votre réponse pourrait être totalement fausse simplement à cause d'un manque de chance dans votre imagination. C'est ce que fait la plupart des IA actuelles : elles échantillonnent, conjecturent et font la moyenne. Elles sont sujettes au « bruit », ce qui signifie qu'un robot peut prendre une mauvaise décision simplement parce que sa conjecture aléatoire a été malchanceuse.
La méthode « Trop Confiante » : Le robot ignore le vent et les rochers glissants. Il suppose que la falaise est parfaitement plate. Il établit un plan parfait, mais dès qu'une véritable rafale de vent frappe, le plan échoue.

Les auteurs voulaient savoir : peut-on calculer la sécurité du saut exactement grâce aux mathématiques, afin de ne plus jamais avoir à conjecturer ou à lancer les dés ?

La Solution : Une Formule Magique

L'équipe a développé une méthode qu'ils appellent MoCA (Moment-Compatible Analytic Planning). Au lieu de simuler des milliers de futurs, ils utilisent un type spécial de mathématiques qui traite l'incertitude du robot comme un nuage lisse et prévisible (une distribution gaussienne).

Voici l'astuce qu'ils ont utilisée, expliquée avec une analogie simple :

La « Récompense Changeante de Forme » : Habituellement, déterminer le meilleur mouvement est difficile car le « meilleur mouvement » change selon l'endroit exact où vous atterrissez. C'est comme essayer de trouver le point le plus haut sur un paysage accidenté et changeant. Les auteurs ont modifié le paysage. Ils ont conçu le « cerveau » du robot (plus précisément la partie qui évalue les actions) pour qu'il ait une forme très spécifique et lisse (une courbe quadratique). Cette forme est si prévisible que trouver le « meilleur mouvement » devient aussi facile que de trouver le centre d'un cercle. Vous n'avez pas besoin de scanner toute la carte ; vous regardez simplement le centre.
L'appariement de « Moment » : Une fois que le « meilleur mouvement » est facile à trouver, le robot doit simplement connaître la valeur moyenne de l'avenir. Les auteurs ont associé leur paysage lisse à un « nuage » de localisations futures possibles. Ils ont découvert une règle spéciale : si la forme du paysage et la forme du nuage correspondent d'une certaine manière (ce qu'ils appellent la « compatibilité de moment »), on peut calculer la valeur moyenne à l'aide d'une formule simple.
- Analogie : Imaginez que vous avez un seau d'eau (l'incertitude) et une tasse de forme spécifique (la fonction de valeur). Si la tasse s'adapte parfaitement au seau, vous n'avez pas besoin de puiser l'eau goutte à goutte pour savoir combien elle contient. Vous utilisez simplement une formule basée sur la taille et la forme du seau. Les auteurs ont trouvé la paire parfaite entre la tasse et le seau.

Ce Qu'Ils Ont Découvert

Les chercheurs ont testé cette méthode sur une simulation informatique d'un robot équilibrant un poteau (Cartpole) et un pendule oscillant. Ils ont ajouté du « bruit » à la vision du robot, lui faisant percevoir le monde comme s'il regardait à travers une fenêtre embrumée.

Les Résultats : La nouvelle méthode (MoCA) a appris à équilibrer le poteau bien mieux et plus rapidement que les anciennes méthodes.
- Comparé aux robots qui « conjecturent » (Monte Carlo), MoCA était plus stable. Il ne se laissait pas déstabiliser par la vision brumeuse.
- Comparé aux robots « trop confiants » (qui ignoraient la brume), MoCA savait quand être prudent.
- Même lorsque le bruit était très élevé, MoCA continuait de bien performer, alors que les autres commençaient à échouer ou à bouger de manière erratique.

Ils ont également vérifié si les « conjectures » du robot sur sa propre incertitude étaient précises. Ils ont constaté que le sens interne du robot sur « à quel point je suis incertain ? » était bien calibré. S'il disait être sûr à 68 %, il avait raison 68 % du temps, restant très proche de ce niveau nominal tout au long de l'entraînement.

Pourquoi Cela Importe

Ce papier ne dit pas seulement « peut-être que cela fonctionne ». Dans leurs simulations, ils ont montré qu'en utilisant ce raccourci mathématique, les robots peuvent planifier avec une grande précision concernant l'incertitude, sans le coût énorme de l'exécution de milliers de simulations.

Les auteurs admettent que ce tour de magie mathématique fonctionne mieux dans certaines situations (comme lorsque le monde du robot peut être décrit par des courbes lisses et des nuages). Ils notent que si le monde devient trop complexe ou de haute dimension, les mathématiques pourraient redevenir lourdes. Cependant, pour de nombreuses tâches de contrôle continu — comme conduire une voiture, faire voler un drone ou équilibrer un robot — cette approche offre un moyen d'être à la fois intelligent et sûr, sans avoir besoin d'un supercalculateur pour faire tourner des simulations infinies. Cela prouve que nous pouvons apprendre aux machines à comprendre le « brouillard » du futur sans s'y perdre.

Résumé technique : Planification analytique sous incertitude avec fermeture de moments

Énoncé du problème

Une planification efficace par apprentissage par renforcement fondé sur un modèle (MBRL) dans des environnements stochastiques nécessite une prise en compte de l'incertitude prédictive. Les approches traditionnelles sont confrontées à un arbitrage :

Échantillonnage stochastique : Le MBRL profond moderne repose souvent sur l'échantillonnage de trajectoires imaginées (Monte Carlo) pour propager l'incertitude. Bien qu'extensible, cela introduit une variance de cible significative, rendant l'estimation de la valeur sensible aux budgets d'échantillonnage et potentiellement instable.
Approximations déterministes : Les méthodes qui réduisent les modèles stochastiques à leur moyenne ou apprennent des dynamiques déterministes rejettent la covariance prédictive. Cela conduit à un biais systématique lorsque les fonctions de valeur sont non linéaires.
Propagation analytique : Bien que la propagation analytique de distributions d'états complets soit rigoureuse, elle a historiquement nécessité des structures de politique ou de récompense restrictives (par exemple, les contextes linéaires-quadratiques) pour rester traitable.

La question centrale abordée est de savoir si une planification sensible à la distribution est possible sans ces contraintes restrictives, spécifiquement en calculant l'espérance de Bellman de manière analytique sous des dynamiques stochastiques apprises.

Méthodologie : Planification Analytique Compatible avec les Moments (MoCA)

Les auteurs proposent un cadre qui découple la tractabilité de la sélection d'actions glouton de la tractabilité de l'espérance prédictive. La méthode repose sur deux composantes structurelles clés :

1. Paramétrage de la valeur d'action quadratique (Découplage de la maximisation)

Pour éviter l'intraitabilité d'une intégration d'un opérateur de maximisation ( $\max_{a'} Q(s', a')$ ) sur une distribution stochastique, les auteurs utilisent un paramétrage de la valeur d'action quadratique (inspiré de NAF et BNAF).

Structure : La fonction Q est décomposée comme suit :
$Q(s, a) = V(s) - \frac{1}{2}(a - \tilde{\mu}(s))^\top P(s) (a - \tilde{\mu}(s))$
où $V(s)$ est la valeur de l'état, $\tilde{\mu}(s)$ est l'action gloutonne non contrainte, et $P(s)$ est une matrice de courbure définie positive.
Effet : Cette structure permet de résoudre la sélection de l'action gloutonne en forme close ( $\arg\max_a Q(s,a) = \tilde{\mu}(s)$ ) et la valeur maximale est exactement $V(s)$ . Par conséquent, la mise à jour de Bellman se réduit d'une espérance sur une fonction Q maximisée à une simple espérance sur la fonction de valeur d'état seule :
$y(s, a) = r(s, a) + \gamma \mathbb{E}_{s' \sim p(\cdot|s,a)}[V(s')]$
Cela élimine la maximisation interne de l'espérance, ne laissant que la nécessité de calculer $\mathbb{E}[V(s')]$ de manière analytique.

2. Principe de compatibilité des moments

La tractabilité de l'espérance restante $\mathbb{E}[V(s')]$ dépend de la compatibilité entre la distribution de transition prédictive et la classe de la fonction de valeur.

Modèle de dynamique : La dynamique de l'environnement est apprise comme un mélange de Gaussiennes hétéroscédastiques (ensemble de $K$ modèles). Pour éviter l'échantillonnage pendant la planification, l'ensemble est approximé par une distribution Gaussienne unique dont la moyenne et la covariance correspondent aux deux premiers moments du mélange (capturant à la fois l'incertitude aléatoire et épistémique).
Représentation de la valeur : La fonction de valeur d'état $V(s)$ est paramétrée comme un mélange de fonctions de base radiale (RBF) gaussiennes.
Fermeture analytique : Parce que la distribution prédictive est Gaussienne et que la fonction de valeur est un mélange de Gaussiennes, l'espérance $\mathbb{E}[V(s')]$ admet une solution en forme close en termes des moments de la distribution (moyenne et covariance). Cela permet de calculer la cible de Bellman exactement sans échantillonnage de Monte Carlo.

Procédure d'apprentissage

L'algorithme (MoCA) intègre ces composants dans une boucle d'apprentissage hors-politique (off-policy) :

Apprentissage de la dynamique : Un ensemble de modèles de dynamique gaussiens est entraîné par maximum de vraisemblance sur des rééchantillonnages bootstrap du tampon de relecture (replay buffer).
Construction de la cible : Pour chaque transition, les prédictions de l'ensemble sont agrégées via l'appariement de moments pour former une Gaussienne prédictive $\mathcal{N}(\bar{\mu}, \bar{\Sigma})$ . La cible de Bellman est calculée analytiquement en utilisant l'espérance en forme close de la fonction de valeur RBF sous cette Gaussienne.
Mise à jour du critique : Des critiques doubles (pour atténuer le biais de surestimation) sont mis à jour en utilisant l'estimation double coupée sur les cibles analytiques.

Contributions clés

Mise à jour de Bellman analytique : L'article démontre que des espérances de Bellam en forme close sont possibles sous des dynamiques stochastiques apprises en découplant la maximisation (via la paramétrisation Q quadratique) de l'espérance.
Cadre de compatibilité des moments : Il introduit un principe de conception où la représentation de la valeur est choisie spécifiquement pour être compatible avec les moments de la distribution prédictive, permettant une propagation analytique de l'incertitude sans restreindre la classe de politique.
Planification sensible à l'incertitude : La méthode propage de manière déterministe la moyenne prédictive et la covariance, supprimant la variance de Monte Carlo de la construction des cibles tout en préservant les avantages d'une modélisation stochastique.

Résultats empiriques

Des expériences ont été menées sur des tâches de contrôle continu (Cartpole Balance et Pendulum Swingup) sous un bruit d'observation Gaussien contrôlé (homoscédastique et hétéroscédastique).

Robustesse au bruit : MoCA a systématiquement surpassé les bases (SAC, BNAF, et une version de MoCA équivalente à la certitude qui ignore la covariance) à mesure que le bruit d'observation augmentait. Il a maintenu des rendements asymptotiques plus élevés et des dynamiques d'apprentissage plus stables.
Analytique vs Monte Carlo : Comparé aux variantes Monte Carlo de la même architecture (MoCA-MC) avec des nombres d'échantillons variables ( $K=4, 16$ ), la méthode analytique (MoCA) a atteint une convergence plus rapide et une performance asymptotique supérieure. Les méthodes Monte Carlo souffraient d'une variance élevée, particulièrement avec peu d'échantillons, menant à une sélection d'actions sous-optimale.
Calibration : L'approche analytique a produit une incertitude prédictive bien calibrée (la couverture empirique $1\sigma$ est restée proche du niveau nominal de 68 %) et un écart-type épistémique stable.

Signification et affirmations

L'article affirme fournir un cadre rigoureux pour la planification avec des modèles de distribution appris qui évite la variance de l'échantillonnage et le biais de la substitution par la moyenne.

Stabilité : En supprimant le bruit de Monte Carlo de la construction des cibles, la méthode offre une planification stable même lorsque le bruit d'observation augmente.
Généralité : Le principe de compatibilité des moments n'est pas lié à une forme fonctionnelle unique ; l'appariement Gaussienne-RBF est présenté comme une instanciation concrète qui équilibre tractabilité et expressivité.
Praticité : L'approche offre une alternative efficace sur le plan computationnel à la planification par échantillonnage dans le contrôle continu, démontant que la propagation analytique des moments peut servir de substitut pratique aux rollouts stochastiques.

Les auteurs reconnaissent des limites, notant que l'instanciation RBF fait face à la « malédiction de la dimensionnalité » concernant le nombre de bases requises dans des espaces d'états de haute dimension, et que l'implémentation actuelle repose sur des hypothèses de covariance diagonale pour l'efficacité computationnelle. Des travaux futurs sont suggérés pour explorer les représentations d'espace latent afin de passer à l'échelle.