🤖 machine learning

Mollified Value Learning

Cet article introduit l'apprentissage de la valeur mollifiée (Mollified Value Learning, MVL), une nouvelle approche d'apprentissage par renforcement hors ligne conditionné par un objectif qui remplace les contraintes différentielles ponctuelles instables par une espérance spatialement agrégée afin d'induire une géométrie de valeur robuste, de type distance, et d'améliorer les performances dans des tâches de haute dimension.

Auteurs originaux : Hrishikesh Viswanath, Juanwu Lu, S. Talha Bukhari, Mihir Chauhan, Damon Conover, Ziran Wang, Aniket Bera

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hrishikesh Viswanath, Juanwu Lu, S. Talha Bukhari, Mihir Chauhan, Damon Conover, Ziran Wang, Aniket Bera

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment naviguer dans un labyrinthe ou ramasser une tasse, mais que vous ne pouvez pas laisser le robot s'entraîner dans le monde réel. Au lieu de cela, vous ne disposez que d'un immense album photo statique d'autres robots essayant (et échouant parfois) d'accomplir ces tâches. C'est ce qu'on appelle l'Apprentissage par Renforcement Hors-Ligne Conditionné par un Objectif (Offline Goal-Conditioned Reinforcement Learning). Le robot doit apprendre de cet « album photo » sans jamais faire un nouveau pas.

Le gros problème est que le robot se laisse souvent induire en erreur sur la distance qui le sépare de son objectif. Il peut penser qu'il est proche alors qu'il est en réalité loin, ou il peut rester bloqué dans une boucle.

L'ancienne méthode : Le problème de la « Carte Parfaite »

Les méthodes précédentes tentaient de corriger cela en forçant le robot à suivre des règles mathématiques strictes, semblables au dessin d'une carte parfaite où chaque point possède une distance exacte par rapport à l'objectif. Elles utilisaient des équations complexes (comme l'équation d'Eikonal) pour garantir que le robot connaisse le chemin le plus court.

Imaginez cela comme essayer de marcher dans un brouillard épais en tenant une règle. Vous devez mesurer la distance exacte jusqu'à l'étape suivante avant de bouger. Si le brouillard est épais (si les données sont désordonnées ou si le robot est complexe), essayer de mesurer chaque étape parfaitement provoque un tremblement de la règle, les mathématiques se brisent et le robot se fige. C'est trop sensible aux erreurs infimes.

La nouvelle méthode : L'Apprentissage de Valeur Mollifié (MVL)

Les auteurs de cet article proposent une approche plus intelligente et plus souple appelée Apprentissage de Valeur Mollifié (Mollified Value Learning).

L'analogie : La « Lampe Torche Floue »
Au lieu d'essayer de mesurer la distance à l'objectif avec une règle en un point précis, imaginez que le robot projette une lampe torche floue autour de son emplacement actuel.

Le faisceau lumineux : La lampe torche ne regarde pas seulement l'endroit exact où se trouve le robot ; elle regarde un petit voisinage d'endroits autour de lui.
La moyenne : Au lieu de demander : « Est-ce que ce pixel exact est à 5 mètres de l'objectif ? », le robot demande : « En moyenne, est-ce que les points autour de moi se rapprochent de l'objectif ? »
L'effet de lissage : Cette vue « floue » agit comme un mollificateur (un outil mathématique qui lisse les contours rugueux). Si les données présentent un bug bizarre ou une mesure bruitée (comme une photo où un robot a glissé), la lampe torche fait la moyenne avec les données « bonnes » environnantes. Elle ignore les petites erreurs dentelées et se concentre sur l'image globale : « Est-ce que je me déplace généralement dans la bonne direction ? »

Pourquoi cela fonctionne mieux

L'article affirme qu'en utilisant cette approche de « moyenne de voisinage » plutôt que des mathématiques de « point exact » :

C'est plus stable : Le robot ne plante pas lorsque les données sont désordonnées ou que l'environnement est complexe (comme un bras robotique à haute dimension avec de nombreuses articulations).
Il apprend la forme du chemin : Le robot apprend un « terrain » lisse où l'objectif est une vallée. Même si le sol est accidenté, le robot peut voir la pente générale et glisser vers l'objectif.
Il gère le bruit : Dans les tests réels (comme un bras robotique essayant de saisir une pomme), les anciennes méthodes échouaient souvent complètement lorsque les données étaient bruitées. La nouvelle méthode (MVL) continue de fonctionner, guidant avec succès le robot vers la pomme même lorsque les données sont « saccadées ».

Les résultats

Les chercheurs ont testé cela sur diverses tâches, allant de labyrinthes 2D simples à des bras robotiques 3D complexes déplaçant des objets ou résolvant des puzzles.

Navigation : Dans les tâches de labyrinthe, le robot trouve l'objectif plus souvent et emprunte des chemins plus fluides.
Manipulation : Pour les tâches comme réorganiser des blocs ou mettre des objets dans des tiroirs, le robot est nettement plus performant que les méthodes précédentes.
Monde Réel : Lors de tests sur un vrai bras robotique (Franka Panda), la méthode a aidé le robot à atteindre et saisir des objets avec succès, alors que la version non régularisée échouait souvent à se positionner correctement.

En résumé

Cet article présente une façon d'enseigner aux robots comment trouver leurs objectifs en observant le « panorama global » de leur environnement plutôt qu'en s'obsédant par des mesures point par point parfaites. C'est comme dire à un randonneur égaré : « Ne t'inquiète pas de la distance exacte jusqu'au prochain arbre ; regarde simplement la pente générale de la colline et continue de descendre », ce qui s'avère beaucoup plus fiable lorsque le terrain est accidenté et la carte imparfaite.

Résumé Technique : Apprentissage de Valeur Mollifié (Mollified Value Learning)

Énoncé du Problème

L'apprentissage par renforcement hors ligne conditionné par l'objectif (Offline Goal-Conditioned Reinforcement Learning - GCRL) vise à apprendre des politiques capables d'atteindre des états cibles spécifiques à partir de jeux de données statiques pré-collectés, sans interaction supplémentaire avec l'environnement. Un défi central dans ce cadre est l'estimation précise de la fonction de valeur conditionnée par l'objectif (Goal-Conditioned Value Function - GCVF). Alors que les paramétrisations de valeur standard reposent sur la récursion de différence temporelle (TD), elles manquent souvent des biais inductifs structurels nécessaires pour capturer la géométrie sous-jacente de l'atteinte des objectifs. Cette déficience conduit à des estimations de valeur peu informatives ou mal structurées, particulièrement dans les contextes à récompenses éparses et les environnements de haute dimension.

Des approches récentes fondées sur la physique tentent de remédier à cela en imposant des contraintes géométriques ponctuelles dérivées des principes d'optimalité de Hamilton–Jacobi–Bellman (HJB), utilisant souvent l'équation d'Éikonal pour modéliser la géométrie du chemin le plus court. Cependant, l'imposition de la cohérence locale via des opérateurs différentiels explicites (par exemple, des équations aux dérivées partielles du premier ordre) devient instable dans des environnements complexes et de haute dimension. Ces méthodes souffrent d'instabilité numérique due à la couverture parcellaire de l'espace état-action, aux cinématiques complexes et aux difficultés pratiques associées aux réseaux de neurones informés par la physique (PINNs).

Méthodologie : Apprentissage de Valeur Mollifié (MVL)

Les auteurs proposent l'Apprentissage de Valeur Mollifié (Mollified Value Learning - MVL), un cadre qui réinterprète les contraintes géométriques de type distance comme une espérance sur une mesure spatiale locale plutôt qu'en imposant des contraintes ponctuelles.

Intuition Fondamentale

Au lieu d'exiger que la fonction de valeur satisfasse des équations différentielles strictes (sensibles au bruit et à la haute dimension), MVL reformule la cohérence du chemin le plus court comme une espérance spatiale. La méthode postule que la relation de coût de trajet doit être vérifiée en espérance sur un voisinage local d'états. Cette approche agit comme un « mollificateur spatial », induisant une géométrie de valeur de type distance sans nécessiter d'opérateurs différentiels coûteux ou instables.

Formulation Théorique

Cohérence Géométrique : La fonction de valeur optimale $V^*(s, g)$ correspond au chemin le plus court réalisable (géodésique) du point $s$ vers l'objectif $g$ . Cela satisfait l'inégalité triangulaire : $V(s, g) \geq V(s, s') + V(s', g)$ .
Relaxation Locale : Pour une transition d'un état $s$ vers un voisin $s'$ au sein d'un petit pas de temps $\Delta t$ , le coût est approximé par $c(s, g)\Delta t \approx c(s, g)\|s' - s\|$ . La condition de cohérence locale est définie par :
$V(s', g) - V(s, g) - c(s, g)\|s' - s\| \leq 0$
Objectif Mollifié : Plutôt que d'imposer cette inégalité pour chaque transition spécifique, MVL définit un opérateur de résidu $\Phi(V, s, s', g) = V(s', g) - V(s, g) - c(s, g)\|s' - s\|$ et impose son espérance sur une mesure spatiale locale $\rho_\delta(s'|s)$ :
$\mathcal{R}_\delta[V](s, g) := \int \Phi(V, s, s', g) \rho_\delta(s'|s) ds'$
Ici, $\rho_\delta$ est un noyau de transition localisé (par exemple, une distribution gaussienne centrée en $s$ avec un rayon $\delta$ ).
Fonction de Perte : La perte de régularisation géométrique est l'espérance empirique du carré de la partie positive de ce résidu (utilisant ReLU pour pénaliser les violations) :
$L_{MVL}(\theta) = \mathbb{E}_{s,g} \left[ \text{ReLU}(\mathcal{R}_\delta[V_\theta](s, g))^2 \right]$

Implémentation Pratique

Dans les contextes hors ligne sans modèle (model-free), l'intégrale est approximée par l'échantillonnage d'un ensemble fini de voisins $\{s'_1, \dots, s'_N\}$ à partir d'une distribution gaussienne $\mathcal{N}(s, \delta^2 I)$ . La méthode est compatible avec les méthodes existes d'apprentissage de représentation de valeur implicite (telles que GCIVL) et ne nécessite pas d'opérateurs différentiels explicites d'ordre supérieur, ce qui la rend calculablement traitable et robuste à la stochasticité des jeux de données.

Contributions Clés

Nouvelle Formulation : L'article introduit MVL, un cadre d'apprentissage de valeur qui injecte un biais inductif géométrique de type chemin le plus court dans le GCRL hors ligne en résolvant des contraintes de coût de trajet attendues sur des distributions d'états locales.
Stabilité et Traitabilité : En remplaçant les opérateurs différentiels explicites par une intégrale traitable sur une mesure spatiale locale, MVL évite l'instabilité numérique associée aux formulations d'Éikonal et de HJB en haute dimension.
Robustesse au Bruit : La méthode agit comme un filtre passe-bas géométrique, découplant la géométrie de routage spatiale du bruit de bas niveau et des dynamiques non modélisées du jeu de données. Cela est particulièrement efficace dans les environnements stochastiques où les contraintes ponctuelles échouent souvent.
Validation Empirique : L'approche est validée sur 13 tâches basées sur l'état (navigation et manipulation) et des expériences robotiques réelles, démontrant une amélioration de la performance d'atteinte d'objectifs et des représentations de valeur structurées.

Résultats Expérimentaux

Les auteurs ont évalué MVL sur le benchmark OGBench (couvrant des tâches de navigation comme PointMaze, AntMaze et HumanoidMaze, et des tâches de manipulation comme Cube, Scene et Puzzle) ainsi que sur la suite D4RL Franka Kitchen.

Gains de Performance : MVL améliore significativement les taux de succès d'atteinte d'objectifs lorsqu'il est combiné avec des bases d'apprentissage de valeur implicite. Par exemple, sur la tâche cube-single-play, l'ajout de MVL à la représentation Dual-goal a augmenté le succès de 89 % à 91 %. Dans la tâche scene-play, il a amélioré la performance de 72 % à 84 %.
Comparaison avec les Références : MVL surpasse les références standards (GCIVL, VIB, VIP, TRA, BYOL) ainsi que les références informées par la physique utilisant des contraintes d'Éikonal explicites (DUAL+EIK). Notamment, dans les tâches de manipulation complexes où les méthodes basées sur l'Éikonal peinent ou échouent (par exemple, cube-single-play où l'Éikonal n'atteint que 1 % de succès contre 91 % pour MVL), MVL offre une performance robuste.
Robustesse à la Stochasticité : Dans les environnements bruités (par exemple, cube-single-noisy), les méthodes de référence ont souvent chuté à un succès proche de zéro, tandis que MVL a maintenu une performance élevée (99 % de succès), démontant sa capacité à filtrer le bruit de transition.
Déploiement Réel : La méthode a été déployée avec succès sur un robot Franka Emika Panda pour des tâches de "Reach and Grasp" (Atteindre et Saisir) et "Pick and Place" (Prendre et Poser). La régularisation a amélioré les taux de succès de 20 % à 80 % pour Reach and Grasp et de 0 % à 100 % pour Pick and Place, soulignant son utilité face à la variance des capteurs et au frottement dans le monde réel.

Signification et Revendications

L'article affirme que MVL fournit un biais inductif simple et traitable qui améliore l'apprentissage de la valeur dans les tâches de navigation et de manipulation de haute dimension. La principale signification réside dans la démonstration que la géométrie des fonctions de valeur en GCRL peut être définie sans dépendre de formulations différentielles coûteuses et instables.

Les auteurs soulignent que leur approche offre une cohérence géométrique « faible » qui préserve les structures de routage à grande échelle tout en atténuant les irrégularités à petite échelle causées par des données éparses ou du bruit. Ils reconnaissent des limites, notant que la formulation repose sur la distance euclidienne et des noyaux isotropes, ce qui peut ne pas modéliser parfaitement les contraintes non-holonomes ou les dynamiques de contact complexes. Cependant, ils soutiennent que cette simplification permet un apprentissage efficace dans des espaces d'états de haute dimension où les dynamiques exactes sont inconnues, offrant une alternative pratique aux solutions exactes de HJB.

Ce travail suggère une direction plus large pour la recherche future : étendre ces idées de régularisation géométrique à des espaces de représentation appris ou conscients de la variété (manifold-aware), particulièrement dans les domaines visuels où les hypothèses euclidiennes dans les espaces latents peuvent ne pas tenir.