🤖 machine learning

When Dynamics Shift, Robust Task Inference Wins: Offline Imitation Learning with Behavior Foundation Models Revisited

Ce papier propose un cadre d'optimisation minimax robuste pour les modèles de base comportementaux, permettant un apprentissage par imitation hors ligne efficace et une adaptation à des décalages dynamiques non vus en utilisant uniquement des données d'environnement nominales, surpassant significativement les références existantes sans nécessiter de modifications de préentraînement.

Auteurs originaux : Rishabh Agrawal, Rahul Jain, Ashutosh Nayyar

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rishabh Agrawal, Rahul Jain, Ashutosh Nayyar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à marcher, courir ou sauter. Traditionnellement, vous montrez au robot une vidéo d'un expert exécutant la tâche, et le robot tente de l'imiter. Cela s'appelle l'Apprentissage par Imitation.

Cependant, il y a un piège : les robots sont souvent entraînés dans une simulation parfaite et sans frottement (comme un jeu vidéo), mais lorsqu'ils passent au monde réel, les choses changent. Le sol peut être glissant, les articulations du robot rouillées, ou ses moteurs plus faibles. Si le robot n'a été appris qu'à copier la vidéo « parfaite », il tombera probablement dès que la réalité deviendra désordonnée.

Cet article présente une nouvelle méthode pour enseigner aux robots qui les rend beaucoup plus résistants à ces changements du monde réel, sans avoir besoin de les réentraîner depuis zéro.

Voici le détail utilisant des analogies simples :

1. Le Problème : Le Piège de la « Pratique Parfaite »

Les auteurs utilisent ce qu'ils appellent des Modèles Fondamentaux de Comportement (BFM). Imaginez un BFM comme un chef étoilé qui a goûté des milliers de plats différents et appris les « profils de saveurs » fondamentaux de la cuisine.

Fonctionnement habituel : Le chef apprend ces saveurs dans une cuisine parfaite avec des ingrédients parfaits. Lorsqu'on lui demande de cuisiner un nouveau plat, il peut rapidement trouver la recette en regardant seulement quelques ingrédients.
Le défaut : Si le chef tente de cuisiner dans une cuisine où le four est cassé, l'eau est salée ou les ingrédients sont périmés, la recette de la « cuisine parfaite » échoue. Le chef suppose que la cuisine est toujours parfaite, donc le plat se révèle terrible.

En robotique, cela signifie que si l'environnement du robot change (comme un changement de gravité ou de frottement), le robot standard échoue car il n'a jamais appris à gérer des cuisines « cassées ».

2. La Solution : Le Chef du « Pire Cas »

Les auteurs proposent une nouvelle méthode appelée RBFM (Modèle Fondamental de Comportement Robuste). Au lieu de simplement copier l'expert, ils enseignent au robot à se préparer à la version la pire possible de l'environnement pendant qu'il apprend la tâche.

Imaginez que le chef s'entraîne maintenant avec un perturbateur à ses côtés.

Le Jeu : Le chef tente de trouver la recette (la tâche). Le perturbateur tente de saboter la cuisine en rendant le four plus chaud, le sol glissant ou les ingrédients rassis (simulant des « changements de dynamique »).
L'Objectif : Le chef doit trouver une recette qui reste bonne même lorsque le perturbateur fait de son pire.
Le Résultat : Le chef apprend une recette « robuste ». Lorsqu'il va dans le monde réel, même si le four est légèrement cassé ou le sol mouillé, le plat fonctionne toujours car il a pratiqué pour ces scénarios exacts.

3. L'Astuce de Magie : Aucun Nouvel Entraînement Nécessaire

Habituellement, pour enseigner à un robot à gérer des fours cassés, vous devriez lui montrer des vidéos de cuisson dans des cuisines cassées. C'est coûteux et difficile à faire.

La grande percée de l'article est que vous n'avez pas besoin de nouvelles vidéos.

Ils prennent le robot qui a déjà été entraîné sur les données de la « cuisine parfaite ».
Ils ne modifient que la dernière étape (appelée « Inférence de Tâche »).
Lorsqu'on demande au robot d'effectuer un nouveau travail, il exécute une simulation mentale rapide : « Si le sol est glissant, comment dois-je bouger mes pieds ? Si le moteur est faible, quelle force dois-je utiliser ? »
Il calcule le meilleur mouvement en supposant que l'environnement pourrait être légèrement cassé, tout en utilisant les mêmes anciennes données à partir desquelles il a appris.

4. Deux Versions du Robot

L'article propose deux façons de faire cette réflexion du « pire cas », en faisant un compromis entre vitesse et sécurité :

RBFM-Light (Le Penseur Rapide) : Cette version est rapide. Elle fait une estimation rapide de la gravité potentielle de l'environnement et ajuste légèrement son plan. C'est comme un conducteur qui voit une flaque d'eau et ralentit un peu, juste au cas où. Elle est très rapide à calculer.
RBFM-Heavy (Le Planificateur Prudent) : Cette version est plus lente mais plus approfondie. Elle ne se contente pas de deviner ; elle prouve mathématiquement que son plan fonctionnera même si l'environnement change de manières spécifiques et complexes. C'est comme un conducteur qui vérifie la carte, la météo et les conditions de la route avant de faire un seul pas. Cela prend un peu plus de temps mais est plus sûr.

5. Les Résultats : Gagner dans le Monde Réel

Les auteurs ont testé cela sur des robots qui marchent, courent et sautent (comme un humain, un chien et un guépard). Ils ont perturbé la physique lors du test :

Ils ont rendu la gravité plus forte.
Ils ont rendu le sol glissant ou mou.
Ils ont rendu les articulations du robot rigides ou faibles.

Le Résultat :

Robots Standards (FB-IL) : Lorsque l'environnement a changé, ils se sont effondrés immédiatement.
Anciennes Méthodes « Robustes » : Elles fonctionnaient bien mais étaient incroyablement lentes, prenant des heures pour déterminer une seule tâche.
Les Nouveaux Robots RBFM : Ils ont mieux géré les changements que les robots standards et étaient des milliers de fois plus rapides que les anciennes méthodes robustes. Ils pouvaient s'adapter à un nouvel environnement cassé en quelques minutes, et non en heures.

Résumé

L'article dit : « N'enseignez pas seulement au robot à copier l'expert ; enseignez-lui à copier l'expert en supposant que le monde pourrait être cassé. »

En faisant cette planification du « pire cas » à la toute dernière étape de l'apprentissage, ils ont créé un système qui est à la fois super rapide (comme un modèle fondamental) et super résistant (comme un robot capable de gérer le chaos du monde réel), le tout sans avoir besoin de collecter de nouvelles données désordonnées.

Résumé technique : Lorsque les dynamiques évoluent, l'inférence de tâche robuste l'emporte

Énoncé du problème

Les modèles de fondation comportementaux (Behavior Foundation Models, BFMs) sont devenus une solution évolutive pour l'apprentissage par imitation (IL), permettant aux agents de s'adapter rapidement à de nouvelles tâches en pré-entraînant des représentations agnostiques aux tâches sur des données hors ligne diversifiées. Cependant, les BFMs standards opèrent sous une hypothèse critique : que les dynamiques de l'environnement lors du pré-entraînement et du déploiement sont identiques. Dans les scénarios réels, cette hypothèse est fréquemment violée en raison de divergences simulation-réalité, d'usure mécanique, de bruit des capteurs et de variations environnementales (par exemple, changements de frottement, limites d'actionnement ou gravité).

Les remèdes existants à cette fragilité, tels que les encodeurs de croyance conditionnés par les dynamiques ou les architectures augmentées par la mémoire, nécessitent généralement des données de pré-entraînement couvrant une grande variété de régimes dynamiques. Cette exigence est souvent coûteuse, longue et irréalisable dans des contextes pratiques où seules des données hors ligne provenant d'un seul environnement nominal sont disponibles. La question centrale abordée par ce travail est : Les BFMs peuvent-ils être rendus robustes aux changements de dynamiques de l'environnement lorsque seules des données hors ligne d'un seul environnement nominal sont disponibles ?

Méthodologie

Les auteurs proposent un cadre qui déplace le fardeau de la robustesse de la phase de pré-entraînement vers la phase d'inférence de tâche. Au lieu de modifier le BFM pré-entraîné ou de nécessiter des données de pré-entraînement multi-dynamiques, ils formulent le problème d'inférence de tâche comme une optimisation minimax robuste sur un ensemble d'incertitude des dynamiques de l'environnement.

L'approche centrale consiste à apprendre une embedding de tâche latente $z$ qui minimise la perte d'imitation face à un adversaire. L'adversaire, à son tour, sélectionne un modèle de transition au sein d'un ensemble d'incertitude spécifié (défini par une boule de divergence totale variation ou $f$ -divergence autour des dynamiques nominales) qui maximise cette perte. Cela produit une embedding de tâche qui « se couvre » contre les changements de dynamiques plausibles sans modifier la procédure de pré-entraînement.

Deux algorithmes spécifiques sont introduits pour équilibrer l'efficacité computationnelle et la robustesse :

RBFM-Light : Cette variante relâche les perturbations de dynamiques dans un ensemble d'incertitude sur l'occupation des états. En caractérisant la sensibilité de la mesure d'occupation des états actualisée aux perturbations du noyau de transition, les auteurs dérivent un objectif hors ligne traitable. Cette approche introduit un seul paramètre de robustesse optimisé conjointement avec l'embedding de tâche $z$ , atteignant la robustesse avec une surcharge computationnelle minimale.
RBFM-Heavy : Cette variante impose la robustesse par le biais de contraintes de flux de Bellman explicites. Elle garantit que les mesures d'occupation perturbées correspondent à des distributions stationnaires valides induites par la politique experte sous la structure MDP sous-jacente. En intégrant des contraintes de réalisabilité et en utilisant une divergence $f$ (spécifiquement un générateur SoftTV lisse), cette méthode évite les solutions excessivement conservatrices qui pourraient résulter de perturbations d'occupation non contraintes. Elle résout un problème d'optimisation bi-niveau impliquant l'estimation de variables duales (multiplicateurs de Lagrange) et du vecteur de tâche $z$ .

Les deux méthodes reposent exclusivement sur des données hors ligne de l'environnement nominal pour le pré-entraînement et un petit ensemble de démonstrations expertes pour l'inférence de tâche. Aucune donnée experte provenant d'environnements perturbés n'est requise à aucun stade.

Contributions clés

Formulation robuste : L'article propose une formulation robuste de l'inférence de tâche BFM via une optimisation minimax sur un ensemble d'incertitude des dynamiques de l'environnement. Cela permet une robustesse aux changements de dynamiques sans aucune modification du processus de pré-entraînement du BFM.
Variantes algorithmiques : Les auteurs introduisent RBFM-Light et RBFM-Heavy, deux algorithmes offrant un compromis entre efficacité computationnelle et robustesse tout en préservant la propriété d'inférence de tâche rapide inhérente aux BFMs.
Efficacité des données : L'approche nécessite uniquement un seul jeu de données exploratoire collecté dans le cadre nominal pour le pré-entraînement et un petit ensemble de démonstrations expertes pour l'inférence. Cela contraste avec les travaux antérieurs qui s'appuient sur des données provenant de multiples environnements divers pour apprendre des représentations robustes.
Nouveauté : À la connaissance des auteurs, il s'agit du premier travail à atteindre une robustesse aux variations de dynamiques de l'environnement dans le cadre BFM sans nécessiter de pré-entraînement ni de données expertes provenant de régimes de dynamiques multiples.

Résultats expérimentaux

Les auteurs ont évalué leurs méthodes sur le benchmark ExORL à travers trois environnements morphologiquement divers : Walker, Quadruped et Cheetah, en utilisant des jeux de données générés par des stratégies d'exploration non supervisées (RND, APS, PROTO). Ils ont introduit diverses perturbations physiques, notamment des changements de gravité, une mise à l'échelle de la masse corporelle, un frottement articulaire, une gravité inclinée et un recadrage de la plage de contrôle des actionneurs.

Robustesse vs BFM standard : Dans tous les environnements et types de perturbations, les deux variantes RBFM ont systématiquement surpassé la ligne de base FB-IL standard. À mesure que la sévérité de la perturbation augmentait, l'écart de performance s'élargissait, FB-IL présentant la dégradation la plus abrupte. RBFM-Heavy a généralement obtenu les meilleurs retours, suivi de RBFM-Light.
Comparaison avec l'IL robuste à tâche unique : Les méthodes proposées ont été comparées à des lignes de base d'IL hors ligne distribuativement robustes à tâche unique (DRBC et BE-DROIL). Bien que les lignes de base à tâche unique aient surpassé FB-IL à des niveaux de perturbation élevés, le cadre RBFM a maintenu une supériorité constante sur FB-IL et les lignes de base à tâche unique sur l'ensemble de la gamme de perturbations. Cela met en évidence l'avantage du pré-entraînement multi-tâches combiné à une inférence robuste.
Efficacité computationnelle : Une découverte critique est l'efficacité de l'approche. Les lignes de base robustes à tâche unique nécessitaient plusieurs heures (5 à 6 heures) par tâche pour l'optimisation. En revanche, les variantes RBFM ont réduit le temps d'inférence spécifique à la tâche à quelques minutes (5 à 10 minutes), les rendant plusieurs ordres de grandeur plus rapides tout en atteignant une robustesse supérieure.
Sensibilité aux données et aux paramètres : L'étude a montré que l'inférence de tâche robuste dépendait crucialement de la qualité des représentations FB apprises, nécessitant des données de pré-entraînement suffisantes (par exemple, 1 million de transitions) pour devenir expressives. De plus, il a été constaté que le paramètre de robustesse $\epsilon$ contrôlait le compromis entre performance nominale et robustesse, une valeur intermédiaire ( $\epsilon=0,8$ ) offrant le meilleur compromis global.

Importance et affirmations

L'article affirme que des politiques robustes peuvent être obtenues entièrement au moment de l'inférence de tâche, améliorant considérablement la praticité des BFMs dans des environnements dynamiques. En découplant la robustesse du pré-entraînement, le cadre proposé permet à un modèle pré-entraîné unique d'être adapté de manière robuste à de nouvelles tâches en utilisant uniquement des données hors ligne d'un seul environnement nominal.

Les auteurs soulignent que cette approche répond à une limitation fondamentale des BFMs actuels — leur fragilité face aux incohérences de dynamiques — sans encourir les coûts prohibitifs du pré-entraînement multi-environnements ni l'inefficacité computationnelle de l'optimisation robuste par tâche. Les résultats démontrent que la robustesse peut être « intégrée » lors de l'étape d'inférence, offrant une voie évolutive pour déployer des modèles de fondation dans des environnements réels et non structurés où les dynamiques sont sujettes à des changements imprévisibles.