💻 computer science

Continual Domain Randomization

Ce papier propose la Randomisation de Domaine Continue (CDR), une approche novatrice qui combine la randomisation de domaine avec l'apprentissage continu pour entraîner séquentiellement des politiques d'apprentissage par renforcement sur des sous-ensembles de paramètres de simulation, surmontant ainsi la sous-optimalité de la randomisation simultanée et permettant un transfert robuste de la simulation vers la réalité dans les tâches robotiques.

Auteurs originaux : Josip Josifovski, Sayantan Auddy, Mohammadhossein Malmir, Justus Piater, Alois Knoll, Nicolás Navarro-Guerrero

Publié 2026-04-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Josip Josifovski, Sayantan Auddy, Mohammadhossein Malmir, Justus Piater, Alois Knoll, Nicolás Navarro-Guerrero

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment saisir une tasse. La méthode la plus intelligente consiste généralement à laisser le robot s'entraîner des millions de fois dans une simulation informatique au préalable, afin qu'il ne brise pas le vrai robot et ne blesse personne. Mais voici le problème : une simulation informatique n'est jamais parfaitement identique au monde réel. Le vrai robot pourrait être légèrement plus lourd, les moteurs pourraient être un peu plus lents, ou les capteurs pourraient être un peu « bruyants ». Cette différence est appelée le « fossé réalité ». Si vous entraînez un robot dans une simulation parfaite, il échoue souvent lamentablement lorsque vous le placez dans le monde réel, car il a appris à dépendre de la perfection de la simulation.

Pour résoudre ce problème, les scientifiques utilisent une astuce appelée Randomisation de Domaine. Au lieu d'essayer de rendre la simulation parfaite, ils la perturbent intentionnellement. Ils rendent le robot plus lourd dans une exécution, plus léger dans la suivante, ajoutent du bruit de capteur factice ou introduisent des délais dans les commandes. L'idée est que si le robot apprend à gérer toutes ces versions perturbées, il sera suffisamment robuste pour affronter le monde réel, qui n'est qu'une autre version de « désordre ».

Le Problème de l'Ancienne Méthode
La méthode traditionnelle revient à essayer d'apprendre à nager en sautant dans un océan déchaîné avec de forts courants, de grosses vagues et une eau froide, le tout dès votre tout premier jour. C'est trop difficile ! Le robot est submergé, confus, et apprend une mauvaise stratégie (ou n'apprend rien du tout) parce que la tâche est trop ardue.

La Nouvelle Solution : Randomisation de Domaine Continue (CDR)
Les auteurs de cet article proposent une manière plus intelligente d'apprendre, qu'ils appellent Randomisation de Domaine Continue (CDR). Imaginez cela comme apprendre à conduire une voiture :

Commencez Facile : D'abord, vous apprenez à conduire dans un parking vide et parfait, sans vent, sans autres voitures et avec des pneus parfaits. Vous maîtrisez les bases.
Ajoutez un Défi à la Fois : Une fois que vous êtes bon dans ce domaine, on ne vous jette pas soudainement dans un ouragan. Au lieu de cela, vous ajoutez juste un nouveau défi. Peut-être conduisez-vous sous la pluie. Une fois que vous maîtrisez la pluie, vous ajoutez le vent. Une fois que vous maîtrisez le vent, vous ajoutez la circulation dense.
Rappelez-vous de Tout : La partie délicate est que lorsque vous apprenez à conduire sous la pluie, vous ne devriez pas oublier comment conduire sur un revêtement sec. C'est là que la partie « Apprentissage Continu » intervient. Le robot utilise une technique de mémoire spéciale (appelée Consolidation Élastique des Poids) qui agit comme un « filet de sécurité ». Elle permet au robot d'apprendre de nouvelles compétences (comme gérer la pluie) sans « oublier » les anciennes compétences (conduire sur un revêtement sec).

Comment Ils L'Ont Testé
Les chercheurs ont testé cette idée sur deux tâches :

Atteinte : Un bras robotique essayant de toucher un point spécifique.
Préhension : Une tâche plus complexe où un bras robotique doit trouver une boîte, aligner parfaitement sa pince et la saisir.

Ils ont comparé leur méthode « étape par étape » (CDR) à deux autres approches :

Le Simulateur « Parfait » : Un entraînement uniquement dans un monde propre et parfait (qui échoue dans la réalité).
Le Simulateur « Chaos » : Jeter tous les problèmes (pluie, vent, circulation) sur le robot en même temps.
La Méthode « Oublieuse » : Ajouter des problèmes un par un mais sans utiliser le filet de sécurité mémoire (de sorte que le robot oublie les étapes précédentes).

Les Résultats
Les résultats étaient impressionnants :

Le robot entraîné avec CDR a appris efficacement dans la simulation.
Lorsqu'ils ont déplacé le robot dans le monde réel, il a performé mieux ou tout aussi bien que le robot entraîné en mode « Chaos ».
Crucialement, CDR était plus stable. Peu importait l'ordre dans lequel ils ajoutaient les défis (pluie d'abord contre vent d'abord) ; le robot apprenait toujours bien. La méthode « Oublieuse », en revanche, avait des difficultés si l'ordre des défis changeait.

En Bref
Cet article montre que, au lieu de noyer un robot dans une mer de variables aléatoires toutes à la fois, il vaut mieux lui enseigner étape par étape, en ajoutant une difficulté à la fois tout en s'assurant qu'il se souvient de la façon de gérer les précédentes. Cela crée un robot prêt pour le monde réel désordonné et imprévisible, sans avoir besoin d'être testé dans le monde réel pendant l'entraînement.

1. Énoncé du problème

L'apprentissage par renforcement profond (DRL) en robotique repose souvent sur des environnements simulés pour surmonter l'inefficacité de l'échantillonnage et les préoccupations de sécurité. Cependant, le "fossé de réalité" — la divergence entre la simulation et le monde réel — entraîne souvent une mauvaise performance lors du transfert de politiques (sim2réel) sans ajustement ultérieur.

Limites des approches actuelles :
- Simulation parfaite : Impossible à réaliser pour des systèmes complexes en raison de l'usure matérielle et des changements environnementaux.
- Adaptation de domaine (Finetuning) : Nécessite des données du monde réel, ce qui est chronophage et potentiellement dangereux.
- Randomisation de domaine (DR) standard : Randomise tous les paramètres de simulation simultanément pour couvrir le fossé de réalité. Cependant, la randomisation de trop nombreux paramètres à la fois augmente la complexité de la tâche et l'incertitude de l'agent, conduisant souvent à des politiques sous-optimales ou à un échec de convergence.
- Randomisation séquentielle sans CL : L'entraînement séquentiel sur des sous-ensembles de paramètres sans conserver la connaissance des étapes précédentes conduit à un oubli catastrophique, où l'agent surajuste à la randomisation la plus récente et perd sa robustesse face aux précédentes.

2. Méthodologie : Randomisation de domaine continue (CDR)

Les auteurs proposent la Randomisation de domaine continue (CDR), un cadre qui combine la randomisation de domaine avec l'apprentissage continu (CL) pour permettre un entraînement séquentiel sur des sous-ensembles de paramètres de randomisation tout en conservant la connaissance des étapes précédentes.

Flux de travail principal

Initialisation : L'agent est d'abord entraîné dans une simulation idéalisée (sans randomisation) pour apprendre la tâche de base.
Entraînement séquentiel : L'agent est ensuite entraîné sur une séquence de simulations, où chaque étape active un sous-ensemble spécifique de paramètres de randomisation (par exemple, latence, couple, bruit).
Apprentissage continu : Pour prévenir l'oubli catastrophique, le système utilise des algorithmes de CL basés sur la régularisation pour "se souvenir" des effets des randomisations précédentes.

Implémentation algorithmique

Les auteurs implémentent deux variantes utilisant l'optimisation de politique proximale (PPO) combinée à la consolidation élastique des poids (EWC) :

CDR-λ (Hors ligne) :
- Utilise l'EWC pour régulariser le réseau de politique.
- Maintient une capture distincte des paramètres du réseau ( $\theta^*$ ) et de la matrice d'information de Fisher empirique (FIM) pour chaque tâche passée.
- Fonction de perte : $L(\theta) = L_C(\theta) + \sum \frac{\lambda_i}{2} ||\theta - \theta^*_i||^2_{F_i}$
- Compromis : Utilisation élevée de la mémoire (échelle linéaire avec le nombre de tâches) mais forte rétention des connaissances passées.
CDR-Oλ (En ligne) :
- Utilise une variante EWC en ligne pour réduire la surcharge mémoire.
- Maintient une seule capture du réseau et une seule matrice d'information de Fisher cumulative.
- La matrice de Fisher est mise à jour de manière récursive : $F^*_i = \gamma F^*_{i-1} + F_i$ .
- Compromis : Utilisation constante de la mémoire, mais potentiellement une rétention plus faible des tâches très anciennes par rapport à la version hors ligne.
Normalisation : Un détail technique clé est la normalisation des éléments de la matrice d'information de Fisher dans l'intervalle $[0.0, 1.0]$ après chaque tâche. Cela découple la constante de régularisation $\lambda$ de l'échelle arbitraire des différentes tâches, permettant d'utiliser un seul $\lambda$ sur toute la séquence.

3. Configuration expérimentale

Les auteurs ont évalué la CDR sur deux tâches de manipulation robotique utilisant un bras KUKA LBR iiwa 14 :

Tâche d'atteinte : Un bras à 2 articulations atteignant une cible.
Tâche de préhension : Un bras redondant à 7 articulations avec une pince Robotiq à 3 doigts saisissant un cube.

Paramètres de randomisation :
Trois paramètres ont été randomisés séquentiellement dans différents ordres (par exemple, Couple $\to$ Latence $\to$ Bruit) :

Latence (L) : Délai aléatoire dans l'observation de l'état.
Couple (T) : Raideur et amortissement des articulations randomisés.
Bruit (N) : Bruit des capteurs.

Lignes de base :

Idéal : Entraîné dans une simulation non randomisée.
Randomisé : Entraîné avec tous les paramètres randomisés simultanément.
Finetuning : Entraînement séquentiel sans CL (sans régularisation).

4. Résultats clés

Tâche d'atteinte

Performance Sim2réel : Le modèle Idéal a obtenu les meilleurs résultats en simulation mais a échoué dans le monde réel (fort tremblement, faible récompense) en raison du surajustement. La ligne de base Randomisée a bien performé dans la réalité mais a obtenu des récompenses de simulation plus faibles.
Performance CDR : Les deux variantes CDR ont atteint un transfert sim2réel comparable ou supérieur à la ligne de base entièrement Randomisée.
- CDR-Oλ a obtenu les récompenses et la stabilité les plus élevées dans le monde réel.
- Le Finetuning a bien performé en simulation mais a montré un transfert vers le monde réel médiocre par rapport à la CDR, confirmant que l'oubli des randomisations précédentes est préjudiciable.
Sensibilité à l'ordre : Les lignes de base séquentielles (Finetuning) étaient très sensibles à l'ordre de randomisation. La CDR était significativement plus robuste face à l'ordre des paramètres.

Tâche de préhension

Complexité : La tâche de préhension était plus difficile, nécessitant une plus grande précision.
Stabilité : Les stratégies CDR ont montré une variance plus faible et un progrès d'entraînement plus stable par rapport au Finetuning.
Succès dans le monde réel :
- CDR-Oλ a obtenu un taux de réussite de préhension de 78 % en simulation et 60 % dans la réalité (avec l'ordre NLT), surpassant la ligne de base Randomisée (40 % de réussite réelle).
- Le Finetuning a montré une forte variance ; selon l'ordre, il pouvait être le meilleur ou le pire performer, soulignant son instabilité.
- Les modèles CDR ont fourni des performances constantes indépendamment de l'ordre de randomisation.

Force de régularisation ( $\lambda$ )

$\lambda$ faible : Les modèles se comportent comme un Finetuning (oubli des tâches précédentes), conduisant à un transfert vers le monde réel médiocre.
$\lambda$ élevé : Les modèles deviennent trop rigides, incapables de s'adapter aux nouvelles randomisations, entraînant une mauvaise performance à la fois en simulation et dans la réalité.
Plage optimale : Une plage intermédiaire de $\lambda$ a fourni le meilleur équilibre, permettant l'adaptation tout en conservant la robustesse.

5. Contributions clés

Nouveau cadre : Introduction de la Randomisation de domaine continue (CDR), qui traite la randomisation de domaine comme un problème d'apprentissage continu pour introduire séquentiellement de la complexité sans oubli catastrophique.
Efficacité mémoire : Développement d'une variante CDR en ligne (CDR-Oλ) qui évite l'échelle linéaire de la mémoire de l'EWC traditionnel en maintenant une seule matrice de Fisher, la rendant évolutive pour de longues séquences de randomisations.
Robustesse à l'ordre : Démonstration que la CDR est moins sensible à l'ordre dans lequel les paramètres de randomisation sont introduits par rapport au finetuning séquentiel standard.
Transfert Zero-Shot : Transfert réussi sim2réel zero-shot sur de vrais robots sans nécessiter de données d'entraînement du monde réel ni d'adaptation de domaine.

6. Importance et conclusion

Le papier aborde un goulot d'étranglement critique dans l'apprentissage par renforcement robotique : le compromis entre la difficulté de l'entraînement avec une randomisation élevée et le risque de surajustement à une simulation spécifique. En intégrant l'apprentissage continu, la CDR permet aux agents d'"apprendre à apprendre" à travers des conditions de simulation variables, construisant une politique robuste à un large éventail de dynamiques.

Impact pratique : La CDR offre un cadre flexible et général pour le transfert sim2réel qui ne nécessite pas de définir tous les paramètres de randomisation à l'avance ni d'avoir accès à des données du monde réel pour le finetuning.
Travaux futurs : Les auteurs suggèrent de combiner la CDR avec une randomisation de domaine automatisée ou active pour déterminer dynamiquement les plages de paramètres optimales et d'étendre l'approche à la randomisation basée sur la vision.

En résumé, la CDR fournit une alternative supérieure à la fois à la randomisation statique et au finetuning séquentiel simple, atteignant des performances sim2réel de l'état de l'art dans des tâches complexes de manipulation robotique.