How Should a Simulation-to-Reality Transfer Budget Be Spent?

Résumé Technique : Comment devrait être dépensé un budget de transfert de la simulation à la réalité ?

Énoncé du problème
En apprentissage robotique, le « fossé de réalité » (reality gap) survient lorsque des politiques entraînées en simulation échouent sur du matériel physique en raison de divergences entre la dynamique simulée et la dynamique réelle. Deux stratégies principales traitent ce problème : l'Identification de Système (ID), qui utilise des données de robots réels pour estimer les paramètres physiques et ajuster le simulateur, et la Randomisation de Domaine (DR), qui entraîne des politiques sur une distribution de simulateurs randomisés pour apprendre des comportements robustes. Les deux stratégies sont en compétition pour la même ressource rare : le temps limité d'interaction avec le robot réel (les passages ou rollouts). Alors que la littérature existante étudie souvent ces méthodes de manière isolée, l'arbitrage entre l'allocation de budget pour une mesure précise (ID) versus la justification d'une distribution de randomisation plus large (DR) reste mal compris. Ce document cadre ce choix comme un problème d'allocation de budget : étant donné un nombre fixe de passages sur robot réel, comment doivent-ils être divisés entre l'identification et la largeur de la randomisation ?

Méthodologie
Les auteurs ont mené une étude sim-to-sim contrôlée pour isoler cet arbitrage sans les variables confondantes du matériel physique.

• Configuration : Un simulateur « Réalité » ($R$) avec des paramètres fixes cachés (masse du pendule $m$ et longueur de la tige $\ell$) a servi de système cible. Un simulateur d'« Entraînement » ($T$) permettait d'ajuster ces paramètres. Les paramètres réels ont été fixés à $\theta^* = (2.0, 1.5)$, significativement décalés par rapport au priori nominal $\theta_0 = (1.0, 1.0)$.
• Allocation du budget : L'étude a fait varier deux variables indépendantes :
  1. $n$ (Budget d'Identification) : Le nombre de passages sur $R$ utilisés pour estimer les paramètres. Ces passages utilisaient une politique d'excitation de couple aléatoire. Les paramètres ont été estimés via une recherche par grille minimisant l'erreur de prédiction de la vitesse angulaire à un pas, sous un bruit de capteur gaussien ($\sigma=1.0$).
  2. $w$ (Largeur de Randomisation) : La largeur de la distribution uniforme utilisée pour randomiser les paramètres pendant l'entraînement, définie comme une fraction de l'estimation ponctuelle $\hat{\theta}$. $w=0$ implique un entraînement à l'estimation ponctuelle ; un $w$ plus grand implique une bande plus large centrée sur $\hat{\theta}$.
• Entraînement et Évaluation : Pour chaque configuration $(n, w)$, une politique Soft Actor-Critic (SAC) a été entraînée pendant 75 000 étapes. La performance a été évaluée via le rendement zero-shot sur le système cible caché $R$ sur 20 épisodes déterministes.
• Portée : L'étude a balayé $n \in \{0, 5, 10, 25, 50\}$ et $w \in \{0, 0.1, 0.2, 0.3, 0.5\}$ sur dix graines (seeds), totalisant 250 exécutions. La signification statistique a été évaluée à l'aide d'intervalles de confiance par bootstrap apparié.

Résultats Clés
Les expériences ont révélé une hiérarchie distincte dans la valeur de la mesure par rapport à l'étendue de la randomisation :

1. Dominance de la Mesure : L'allocation des passages de robot réel à l'identification ($n$) est le principal moteur de la performance. Le fossé de transfert se réduit brusquement dès les premiers passages. Plus précisément, passer de $n=0$ à $n=10$ a produit une amélioration massive du rendement (environ +427 points), tandis qu'augmenter $n$ au-delà de 10 offrait des rendements décroissants.
2. Les Estimations Ponctuelles Surpassent la Randomisation : Une fois que des données réelles sont disponibles ($n > 0$), l'entraînement aux paramètres ponctuels estimés ($w=0$) surpasse de manière significative l'entraînement sur toute bande de randomisation élargie. Même une bande étroite ($w=0.2$) a entraîné des rendements statistiquement inférieurs par rapport à $w=0$.
3. La Randomisation ne peut Substituer la Mesure : Une randomisation large qui contient théoriquement le système (ex: une base de gamme de priori couvrant $[0.3, 3.0]$) n'a pas réussi à substituer la mesure. Les politiques entraînées avec $n=0$ et une large randomisation ont été peu performantes (rendement $\approx -749$), comparables à la ligne de base $n=0, w=0$, et nettement moins bonnes que la ligne de base « pure fidélité » $n=50, w=0$ (rendement $\approx -337$).
4. Robustesse : Ces résultats se sont maintenus à travers différents fossés de réalité (petits, principaux, larges) et niveaux de bruit de capteur. Bien que le « coude » spécifique de la courbe de budget se déplace avec les niveaux de bruit (ex: nécessitant plus de passages à des bruits plus élevés), l'ordre qualitatif reste le même : la mesure est critique, et élargir la bande après la mesure est préjudiciable.

Contributions et Signification
Le papier ne propose pas un nouvel algorithme mais fournit une caractérisation mesurable de l'arbitrage entre identification et randomisation sous un budget fixe.

• Formalisation : Il formule le choix entre l'ID et la DR comme un problème unique d'allocation de budget et cartographie la surface complète des rendements.
• Preuve Empirique : Il démontre que dans un régime où la dynamique est identifiable et où la famille de simulateurs contient le système cible, la mesure domine l'étendue. Un petit nombre de passages d'identification comble la majeure partie du fossé de transfert.
• Recommandation Stratégique : Les auteurs concluent que les pipelines sim-to-real devraient prioriser la mesure des paramètres qui peuvent être identifiés dans la classe de modèle du simulateur. La randomisation de domaine ne doit être réservée qu'à l'incertitude qui subsiste après la mesure, plutôt que d'être utilisée comme un substitut à celle-ci.

Limites et Portée
Les auteurs notent explicitement que ces résultats s'appliquent à un « régime bénin » où :

• Le simulateur est bien spécifié (pas de mésappariement structurel du modèle).
• Seuls deux paramètres sont inconnus.
• Le système réel est représentable par la famille de simulateurs.

Le papier reconnaît que dans des scénarios réels impliquant des mésappariements structurels (ex: frottement non modélisé, jeu mécanique ou dynamique de contact) où aucun ajustement de paramètre ne peut reproduire parfaitement la cible, la valeur de l'étendue de la randomisation peut augmenter. Les résultats actuels servent de référence pour ce cadre plus difficile, suggérant que lorsque les paramètres peuvent être identifiés, la fidélité doit précéder la randomisation.