💻 computer science

BEACON: Cross-Domain Co-Training of Generative Robot Policies via Best-Effort Adaptation

BEACON est un cadre théorique qui améliore la robustesse et l'efficacité des données des politiques robotiques génératives dans des contextes interdomaines en formulant le co-entraînement comme un problème de rééchantillonnage par pondération d'importance sensible aux écarts, optimisant conjointement une politique visuomotrice basée sur la diffusion et des poids par échantillon pour minimiser l'erreur de généralisation vers le domaine cible.

Auteurs originaux : Antong Zhang, Han Qi, Heng Yang

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Antong Zhang, Han Qi, Heng Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un bras robotique comment empiler des blocs. Vous disposez de deux types de données d'entraînement :

Les données « Source » : Une immense bibliothèque de vidéos montrant des robots effectuant la tâche dans un monde parfait, généré par ordinateur (simulation). Il existe des milliers de ces vidéos, mais l'éclairage, les textures et la physique sont légèrement différents du monde réel.
Les données « Cible » : Une poignée précieuse et minuscule de vidéos montrant un vrai robot effectuant la tâche dans votre vraie cuisine. Elles sont coûteuses et difficiles à obtenir, mais ce sont les seules qui comptent vraiment pour le travail final.

Le Problème :
Si vous mélangez simplement toutes les vidéos informatiques avec les quelques vidéos réelles et enseignez au robot de manière égale à partir de l'ensemble, le robot se perd. Le monde informatique est trop différent du monde réel (friction, éclairage, angles de caméra différents). Le robot pourrait apprendre à empiler des blocs parfaitement dans la simulation mais échouer lamentablement dans la vraie cuisine.

Si vous n'utilisez que les quelques vidéos réelles, le robot n'apprend pas assez et échoue à généraliser.

La Solution : BEACON
L'article présente une nouvelle méthode appelée BEACON (Best-Effort Adaptation for Cross-Domain Co-Training). Imaginez BEACON non pas comme un enseignant, mais comme un éditeur intelligent ou un conservateur.

Au lieu de traiter chaque vidéo d'entraînement de manière égale, BEACON attribue un « score de pertinence » (un poids) à chaque vidéo individuelle de l'immense bibliothèque.

L'idée du « Best-Effort » : Le système demande : « Parmi ces milliers de vidéos factices, lesquelles ressemblent et se sentent réellement comme les quelques vidéos réelles que j'ai ? »
Le processus d'édition :
- Si une vidéo informatique montre un robot se déplaçant d'une manière très similaire au vrai robot, BEACON lui attribue un score élevé. Il dit : « Utilisez celle-ci ! Elle est utile ! »
- Si une vidéo informatique montre quelque chose d'étrange ou d'irréaliste (comme un bloc glissant sur de la glace alors que les vrais blocs glissent sur du bois), BEACON lui attribue un score faible (ou zéro). Il dit : « Ignorez celle-ci. Elle va embrouiller le robot. »

Comment cela fonctionne (Le tour de magie) :
Habituellement, les gens tentent de forcer le monde informatique et le monde réel à se ressembler en modifiant les couleurs ou les textures (comme appliquer un filtre sur une photo). BEACON fait quelque chose de différent.

Il ne tente pas de faire ressembler les mondes. Au lieu de cela, il sélectionne les moments spécifiques dans le monde informatique qui sont déjà utiles pour le monde réel.

Analogie : Imaginez que vous apprenez à cuisiner un plat spécifique. Vous avez une recette de votre grand-mère (les données réelles) et mille recettes d'un célèbre chef télévisé qui utilise des ingrédients différents (les données source).
- L'ancienne méthode : Vous essayez de forcer les ingrédients du chef télévisé à correspondre à ceux de votre grand-mère, ou vous les mélangez tous ensemble.
- La méthode BEACON : Vous lisez les mille recettes du chef télévisé et vous ne sélectionnez que les étapes qui correspondent à la technique de votre grand-mère. Vous ignorez le reste. Vous apprenez à partir des quelques étapes de la grand-mère, mais vous comblez les lacunes avec les étapes les mieux adaptées du chef télévisé.

Le Résultat Surprenant :
L'article a découvert qu'en procédant à cette « sélection intelligente », le cerveau du robot (son réseau de neurones) a naturellement commencé à mieux comprendre le monde réel. Même si le système n'avait pas explicitement reçu l'ordre de « aligner les caractéristiques » ou de « faire correspondre les motifs », l'acte de sélectionner les bonnes données a poussé le robot à apprendre les bons motifs automatiquement. C'est comme un étudiant qui n'étudie que les questions d'exercice les plus pertinentes et commence naturellement à saisir la logique sous-jacente du sujet, sans avoir besoin d'un cours séparé sur la « logique ».

Ce qu'ils ont testé :
Ils ont testé cela sur un bras robotique effectuant trois tâches : empiler des blocs, ranger des tasses et enfiler une aiguille. Ils ont comparé BEACON à :

L'utilisation des quelques vidéos réelles uniquement.
Le mélange égal de toutes les vidéos.
L'utilisation d'autres méthodes tentant de forcer les mondes informatique et réel à se ressembler.

Le Résultat :
BEACON a constamment gagné. Le robot a appris plus vite, a utilisé moins de données réelles et s'est révélé beaucoup plus robuste lorsque l'environnement changeait (comme déplacer la caméra ou changer la texture de la table). Cela a prouvé qu'être un conservateur intelligent des données est plus puissant que d'essayer de forcer les données à se ressembler.

En Bref :
BEACON est un cadre qui enseigne aux robots en disant : « Nous avons beaucoup de données factices et un peu de données réelles. Ignorons les données factices qui ne correspondent pas, et concentrons-nous intensément sur les données factices qui correspondent, afin que nous puissions apprendre la vraie tâche efficacement. »

Résumé Technique : BEACON

Énoncé du Problème

L'apprentissage robotique par clonage de comportement (BC) a considérablement progressé grâce aux modèles de séquence tels que les politiques de diffusion, mais un goulot d'étranglement critique subsiste : les politiques entraînées dans un domaine (source) se dégradent souvent lors du déploiement dans un autre (cible), même lorsque la sémantique de la tâche est identique. Ces écarts de domaine proviennent de discrepancies visuelles (texture, éclairage, pose de la caméra) et de mismatches physiques (frottement, dynamique de contact, délais d'actionnement). Bien que la collecte de jeux de données à grande échelle dans le domaine cible soit coûteuse et difficile à mettre à l'échelle, les données sources (par exemple, issues de simulations ou de démonstrations humaines) sont abondantes mais souvent inadaptées.

Les approches existantes pour résoudre ce problème se divisent en deux catégories :

Randomisation de domaine : Augmente la diversité de la source pour améliorer la robustesse, mais n'aligne pas explicitement les distributions.
Adaptation de domaine : Aligne explicitement les représentations source et cible (par exemple, via l'appariement de caractéristiques ou l'entraînement adversarial). Cependant, ces méthodes reposent souvent sur des objectifs heuristiques, peuvent manquer des décalages non visuels et peinent dans des contextes multi-sources où les sources diffèrent les unes des autres ainsi que de la cible.

La question centrale abordée par cet article est : Comment pouvons-nous exploiter les démonstrations sources abondantes mais inadaptées pour améliorer la généralisation dans le domaine cible tout en minimisant le besoin de données cibles étiquetées, sans recourir à des fonctions de perte d'alignement heuristiques ?

Méthodologie : BEACON

Les auteurs proposent BEACON (Best-Effort Adaptation for Cross-Domain Co-Training), un cadre théorique qui reformule le co-entraînement inter-domaine comme un problème de répondération par importance consciente des écarts.

Fondement Théorique

BEACON s'appuie sur le cadre Best-Effort Adaptation (BEA) [23]. Au lieu de mélanger naïvement les données source et cible ou d'imposer un alignement de caractéristiques, BEACON apprend conjointement une politique $\pi_\theta$ et un ensemble de poids par échantillon $q$ afin de minimiser une borne de généralisation théoriquement dérivée pour le domaine cible.

La fonction objectif (Éq. 6) minimise :
$\sum_{i=1}^{m+n} q_i (\ell_{BC}(\theta; x_i, y_i) + \lambda_d d_i) + \gamma \|q\|_\infty R(\theta) + \lambda_1 \|q - p_0\|_1 + \lambda_2 \|q\|_2^2$

Où :

$\ell_{BC}$ est la perte de clonage de comportement par diffusion.
$d_i$ est un terme d'écart pénalisant les échantillons sources inadaptés à la cible.
$p_0$ est une pondération de référence (distribution empirique uniquement cible).
Les termes de régularisation ( $\lambda_1, \lambda_2$ ) garantissent que les poids appris restent ancrés à la distribution cible et empêchent les solutions dégénérées.

Adaptations Pratiques pour la Robotique

L'application du cadre BEA original aux politiques de diffusion de haute dimension a nécessité plusieurs adaptations clés :

Estimation d'écart au niveau de l'instance : Au lieu d'une pénalité au niveau du domaine unique, BEACON calcule un score d'écart par échantillon $d_i$ . L'estimateur par défaut utilise les k-plus proches voisins (k-NN) dans l'espace d'encodage visuel de la politique. Il mesure la distance d'un échantillon source à ses voisins cibles les plus proches, normalisée par la dispersion intra-cible. Cela permet au système d'identifier et de réduire le poids de trajectoires sources spécifiques "hors norme" qui sont visuellement ou comportementalement incompatibles avec la cible, même au sein d'un seul simulateur.
Optimisation stochastique alternée : En raison du coût computationnel des modèles de diffusion, BEACON utilise des mises à jour stochastiques alternées plutôt qu'une minimisation sur lot complet. Il alterne entre :
- Mise à jour des poids ( $q$ ) : Une étape de sous-gradient projetée basée sur la perte et l'écart par exemple.
- Mise à jour de la politique ( $\theta$ ) : Une étape AdamW sur la perte du mini-lot pondéré.
- Contrôle de complexité : Le contrôle de capacité basé sur la norme original est remplacé par un poids de décroissance compatible avec l'optimiseur ( $\gamma \|q\|_\infty R(\theta)$ ), reliant le poids maximal de l'échantillon à la force de régularisation.
Extension Multi-Sources (MS-BEACON) : Pour les scénarios avec des domaines sources hétérogènes (par exemple, plusieurs simulateurs), la méthode introduit un schéma de pondération à deux niveaux : un poids au niveau du domaine $w$ pour sélectionner les domaines sources utiles, et un poids au niveau de l'instance $\tilde{q}$ pour filtrer les trajectoires inadaptées au sein de chaque domaine.

Contributions Clés

Co-entraînement guidé par la théorie : BEACON est la première méthode à adapter le cadre BEA aux politiques robotiques génératives, minimisant directement une borne de généralisation basée sur les écarts plutôt que de s'appuyer sur des pertes d'alignement de caractéristiques heuristiques.
Répondération par instance évolutive : L'introduction d'estimateurs d'écart évolutifs au niveau de l'instance (k-NN dans l'espace d'encodage) permet à la méthode de gérer efficacement des politiques de séquence de haute dimension et des données sources hétérogènes.
Alignement de caractéristiques implicite : L'article démontre que l'alignement des caractéristiques émerge naturellement comme un sous-produit de l'objectif de répondération conscient des écarts, sans nécessiter de terme de perte d'alignement explicite.
Robustesse Multi-Sources : L'extension MS-BEACON équilibre efficacement les domaines sources hétérogènes, atténuant le transfert négatif lorsque les sources diffèrent considérablement les unes des autres et de la cible.

Résultats Expérimentaux

BEACON a été évalué sur des tâches de manipulation sim-to-sim, sim-to-real et multi-sources (empilement de blocs, nettoyage de tasses, enfilage) sur un robot Franka Emika Panda.

Généralisation supérieure : BEACON a constamment surpassé les lignes de base, y compris Cible-Seule, Co-entraînement à ratio fixe, et méthodes d'alignement de caractéristiques (MMD, UOT).
- En sim-to-sim (écarts de texture et de point de vue), BEACON a atteint un taux de réussite moyen de 0,64 (écart de texture) et 0,45 (texture + point de vue), dépassant la meilleure ligne de base suivante (MMD) avec une marge significative.
- En sim-to-real, où les politiques Cible-Seule ont presque échoué (0,10 de réussite moyenne), BEACON a atteint 0,77 de réussite moyenne, démontrant une robustesse aux écarts visuels et physiques.
Robustesse hors distribution (OOD) : BEACON a maintenu ses performances lors de l'évaluation sur des instances de tâches en dehors de la distribution des démonstrations cibles, tandis que les lignes de base d'alignement de caractéristiques (comme MMD) ont subi une dégradation significative.
Alignement implicite : Les visualisations UMAP ont confirmé que BEACON rapproche les caractéristiques latentes source et cible à la suite des dynamiques de répondération, malgré l'absence de perte d'alignement explicite.
Efficacité des données : L'augmentation du nombre de démonstrations cibles a encore amélioré les performances de BEACON, indiquant que la répondération source amplifie la valeur des données cibles plutôt que de les remplacer.

Importance et Revendications

L'article revendique que BEACON offre un paradigme complémentaire aux méthodes d'adaptation de domaine existantes. Plutôt que de se concentrer sur la force d'alignement des espaces latents (ce qui peut effondrer la géométrie pertinente pour la tâche), BEACON se concentre sur le choix des trajectoires sources qui doivent influencer l'apprentissage cible.

Les auteurs affirment que :

La pondération par importance est un levier de conception plus fondamental pour l'apprentissage robotique inter-domaine que le choix de l'endroit où aligner les représentations dans un réseau.
Ancrer ce levier dans la théorie de la généralisation produit des gains concrets en robustesse et en efficacité des données.
La méthode est particulièrement efficace dans les régimes à faible quantité de données cibles, où la collecte de grands jeux de données cibles est irréalisable.

L'article reconnaît des limites, notant que les expériences étaient restreintes à des interactions quasi-statiques et que l'hypothèse de données réelles rares pourrait ne pas tenir dans tous les futurs scénarios où de grands jeux de données réels hétérogènes pourraient être disponibles. Cependant, les résultats suggèrent que le mécanisme de répondération proposé reste une stratégie robuste pour gérer les décalages de domaine.