💻 computer science

Compositional Motion Generation from Demonstration with Object-Centric Neural Fields

Cet article propose un cadre d'apprentissage génératif par démonstration qui permet une génération de mouvement robotique évolutive et efficace en termes de données en reliant la perception et l'action par des champs neuraux centrés sur les objets partagés et un mécanisme de mélange d'experts temporel, permettant une généralisation systématique à travers diverses configurations de scènes avec un minimum de données d'entraînement.

Auteurs originaux : Ahmet Ercan Tekden, Yasemin Bekiroglu

Publié 2026-07-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ahmet Ercan Tekden, Yasemin Bekiroglu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre à un robot à ranger une pièce en désordre. L'ancienne méthode consiste à montrer au robot une seule longue vidéo de vous en train de nettoyer, en espérant qu'il mémorise chaque mouvement musculaire. Si vous déplacez une chaise légèrement différemment la fois suivante, le robot est confus et échoue.

Ce document propose une façon plus intelligente et plus « compositionnelle » d'enseigner aux robots. Au lieu de mémoriser un script unique, géant et rigide, le robot apprend à décomposer les tâches en blocs de construction plus petits et réutilisables, tout comme un chef apprend à couper, sauter et dresser les plats séparément avant de combiner le tout pour un repas complet.

Voici comment leur système fonctionne, en utilisant des analogies simples :

1. La caméra « centrée sur l'objet » (Voir le monde)

La plupart des robots regardent une image et voient une soupe géante et floue de pixels. Ce document apprend au robot à voir le monde comme une collection d'objets distincts et individuels, comme un enfant jouant avec des briques LEGO.

L'analogie : Imaginez une feuille de plastique transparente avec le dessin d'un bol dessus, et une autre feuille avec une balle de tennis. Vous pouvez faire glisser la feuille du bol d'un côté, et la feuille de la balle de l'autre, de manière indépendante.
Comment ça marche : Le robot utilise un « champ neural » spécial (un type de cerveau IA) pour séparer la scène en ces feuilles individuelles. Il apprend un « code » compact (un vecteur latent) pour chaque objet, qui indique au robot où se trouve l'objet et à quoi il ressemble. Cela permet au robot de comprendre que déplacer le bol ne change pas la balle, ce qui le rend très efficace pour apprendre à partir de seulement quelques exemples.

2. Le « Chef d'orchestre » (Mélanger les mouvements)

Une fois que le robot voit les objets, il doit décider comment bouger son bras. Les auteurs utilisent un système appelé Mixture-of-Experts (MoE) (Mélange d'experts).

L'analogie : Pensez à un orchestre symphonique. Vous avez différentes sections : les cordes, les cuivres et les percussions. Dans une approche monolithique, tout l'orchestre joue une seule chanson géante et immuable. Dans cette nouvelle approche, un chef d'orchestre (le mécanisme de porte ou « gating mechanism ») décide quelle section joue à quel moment.
Comment ça marche :
- L'Expert 1 pourrait savoir comment tendre le bras vers une tasse.
- L'Expert 2 pourrait savoir comment ramasser une balle.
- L'Expert 3 pourrait savoir comment placer un objet dans un bol.
- À mesure que la tâche progresse (le temps passe), le « chef d'orchestre » mélange ces experts de manière fluide. Si le robot doit ramasser une balle puis la lâcher, le chef d'orchestre atténue l'expert « tendre le bras » et intensifie l'expert « lâcher ». Cela se produit automatiquement en fonction des objets présents dans la scène.

3. Apprendre à partir de peu d'exemples (Le « croquis » vs la « photo »)

Parce que le robot comprend la structure de la scène (les objets) et la structure du mouvement (les primitives), il n'a pas besoin de milliers de vidéos pour apprendre.

L'analogie : Si vous apprenez à un humain à dessiner un chat en lui montant un seul croquis, il peut dessiner un chat dans une pose différente car il comprend le concept de « l'être chat » (oreilles, queue, corps). Si vous apprenez à un robot en lui montrant 10 000 photos de chats, il risque de simplement mémoriser les pixels et d'échouer si le chat est d'une couleur différente.
Le résultat : Le document montre que leur robot peut apprendre des tâches complexes (comme empiler des cubes ou ramasser des objets) avec seulement 10 à 30 démonstrations. D'autres méthodes qui se contentent de regarder des images brutes nécessitent souvent des centaines ou des milliers d'essais pour obtenir le même résultat.

4. Tests en conditions réelles (La « magie » de la généralisation)

Les chercheurs ont testé cela dans une simulation informatique et avec un véritable bras robotique.

L'astuce du « langage » : Dans une expérience, ils n'ont pas seulement montré au robot l'image d'une balle spécifique. Ils ont utilisé un outil de langage pour dire au robot : « Ramasse la balle ». Le robot a alors réussi à ramasser une balle de tennis pendant l'entraînement et une balle de baseball pendant le test, même s'il n'avait jamais vu de balle de baseball auparavant. Il a généralisé le concept de « balle » plutôt que de mémoriser une texture spécifique.
L'astuce de la « 3D » : Dans un autre test, le robot devait ouvrir un tiroir et y placer une boîte. Le robot a scanné la pièce en 3D (comme une carte de profondeur) et a trouvé comment ouvrir le tiroir et saisir la boîte, même lorsque les positions de départ changeaient. Il y est parvenu en interpolant (en comblant les lacunes) entre les quelques exemples qui lui avaient été montrés.

Résumé

En bref, ce document présente un système d'apprentissage pour robot qui :

Voit le monde comme des objets séparés et mobiles plutôt que comme une image confuse.
Bouge en mélangeant différents « talents » (comme tendre le bras ou lâcher un objet) comme un chef d'orchestre mélange la musique.
Apprend incroyablement vite, nécessitant très peu d'exemples pour maîtriser de nouvelles tâches.
Généralise bien, ce qui signifie qu'il peut gérer de nouveaux objets ou des configurations de pièces légèrement différentes sans avoir besoin d'être réentraîné de zéro.

Les auteurs affirment que cela rend l'apprentissage des robots beaucoup plus efficace et robuste, permettant aux robots de s'adapter à de nouvelles situations avec un minimum d'instructions humaines.

Résumé Technique : Génération de Mouvement Compositionnelle à partir de Démonstrations avec des Champs Neuraux Centrés sur les Objets

Énoncé du Problème
L'apprentissage par démonstration (Learning from Demonstration - LfD) est confronté à un défi central : représenter des comportements divers et à long horizon à partir d'un nombre limité de démonstrations. Traiter le mouvement comme une séquence monolithique néglige souvent la structure compositionnelle des tâches, qui se déroulent généralement par des interactions séquentielles au niveau de l'objet (par exemple, atteindre, saisir, placer). Bien que les primitives de mouvement (Movement Primitives - MPs) offrent une représentation compacte des trajectoires, leur compositionnalité est souvent imposée manuellement, et elles reposent sur des caractéristiques artisanales de faible dimension difficiles à estimer de manière cohérente. À l'inverse, l'apprentissage de caractéristiques directement à partir d'images nécessite généralement de grands ensembles de données, sacrifiant ainsi l'efficacité des données inhérente aux MPs. De plus, les approches existantes basées sur des champs neuraux opèrent souvent au niveau de la scène, ce qui limite leur extensibilité face au nombre d'objets, ou ne parviennent pas à supporter le conditionnement visuel pour la génération de trajectoires complètes.

Méthodologie
Les auteurs proposent un cadre de LfD génératif qui relie la perception et le mouvement par des représentations partagées au niveau de l'objet. L'approche se compose de deux étapes principales :

Modélisation de Scène Compositionnelle (MoE Spatiale) :
Le cadre modélise les scènes à l'aide d'un mélange d'experts (Mixture-of-Experts - MoE) spatial basé sur des champs neuraux centrés sur les objets. Chaque image est rendue comme une composition d'un arrière-plan fixe et de $N$ champs spécifiques à chaque objet.

Représentation : Chaque objet $i$ est représenté par un vecteur latent $z_i$ et un MLP de coordonnées ( $F_i$ ) qui prédit l'apparence. Un réseau de déformation ( $\Delta_i$ ), conditionné par $z_i$ , mappe les coordonnées canoniques vers des coordonnées déformées pour capturer les variations positionnelles et géométriques.
Entraînement : Le modèle utilise une stratégie d'échantillonnage d'importance basée sur un masque souple. Cela garantit que chaque expert apprend indépendamment sans s'effondrer sur le même objet, même si les masques d'entrée sont grossiers. L'entraînement procède par étapes : estimation de l'arrière-plan, pré-entraînement centré sur les objets avec un curriculum de zoom sensible à la position, et raffinement compositionnel conjoint.
Relabeling Latent : Pour assurer la cohérence, les auteurs définissent un « ensemble de coins » $C_i$ pour chaque objet, représentant les limites des variations observées. Pendant l'entraînement et l'inférence, les vecteurs latents sont récupérés en recherchant les combinaisons convexes de ces coins qui reconstruisent le mieux l'image d'entrée. Cela canonicalise l'espace latent, contraignant la généralisation au support démontré.

Génération de Mouvement Compositionnelle (MoE Temporelle) :
Le mouvement est généré à l'aide d'un MoE temporel qui conditionne la génération de trajectoire aux vecteurs latents des objets.

Mécanisme de Gating : Un mécanisme de gating dépendant du temps calcule les poids $w_i(t)$ pour chaque expert d'objet. Cela permet à différents segments de trajectoire d'être influencés par différents sous-ensembles d'objets (par exemple, une phase de « prise » dépend de l'emplacement de l'objet, tandis qu'une phase de « pose » dépend de la cible).
Conditionnement : Le cadre utilise la modulation linéaire par caractéristique (Feature-wise Linear Modulation - FiLM) pour injecter des informations spécifiques à l'objet dans le générateur de trajectoire. Le signal de conditionnement agrégé module les paramètres du réseau, permettant au modèle d'apprendre des primitives de mouvement fluides et conditionnées par les objets directement à partir de l'entrée visuelle.
Optimisation : Le modèle minimise la log-vraisemblance négative des trajectoires démontrées, en employant un dropout latent lors du début de l'entraînement pour éviter les dépendances fallacieuses.

Contributions Clés

Modèle de Scène Génératif Centré sur l'Objet : Une méthode pour apprendre des représentations centrées sur les objets, fluides et interprétables à partir d'images, en utilisant un MoE spatial avec des déformations conditionnées par le latent.
Gating Temporel pour le Mouvement : Un cadre de génération de mouvement qui emploie un MoE temporel pour atteindre une compositionnalité séquentielle, ancrant le mouvement dans la structure visuelle tout en maintenant l'efficacité des données des primitives.
Cadre de LfD Efficace en Données : Un système intégré qui apprend des primitives de mouvement directement à partir d'entrées visuelles avec nettement moins de démonstrations que les bases de comparaison basées sur l'image, supportant la généralisation à travers diverses configurations de scènes.
Validation 3D et en Monde Réel : Le cadre est démontré capable d'opérer sur des représentations de scènes 3D (via des champs d'occupation) et de se généraliser au niveau de la catégorie en utilisant des modèles de segmentation basés sur le langage.

Résultats Expérimentaux
Le cadre a été évalué en simulation et lors d'expériences robotiques en monde réel :

Simulation : La méthode a été testée sur quatre tâches de manipulation (évitement de mur, prise et pose sur plan incliné, empilement de tasses, empilement de cubes) avec des emplacements d'objets et des changements géométriques variables.
- Efficacité des Données : La méthode proposée a atteint une faible distance euclidienne moyenne (MED) et des taux de succès élevés en utilisant 10 à 30 démonstrations. Elle a systématiquement surpassé les bases de comparaison (incluant les primitives de mouvement neurales conditionnelles, la politique de diffusion et le CNN-FiLM) entraînées avec 3 à 10 fois plus de données.
- Ablations : La suppression du gating temporel a entraîné des erreurs plus élevées, confirmant la valeur de l'agrégation de latents variant dans le temps. L'approche centrée sur l'objet a surpassé les bases de comparaison de caractéristiques globales (CNN-FiLM, DINO-FiLM).
Expériences en Monde Réel :
- Robustesse : Le système a complété avec succès des tâches de prise et de pose avec des objets de distraction et des éclairages variables.
- Généralisation au Niveau de la Catégorie : En utilisant des modèles de segmentation vision-langage, le robot s'est généralisé à des objets non vus au sein de la même catégorie sémantique (par exemple, différentes tasses ou balles) sans ré-entraînement.
- Généralisation 3D : Dans une tâche d'ouverture de tiroir, le modèle a utilisé des champs d'occupation 3D dérivés de scans ESDF. Entraîné sur seulement quatre démonstrations, il s'est généralisé avec succès à de nouveaux angles d'ouverture de tiroir et positions de boîtes, atteignant une précision de saisie sub-centimétrique.

Signification
L'article affirme que la modélisation compositionnelle au niveau de l'objet fournit un paradigme puissant pour le LfD. En couplant des représentations neurales centrées sur les objets avec un mélange d'experts temporel, le cadre offre une structure latente interprétable et une généralisation systématique. La signification réside dans sa capacité à atteindre des performances de tâche élevées avec un nombre limité de démonstrations, comblant le fossé entre l'efficacité des données des primitives traditionnelles et la richesse perceptive de l'apprentissage profond. Les auteurs notent que bien que la méthode soit robuste à un bruit modéré et aux distracteurs, elle repose sur l'hypothèse que les objets occupent des régions distinctes et que la disposition de la scène reste cohérente. Les travaux futurs visent à étendre le cadre pour incorporer des représentations de scène basées sur des champs de radiance neuraux pour une généralisation plus large au niveau de la scène.

1. La caméra « centrée sur l'objet » (Voir le monde)

2. Le « Chef d'orchestre » (Mélanger les mouvements)

3. Apprendre à partir de peu d'exemples (Le « croquis » vs la « photo »)

4. Tests en conditions réelles (La « magie » de la généralisation)

Résumé

Articles similaires