💻 computer science

FOCI Policy: Focus on Object-Centric Interactions for Relational Manipulation Policies

Le papier propose la politique FOCI, un cadre centré sur les objets qui améliore la généralisation et l'efficacité des données dans la manipulation relationnelle rigide en faisant abstraction des compétences en segments d'interaction temporellement compacts et en mouvements $SE(3)$ relatifs spatialement invariants entre les objets pertinents pour la tâche.

Auteurs originaux : Ze Fu, Pinhao Song, Yutong Hu, Renaud Detry

Publié 2026-09-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ze Fu, Pinhao Song, Yutong Hu, Renaud Detry

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots luttent depuis longtemps avec l'acte simple de déplacer des objets d'un endroit à un autre. Bien qu'ils puissent être programmés pour effectuer des tâches répétitives dans une usine, leur apprendre à gérer de nouvelles situations d'un simple regard ou d'une brève démonstration reste un défi profond. La plupart des approches actuelles tentent d'enseigner à un robot en lui montrant exactement comment bouger ses propres bras et ses doigts, instillant essentiellement une forme de mémoire musculaire. Cette méthode nécessite de vastes quantités de données, souvent des centaines de démonstrations, pour couvrir toutes les manières possibles dont un objet pourrait être positionné ou une pièce pourrait être agencée. Si le robot rencontre un léger changement, comme une tasse déplacée de quelques centimètres vers la gauche, les instructions rigides échouent souvent. Les chercheurs explorent désormais une voie différente : au lieu de se concentrer sur le corps du robot, ils apprennent aux machines à se concentrer sur la relation entre les objets eux-mêmes. En comprenant comment une brosse à dents se déplace par rapport à une tasse, plutôt que comment le préhenseur du robot se déplace dans l'espace, un système pourrait apprendre à généraliser des compétences avec beaucoup moins d'effort.

Une équipe de chercheurs de la KU Leuven a développé un nouveau cadre appelé FOCI Policy qui met cette idée en pratique. Leurs travaux suggèrent que de nombreuses tâches complexes sont régies par de courts moments critiques où les objets interagissent, tandis que le reste du mouvement n'est que du déplacement. Imaginez essayer d'apprendre à verser un verre d'eau. L'acte de soulever la carafe et de marcher vers la table peut se faire de multiples façons, mais le moment où l'eau s'écoule du bec dans le verre est étroitement contraint et suit un schéma spécifique. Les chercheurs ont observé que si un robot peut isoler ces phases d'interaction brèves et à enjeux élevés et ignorer le temps de trajet bruyant et variable, il peut apprendre la tâche beaucoup plus efficacement. Ils ont construit un système qui scanne automatiquement une vidéo de démonstration, identifie exactement quand les objets commencent à se toucher ou à s'influencer mutuellement, et extrait ce segment spécifique.

Une fois ce segment critique isolé, le système ne tente pas de mémoriser le chemin exact du robot. Au lieu de cela, il apprend le mouvement relatif entre les deux objets impliqués. Si un humain démontre le placement d'une bouteille de vin dans un présentoir, le robot apprend le mouvement de la bouteille par rapport au présentoir, et non le mouvement du bras du robot. Cette approche rend la compétence indépendante de la forme spécifique du corps du robot ou de l'agencement exact de la pièce. Le système peut ensuite prendre cette relation apprise et l'appliquer à une nouvelle situation, même si les objets sont dans des positions différentes ou si le robot est un modèle différent. Lors de leurs tests, les chercheurs ont entraîné le système sur une seule démonstration pour chaque tâche. Face à de nouveaux scénarios, le robot a accompli avec succès des actions complexes comme empiler des bouteilles de vin, visser des clous ou verser des liquides, surpassant souvent d'autres méthodes qui ont été entraînées sur beaucoup plus de données.

Les résultats ont été particulièrement frappants lorsque les conditions visuelles ont changé. Dans une série d'expériences, les chercheurs ont introduit des perturbations visuelles sévères, telles que le changement de l'éclairage, l'ajout d'objets distrayants ou l'altération de la texture des articles. Alors que d'autres systèmes avancés entraînés sur une centaine de démonstrations voyaient leurs taux de réussite chuter de manière spectaculaire sous ces conditions, la nouvelle méthode a maintenu un niveau de performance comparable à ces modèles lourdement entraînés, malgré l'utilisation d'un dixième de données. Cela suggère qu'en se concentrant sur la relation géométrique entre les objets, le robot devient moins confus par le bruit visuel. Le système s'est avéré assez robuste pour gérer des tâches réelles sur un bras de robot physique, accomplissant avec succès des tâches comme balayer la poussière ou ouvrir un tiroir après n'avoir vu l'action qu'une seule fois.

Cependant, les chercheurs veillent à noter que cette approche n'est pas une solution universelle pour tout type de mouvement. La méthode fonctionne mieux pour les tâches impliquant des objets rigides qui ont des phases d'interaction claires et distinctes, comme l'insertion d'une cheville dans un trou ou le placement d'un livre sur une étagère. Elle est moins efficace pour les tâches impliquant un contact continu, comme pousser un objet mou à travers une table, ou pour les situations où les objets sont si petits ou cachés que le robot ne peut pas déterminer leur position de manière fiable. Le système repose sur la capacité de voir les objets clairement ; si le robot ne peut pas estimer où se trouve un objet, il ne peut pas calculer le mouvement relatif correct. Malgré ces limites, les conclusions offrent un changement de paradigme fascinant dans la façon dont les robots apprennent. En éliminant les détails inutiles de la façon dont un robot se déplace pour se concentrer sur la danse essentielle entre les objets, les chercheurs ont montré que les machines peuvent acquérir de nouvelles compétences avec une fraction des données auparavant jugées nécessaires. Cette efficacité nous rapproche d'un avenir où les robots pourront apprendre de nouvelles tâches en quelques minutes plutôt qu'en plusieurs jours, s'adaptant rapidement à la nature imprévisible du monde réel.

Résumé Technique : FOCI POLICY

Énoncé du Problème

Les politiques de manipulation robotique apprennent généralement une correspondance directe des observations vers les actions du robot (centrée sur l'action). Bien qu'efficaces dans des environnements contrôlés, ces approches nécessitent souvent de grands ensembles de données pour couvrir l'espace d'état de haute dimension du robot et peinent à se généraliser à de nouvelles configurations d'objets ou de scènes. Les méthodes existantes centrées sur les objets tentent d'améliorer la généralisation en modélisant des représentations d'objets intermédiaires (par exemple, des poses de buts statiques ou des flux de mouvement denses). Cependant, les poses de buts statiques échouent souvent à capturer les dynamiques d'interaction essentielles, tandis que les flux de mouvement denses sont coûteux à apprendre et sujets à la dérive.

Le défi central abordé par cet article est la manipulation relationnelle : des tâches où le succès dépend des relations géométques et fonctionnelles entre les objets (par exemple, insérer une brosse à dents dans une tasse). Les auteurs observent que beaucoup de ces tâches sont régies par de courtes phases d'interaction étroitement contraintes, tandis que les phases de transport précédentes sont relativement non contraintes et sans rapport avec la tâche. Les méthodes actuelles échouent souvent à isoler ces phases critiques, ce qui entraîne un apprentissage inefficace et une faible généralisation, particulièrement dans les scénarios de peu d'exemples (few-shot, un seul exemple).

Méthodologie : FOCI POLICY

Les auteurs proposent FOCI POLICY (Focus on Object-Centric Interactions), un cadre centré sur l'interaction qui abstrait les compétences de manipulation selon deux dimensions : temporelle et spatiale.

1. Abstraction Temporelle : Segments d'Interaction

Au lieu d'apprendre à partir d'épisodes de démonstration entiers $[0, H]$ , la politique extrait automatiquement des segments d'interaction $\tau_{rel}$ au sein d'un sous-intervalle $[t_s, t_g]$ .

Mécanisme de Détection : Le système traite l'identification de segments comme un problème de détection de points de changement (CPD). Il construit une série temporelle multivariée $\tilde{S}(t)$ combinant la vitesse linéaire du préhenseur, la vitesse angulaire et la distance entre l'objet source et l'objet cible.
Algorithme : En utilisant l'algorithme PELT avec une fonction de coût à noyau RBF, le système identifie le point de transition optimal $t_s$ où le transport non contraint se termine et où l'interaction contrainte commence. Cela isole la phase fonctionnellement critique sans annotation manuelle.

2. Abstraction Spatiale : Formulation Centrée sur l'Objet

La politique représente le segment d'interaction extrait non pas comme des trajectoires de robot absolues, mais comme un mouvement relatif SE(3) entre les objets pertinents pour la tâche.

Définition : Soient $T_{src}$ et $T_{tgt}$ les poses dans le référentiel monde des objets source (par exemple, l'outil saisi) et cible (par exemple, le contenant). Le segment d'interaction est défini comme le mouvement relatif :
$\tau_{rel} = \{ (T_{tgt}^{(k)})^{-1} T_{src}^{(k)} \}_{k=1}^n$
Invariance : Cette formulation rend la compétence apprise invariante aux configurations de scène et à l'incorporation du robot (embodiment). La politique apprend le mouvement relatif nécessaire pour résoudre la tâche, quel que soit l'endroit où les objets sont initialement placés ou quel robot exécute la tâche.

3. Architecture de la Politique

Le modèle prédit le segment d'interaction conditionné par les nuages de points des objets ( $P_{src}, P_{tgt}$ ) et les instructions de langage ( $\ell$ ).

Encodeur : Les nuages de points sont encodés via PointNet++. Les caractéristiques sont fusionnées via une attention croisée (cross-attention) pour capturer la géométrie pertinente à l'interaction. Les plongements de langage (issus de CLIP) sont concaténés avec les caractéristiques géométriques.
Prédiction en deux étapes :
1. Prédiction du But : Un modèle de mélange gaussien (GMM) prédit la pose relative terminale $T_{rel}^{(n)}$ , permettant des stratégies d'interaction multimodales (par exemple, différents angles d'insertion).
2. Génération de Trajectoire : Un décodeur de trajectoire génère des points de passage (waypoints) intermédiaires conditionnés par le but prédit.
Récupération de l'Action : Lors de l'inférence, la trajectoire relative prédite est transformée à nouveau dans le référentiel monde en utilisant la pose estimée de l'objet cible et un décalage fixe ( $T_{ofs}$ ) pour générer des commandes exécutables de l'effecteur terminal.

Contributions Clés

L'Interaction comme Abstraction Compacte : L'article démontre que les interactions objet-objet (OOI) pertinentes pour la tâche constituent une abstraction compacte pour la manipulation relationnelle. Ils proposent un pipeline automatique utilisant la détection de points de changement pour extraire ces segments des démonstrations, éliminant ainsi la variabilité sans rapport avec la tâche.
Architecture de Politique Centrée sur l'Interaction : Une politique en deux étapes est conçue pour modéliser la manipulation comme un mouvement relatif SE(3) entre les objets. Cela produit une invariance vis-à-vis de l'incorporation du robot et des configurations de scène, répondant aux limites des poses de buts statiques et des champs de flux denses.
Généralisation Efficace en Données : La méthode résultante obtient des performances solides avec une seule démonstration et une seule caméra. Elle surpasse les bases de comparaison précédentes, tant centrées sur l'objet que sur l'action, en simulation et dans des contextes réels, suggérant qu'une manipulation relationnelle efficace ne nécessite pas de vastes ensembles de données d'entraînement.

Résultats Expérimentaux

Les auteurs ont évalué FOCI POLICY sur trois benchmarks : RLBench, COLOSSEUM et des tâches en monde réel.

RLBench (Manipulation Relationnelle) : Sur 8 tâches avec des OOI claires, FOCI POLICY entraînée sur une seule démonstration a obtenu des taux de réussite nettement plus élevés que les bases (ex: Imagination Policy, 3D Diffuser Actor, RVT2) entraînées sur 5 démonstrations. Notamment, sur des tâches de précision critique comme Put-Roll et Put-Umbrella, FOCI POLICY a atteint respectivement ~45% et ~38% de réussite avec 1 démo, alors que les bases centrées sur l'action ont souvent échoué (0-9%).
COLOSSEUM (Robustesse Visuelle) : Sous de sévères perturbations visuelles (texture, éclairage, distracteurs, pose de la caméra), FOCI POLICY a démontré une robustesse comparable aux modèles de Vision-Langage-Action (VLA) (BridgeVLA, ActiveVLA) qui ont été entraînés avec 100 démonstrations par tâche. Malgré l'utilisation de seulement 1% des données, FOCI POLICY a surpassé ces modèles VLA dans le réglage "All Perturbations" (25,3% contre ~20%).
RLBench-18 (Généralisation) : Dans un contexte d'une seule démonstration sur 18 tâches, FOCI POLICY a atteint un taux de réussite moyen de 43,7%. La performance était élevée (79,6%) sur les tâches "faciles à ancrer" (easy-to-ground) mais a chuté sur les tâches "difficiles à ancrer" (7,8%), indiquant que le goulot d'étranglement est l'ancrage fiable de l'interaction (estimation de la pose) plutôt que la formulation de la politique elle-même.
Déploiement en Monde Réel : Sur un Franka Emika Panda avec une seule caméra RGB-D, la politique a atteint plus de 53% de réussite sur cinq tâches diverses (ex: Insert-Tube, Pour-Liquid) en utilisant une seule démonstration. Elle a été transférée avec succès à une autre incarnation de robot (préhenseur Robotiq) et a géré l'évitement d'obstacles via l'intégration d'une planification de mouvement classique.

Signification et Revendications

L'article soutient que pour la manipulation relationnelle rigide, la modélisation des interactions objet-objet fournit un biais inductif simple et efficace. En se concentrant sur le "segment d'interaction" — l'intervalle spécifique où le mouvement relatif est contraint — la méthode atteint :

Efficacité des Données : Apprentissage de compétences complexes à partir d'une seule démonstration.
Généralisation : Robustesse aux nouvelles poses d'objets, configurations de scènes et même à différentes incorporations de robots.
Simplicité : Le cadre découple l'apprentissage des dynamiques d'interaction de la complexité du contrôle absolu du robot et de l'imitation de trajectoire complète.

Les auteurs concluent qu'une manipulation relationnelle efficace ne nécessite pas nécessairement de larges ensembles de données si la politique est explicitement conçue pour modéliser le mouvement relatif contraint entre les objets. Ils reconnaissent les limites dans les scénarios impliquant un contact continu (ex: pousser) ou des tâches impliquant une géométrie ambiguë/occlusion où l'estimation de la pose échoue, mais postulent que la formulation centrée sur l'interaction est une étape puissante vers un apprentissage robotique efficace en termes de données.