💻 computer science

Behavior Prompting Policy: Demonstrations as Prompts for Manipulation

Cet article introduit la politique de guidage par le comportement (Behavior Prompting Policy, BPP), une architecture visuomotrice en contexte qui permet aux robots d'apprendre de nouvelles tâches de manipulation à partir d'une seule démonstration humaine lors de l'inférence, appuyée par un ensemble de données d'entraînement diversifié collecté via l'interface iPhUMI et validée par de nouveaux bancs d'essai d'évaluation.

Auteurs originaux : Austin Patel, Ben Pekarek, Joel Enrique Castro Hernandez, Shuran Song

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Austin Patel, Ben Pekarek, Joel Enrique Castro Hernandez, Shuran Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre un nouveau tour à un robot, comme plier un type de chemise spécifique ou dessiner une forme particulière. Habituellement, c'est comme apprendre un nouveau commandement à un chien : vous devez passer des heures à l'entraîner à partir de zéro, encore et encore, jusqu'à ce qu'il réussisse. Si vous voulez lui apprendre un autre tour plus tard, vous devez souvent recommencer tout le processus d'entraînement à zéro.

Ce document présente une nouvelle façon d'enseigner aux robots appelée « Behavior Prompting » (Le Prompt de Comportement). Pensez-y moins comme à un entraînement formel et plus comme au fait de montrer une vidéo rapide à un ami sur son téléphone en disant : « Fais comme ça. »

Voici une décomposition de son fonctionnement, en utilisant des analogies simples :

1. L'idée centrale : La « Recette Vidéo »

Au lieu de donner au robot une instruction textuelle (« Plie la chemise ») ou une image finale de ce à quoi la chemise devrait ressembler, vous lui donnez une unique démonstration vidéo d'un humain accomplissant la tâche.

L'analogie : Imaginez que vous essayez de cuisiner un gâteau.
- L'ancienne méthode : On vous donne une recette écrite (langage) ou une photo du gâteau fini (image de l'objectif). Vous devez deviner les étapes.
- Le Behavior Prompting : On vous tend une vidéo de quelqu'un en train de cuisiner exactement ce gâteau. Vous pouvez voir exactement comment la personne a cassé l'œuf, combien elle a remué, et la vitesse à laquelle elle a bougé. Le robot regarde cette « recette vidéo » (le prompt de comportement) et essaie de copier les mouvements, pas seulement le résultat.

2. Le cerveau : Le « Traducteur Intelligent » (BPP)

Le document introduit un nouveau cerveau pour robot appelé Behavior Prompting Policy (BPP).

Comment cela fonctionne : Lorsqu'on demande au robot d'accomplir une tâche, il regarde deux choses en même temps :
1. Ce qu'il voit en ce moment (la pièce actuelle, la chemise sur la table).
2. La « recette vidéo » (la démonstration humaine).
La magie : Le robot ne se contente pas de mémoriser la vidéo. Il agit comme un traducteur intelligent. Il regarde la vidéo et se dit : « D'accord, dans la vidéo, la personne tient la chemise ici. Dans ma vue actuelle, la chemise est là. Je dois donc déplacer ma main pour corresponder à cette position. » Il compare constamment la vidéo à la réalité pour déterminer le mouvement suivant.

3. L'entraînement : La variété est la clé

Les chercheurs ont découvert que pour que cela fonctionne, le robot doit voir un grand nombre de types de tâches différents lors de son entraînement initial, mais il n'a pas besoin de voir beaucoup d'exemples de chaque tâche spécifique.

L'analogie : Pensez à un chef apprenant à cuisiner.
- Si vous entraînez quelqu'un sur 1 000 exemples faisant uniquement des spaghettis, il sera excellent en spaghettis mais très mauvais pour faire une salade.
- Si vous l'entraînez sur 1 exemple de 1 000 plats différents (soupe, salade, steak, gâteau), il apprend la « compétence générale de la cuisine ».
- Le document a constaté qu'en donnant au robot un « menu » de nombreuses tâches différentes (même avec seulement quelques exemples de chacune), il devient bien meilleur pour apprendre de nouvelles choses à la volée plus tard.

4. L'outil : La « Télécommande Magique » (iPhUMI)

Pour collecter tous ces exemples différents, l'équipe a construit un dispositif spécial tenu en main appelé iPhUMI.

Ce que c'est : C'est une pince avec un iPhone attaché.
Comment il aide : Un humain peut simplement prendre cet appareil et le déplacer physiquement pour montrer au robot ce qu'il doit faire. Comme il possède un iPhone, il sait instantanément où il se trouve dans la pièce (pas besoin de passer des heures à cartographier la pièce au préalable).
L'avantage : Lors du test (quand le robot travaille réellement), un humain peut prendre cet appareil, effectuer une tâche une seule fois pour la montrer au robot, et le robot sait immédiatement comment la faire. C'est comme une « télécommande » pour enseigner de nouvelles compétences instantanément.

5. Les résultats : Qu'ont-ils testé ?

L'équipe a testé cela sur deux éléments :

Le dessin : Ils ont demandé au robot de dessiner des formes. Même si le robot n'avait jamais vu cette forme spécifique auparavant, si un humain la dessinait une fois sur une tablette (le prompt), le robot pouvait copier le mouvement pour la dessiner sur un autre support à un endroit différent.
Tâches sur table : Ils ont testé des tâches comme ramasser des bols et les déplacer. Ils ont constaté que si le robot voyait une vidéo d'un humain déplaçant un bol, il pouvait comprendre comment déplacer un autre bol vers un autre endroit, même s'il n'avait jamais vu cette combinaison spécifique auparavant.

Résumé

Le document affirme que le Behavior Prompting permet aux robots d'apprendre de nouvelles compétences instantanément en regardant une seule démonstration humaine, sans nécessiter de réentraînement coûteux.

La recette secrète : Cela fonctionne mieux lorsque le robot a déjà vu une grande variété de tâches auparavant.
L'avantage : C'est plus rapide et plus flexible qu'utiliser des instructions textuelles ou simplement montrer le résultat final. Cela comble le fossé entre « quoi faire » et « comment le faire » en utilisant les mouvements réels de l'humain comme guide.

Note importante : Le document se concentre sur ces capacités spécifiques (dessin et manipulation sur table). Il ne prétend pas que cette technologie est prête pour des chirurgies médicales complexes ou des assemblages industriels, et il ne prétend pas non plus que le robot peut apprendre n'importe quelle tâche d'un seul regard ; cela fonctionne mieux pour les types de tâches pour lesquelles il a été largement entraîné.

Résumé technique : Politique de Prompting de Comportement (BPP)

Énoncé du problème

Enseigner de nouvelles compétences aux robots nécessite traditionnellement un réapprentissage ou un ajustement fin (fine-tuning) exhaustif pour chaque tâche spécifique, ce qui est inefficace et limite le déploiement rapide. Bien que les grands modèles de langage aient démontré leur succès dans l'apprentissage en contexte (in-context learning — s'adapter à de nouvelles tâches via quelques exemples à l'exécution), la robotique a tardé à atteindre des capacités similaires pour la manipulation. Les approches existantes reposent souvent sur des descriptions linguistiques ou des images d'objectif, qui peuvent fournir des informations incomplètes concernant l'exécution spatiale et temporelle spécifique requise pour une tâche. De plus, de nombreuses méthodes d'apprentissage à partir de peu d'exemples en robotique reposent sur le méta-apprentissage avec des mises à jour de gradients ou des transformations spatiales explicites, ce qui peut ne pas passer à l'échelle face à des distributions de tâches à haute diversité.

Les auteurs proposent le Behavior Prompting (Prompting de Comportement), un paradigme où un robot exécute une nouvelle tâche au moment de l'inférence en recevant une unique démonstration humaine (le « comportement prompt »). Ce prompt se compose d'observations, de proprioception et d'actions dans l'espace sensorimoteur du robot, définissant simultanément la tâche et fournissant un exemple concret de la manière de l'exécuter.

Méthodologie

1. Politique de Prompting de Comportement (BPP)

La contribution algorithmique centrale est la Behavior Prompting Policy (BPP), une architecture visuomotrice en contexte conçue pour traduire un comportement prompt et l'observation actuelle en actions robotiques. L'architecture comprend trois composants principaux :

Découpage et Plongement du Prompt (Prompt Chunking & Embedding) : Le comportement prompt (une séquence d'observations, de proprioception et d'actions) est sous-échantillonné temporellement (typiquement à 1 Hz) pour plus d'efficacité. La séquence est divisée en « morceaux » (chunks), où chaque morceau contient un instantané d'observation ( $o$ ) et de proprioception ( $q$ ), ainsi que la séquence d'actions ( $a$ ) menant au morceau suivant. Un mécanisme de Pooling par Attention fusionne $\{o, q, a\}$ en un plongement de morceau unique ( $p_i$ ).
Encodeur de Prompt : Il s'agit d'un décodeur transformer qui extrait les informations pertinentes de la séquence de prompts ( $P = [p_0, \dots, p_n]$ ) en étant conditionné par l'observation actuelle. L'observation actuelle est tokenisée et traitée via une attention croisée (cross-attention) avec les plongements de morceaux du prompt. Cela permet au modèle d'identifier les correspondances temporelles et les différences spatiales entre la démonstration du prompt et l'environnement actuel.
Décodeur d'Action : L'information extraite du prompt, concaténée avec l'observation actuelle et un pas de temps de diffusion, est injectée dans un Modèle de Diffusion (spécifiquement une architecture basée sur les CNN avec un conditionnement FiLM). Le décodeur débruite de manière itérative pour générer des actions en boucle fermée.

Stratégie d'entraînement : La BPP est entraînée en utilisant l'apprentissage par imitation par clonage de comportement standard sur des jeux de données d'apprentissage par imitation multi-tâches. Pour chaque étape d'entraînement, une démonstration unique est échantillonnée comme prompt, et un lot d'observations à horizon fuyant et d'actions futures est échantillonné à partir d'autres démonstrations de la même tâche. Crucialement, aucune correspondance spatiale ou temporelle explicite n'est imposée entre le prompt et le lot d'entraînement ; le modèle apprend de bout en bout à exploiter le prompt.

2. Interface iPhUMI

Pour répondre aux exigences de données du prompting de comportement, les auteurs introduisent iPhUMI, une interface de manipulation portative. Adaptée de l'UMI gripper, elle remplace la GoPro par un iPhone 15 Pro. Caractéristiques clés :

Localisation Instantanée : Utilise l'ARKit de l'appareil pour un SLAM en temps réel, éliminant le besoin de cartographie fastidieuse de l'environnement.
Prompting Sans Fil : Permet à un opérateur humain de transmettre sans fil les comportements prompts à une station de travail, permettant un conditionnement immédiat de la politique au moment de tester pour de nouvelles tâches.

Évaluation et Benchmarks

Les auteurs introduisent deux nouveaux benchmarks pour évaluer l'adaptation au moment du test, en se concentrant sur la diversité des tâches plutôt que sur la complexité d'une tâche unique :

DrawAnything : Un environnement de dessin (simulé et réel) nécessitant une adaptation d'action continue et précise.
- Sim : Entraîné sur 2 000 tâches générées procéduralement ; testé sur 50 dessins humains inédits.
- Réel : Utilise un bras robotique ARX avec une caméra au poignet sur iPhone. Entraîné sur 1 000 tâches ; testé sur 10 tâches inédites.
LIBERO-Gen : Une extension du benchmark de manipulation LIBERO avec nettement plus de tâches.
- Combinaison : Étend 10 tâches à 174, testant la capacité de choisir l'un de deux bols identiques et de le placer dans l'un des neuf emplacements.
- Chaîne : Étend 10 tâches à 321, testant des interactions séquentielles en deux étapes (ex: ouvrir un tiroir, puis placer un objet).

Résultats Clés

Adaptation Supérieure : Sur les tâches de dessin inédites (DrawAnything-Sim), la BPP a obtenu une réduction d'erreur de 80,7 % par rapport à une base de référence d'image d'objectif (Goal-Image) et une réduction de 33,3 % par rapport à ICRT (un modèle de prompting de comportement antérieur).
Robustesse à la Complexité : Dans les benchmarks LIBERO-Gen, la BPP a surpassé les bases de référence (Goal-Image, Langage, et ICRT) et a rivalisé avec $\pi_{0.5}$ (un modèle VLA de fondation avec 100K étapes de fine-tuning LoRA), bien que la BPP n'ait aucun pré-entraînement de fondation.
Mécanisme d'Attention : La visualisation de l'attention de l'encodeur de prompt (Fig. 5) révèle que la BPP suit efficacement la progression de la tâche. Pour les tâches continues (dessin), l'attention suit de près le prompt ; pour les tâches discrètes (LIBERO), l'attention suit des « jalons » (ex: prochain objet à interagir).
Exigences de Données : Des ablations systématiques ont montré que la diversité des tâches est le principal moteur de la capacité de prompting. Collecter moins de démonstrations par tâche sur un plus grand nombre de tâches distinctes produit une meilleure adaptation au moment du test que de nombreuses démonstrations pour quelques tâches.

Signification et Revendications

L'article affirme que le prompting de comportement offre un moyen flexible et évolutif d'enseigner de nouvelles compétences aux robots sans un ajustement fin coûteux. En exploitant une unique démonstration humaine comme prompt, les utilisateurs peuvent spécifier des tâches ou définir de nouvelles capacités robotiques « à la volée ».

Les auteurs soulignent que :

Les prompts sensorimoteurs sont plus expressifs que le langage ou les images d'objectif pour les tâches nécessitant des comportements de bas niveau spécifiques ou des stratégies spatio-temporelles.
La diversité des tâches dans les données d'entraînement est critique pour permettre l'adaptation zero-shot à des tâches inédites.
iPhUMI sert d'interface pratique tant pour la collecte de données d'entraînement diversifiées que pour la spécification de comportements prompts au moment du test, comblant le fossé entre l'intention humaine et l'exécution du robot.

Ce travail positionne le prompting de comportement comme une étape vers la capacité des robots à adapter leurs connaissances de pré-entraînement à de nouveaux environnements (ex: un domicile spécifique) via une seule démonstration, simplifiant le problème d'adaptation en fournissant des informations riches sur l'environnement cible et la stratégie de manipulation souhaitée.