Act-Observe-Rewrite: Multimodal Coding Agents as In-Context Policy Learners for Robot Manipulation

L'article présente Act-Observe-Rewrite (AOR), un cadre où un agent multimodal améliore la manipulation robotique en réécrivant itérativement son propre code de contrôle à partir de l'observation visuelle de ses échecs, sans nécessiter de démonstrations, de réingénierie des récompenses ou de mises à jour par gradient.

L'essentiel

Voici une explication simple et imagée de l'article scientifique "Act–Observe–Rewrite" (Agir–Observer–Réécrire) par Vaishak Kumar.

Imaginez que vous apprenez à conduire une voiture.

• La méthode classique (Apprentissage par renforcement) : C'est comme si vous deviez conduire la même route 10 000 fois, en vous écrasant à chaque fois, pour que votre cerveau (un réseau de neurones) apprenne lentement, par essais et erreurs, à ne plus toucher le trottoir. C'est long, coûteux et vous ne savez pas pourquoi vous avez raté, juste que vous avez raté.
• La méthode de cet article (AOR) : C'est comme si vous aviez un professeur de conduite génial assis à côté de vous. À chaque fois que vous faites une erreur, il ne vous dit pas juste "c'est raté". Il regarde la vidéo de l'accident, lit votre manuel de mécanique, comprend que vous avez mal serré le volant, et réécrit le manuel de conduite pour la prochaine fois.

Le concept clé : Le Robot qui se réécrit lui-même

L'auteur propose un système où un robot ne "s'entraîne" pas au sens traditionnel (il ne modifie pas ses poids internes comme un cerveau humain). Au lieu de cela, le robot écrit son propre code de contrôle (ses instructions) entre chaque essai.

Voici les trois étapes du cycle, expliquées avec une analogie de cuisine :

1. Agir (Act) : Le Chef qui cuisine

Le robot tente d'accomplir une tâche (par exemple, empiler des cubes). Il suit un programme informatique (un script Python) qu'il a lui-même écrit. C'est comme un chef qui suit une recette pour faire un gâteau.

2. Observer (Observe) : Le critique gastronomique

À la fin de l'essai, le robot regarde ce qui s'est passé.

• Le gâteau est brûlé ?
• Il est tombé du four ?
• Il a oublié le sucre ?

Le robot prend des photos de la scène et note les chiffres (temps, distance, échec). Il ne se contente pas de dire "c'est nul". Il regarde les images pour voir où ça a mal tourné.

3. Réécrire (Rewrite) : Le chef qui corrige la recette

C'est ici que la magie opère. Un Grand Cerveau Numérique (une Intelligence Artificielle avancée, comme Claude ou GPT) analyse les photos et les notes du robot.

• Il ne se contente pas de dire "ajoute un peu plus de sucre".
• Il lit le code source de la recette (le programme du robot) et dit : "Attends, dans la ligne 42, tu as écrit 'ajouter 2 cuillères de sel' au lieu de 'sucre'. Et dans la ligne 50, tu as oublié de tourner le four. Je vais réécrire tout le chapitre de la recette pour corriger ça."

Le robot télécharge alors cette nouvelle version du code et réessaie immédiatement.

Pourquoi est-ce révolutionnaire ?

Dans le monde de la robotique, on utilise souvent des modèles "boîte noire" (on ne sait pas comment ils pensent). Ici, le robot utilise du code lisible par l'homme.

• L'analogie du détective : Imaginez un détective qui résout un crime.
  • Méthode ancienne : Il essaie 100 suspects au hasard jusqu'à en trouver un qui correspond.
  • Méthode AOR : Le détective regarde les preuves (photos), lit le journal de bord du suspect (le code), et dit : "Ah ! Le suspect a menti parce qu'il a mal interprété l'heure sur sa montre (un bug dans le code). Je vais changer la façon dont il lit l'heure."

L'article montre que le robot peut découvrir des erreurs subtiles que les humains auraient mis des mois à trouver, comme :

• "La caméra voit le monde à l'envers (comme dans un miroir), donc je dois inverser mes calculs."
• "Je serre trop fort la pince et je fais glisser l'objet."

Les Résultats (Le bilan de la cuisine)

Les chercheurs ont testé ce système sur trois tâches dans un simulateur (un monde virtuel) :

1. Soulever un cube : Le robot a corrigé ses erreurs de vision en 3 essais. Résultat : 100% de réussite.
2. Mettre une canette dans une poubelle : Le robot a réalisé que la caméra voyait la canette en rouge (à cause de la lumière) et non en argenté, et a corrigé sa recette. Résultat : 100% de réussite.
3. Empiler deux cubes : C'était le plus dur. Le robot a réussi à atteindre 91% de réussite. Il a compris pourquoi il échouait (il touchait le deuxième cube avec ses doigts en posant le premier), mais il n'a pas encore trouvé la solution parfaite pour éviter ce contact. C'est un échec honnête : il sait où il a mal, mais n'a pas encore trouvé la nouvelle recette pour le résoudre.

En résumé

Ce papier nous dit que nous n'avons pas besoin d'entraîner des robots pendant des années avec des millions d'exemples. Si nous leur donnons un cerveau capable de lire et de réécrire son propre code, ils peuvent apprendre à faire des tâches complexes très vite, en comprenant pourquoi ils échouent, exactement comme un humain qui apprend de ses erreurs.

C'est passer de l'apprentissage par répétition aveugle à l'apprentissage par compréhension et correction.

Résumé technique

1. Problématique

L'intégration des modèles de fondation (Vision-Language-Action ou VLA) en robotique permet une généralisation zéro-shot, mais deux défis majeurs persistent :

1. Diagnostic et adaptation : Lorsqu'un modèle échoue sur une configuration de déploiement spécifique, il est difficile de diagnostiquer la cause racine et d'adapter le système sans réentraînement coûteux (gradient) ou collecte de nouvelles démonstrations.
2. Coût et itération : Le pré-entraînement de modèles massifs est inaccessible pour les chercheurs souhaitant itérer rapidement sur de nouvelles tâches de manipulation.

Les approches existantes de réflexion verbale (comme Reflexion) fonctionnent bien dans des environnements textuels ou symboliques, mais échouent souvent à corriger des erreurs de contrôle moteur continu (cinématique, géométrie, physique) car elles ne modifient que des stratégies textuelles, et non le code d'exécution lui-même.

Question centrale : Un agent multimodal peut-il apprendre à manipuler des objets physiques en raisonnant sur ses propres échecs et en réécrivant son code de contrôle, sans mises à jour de gradients, sans démonstrations humaines et sans ingénierie de récompense ?

2. Méthodologie : Le Framework Act–Observe–Rewrite (AOR)

AOR propose une architecture à deux échelles de temps où l'unité de raisonnement de l'agent est le code de contrôle exécutable complet (une classe Python), et non un vecteur de paramètres ou une sélection de compétences.

Boucle de fonctionnement

1. Boucle Rapide (Exécution) : Le robot exécute un épisode sous le contrôle d'un contrôleur Python. Il observe des images (RGB-D) et son état proprioceptif, produisant des actions.
2. Boucle Lente (Réflexion et Réécriture) : À la fin de l'épisode :
   • Observation : Un agent LLM multimodal (Claude Code dans l'expérience) reçoit les données structurées (logs de phases, récompenses, distances minimales) et des images clés (key-frames) capturées lors des transitions d'état ou des échecs.
   • Diagnostic : L'agent analyse les échecs en corrélant les observations visuelles avec la logique du code. Il identifie la cause racine (ex: erreur de convention de caméra, biais de profondeur, logique de saisie instable).
   • Réécriture (Rewrite) : L'agent génère une nouvelle classe de contrôleur Python complète qui corrige le problème diagnostiqué.
   • Validation : Le nouveau code est compilé dans un bac à sable (sandbox), validé, et chargé pour l'essai suivant. Aucune mise à jour de poids du modèle n'a lieu.

Composants Clés

• Pipeline de Vision : Convertit les images en dictionnaires de caractéristiques (position objet, position effecteur).
• Contrôleur : Une classe Python implémentant une machine à états (ex: atteindre -> descendre -> saisir -> soulever).
• Mémoire Épisodique : Stocke les résultats des épisodes passés et les images clés pour le contexte de l'agent.
• Mécanismes de Sécurité : Sandbox de compilation, clampage des actions (limites de mouvement), et fallback vers le contrôleur précédent en cas d'erreur de compilation.

3. Contributions Clés

1. Changement de Paradigme Représentationnel : Contrairement aux approches qui ajustent des paramètres ou sélectionnent des compétences, AOR fait du code source complet l'objet du raisonnement. Cela permet des changements architecturaux (ajout de phases, corrections géométriques) impossibles avec le simple réglage de paramètres.
2. Débogage Autonome de la Perception : L'agent a démontré la capacité à identifier des bugs subtils de calibration (ex: convention de caméra OpenGL vs OpenCV, erreurs de signe dans la rétro-projection) en observant la divergence entre l'image et le comportement du robot, sans intervention humaine.
3. Apprentissage sans Démonstration ni Récompense : Le système apprend uniquement par essai-erreur et réflexion sur les échecs, sans nécessiter de données d'imitation ni de conception manuelle de fonctions de récompense.
4. Interprétabilité Totale : La politique est du code lisible par l'homme, permettant un audit direct des décisions et des corrections apportées.

4. Résultats Expérimentaux

Les expériences ont été menées sur la plateforme de simulation Robosuite avec un bras UR5e sur trois tâches de complexité croissante. L'agent utilisé était Claude Code (famille Claude 3.5 Sonnet).

Tâche	Description	Performance Finale	Itérations (Appels LLM)	Nature des Corrections
Lift	Soulever un cube rouge.	100%	3	Correction de biais de vision (décalage Z) et changement de stratégie de saisie (saisie stationnaire).
PickPlaceCan	Saisir une canette et la mettre dans une boîte.	100%	2	Correction de la détection de couleur (canette rouge vs argentée) et filtrage des marqueurs de la cible.
Stack	Empiler un cube rouge sur un cube vert.	91%	20	Correction de bugs de pipeline de vision (rétro-projection, matrices extrinsèques) et ajustements dynamiques.

Échec Résiduel (Stack) :
Les 9% d'échecs restants étaient dus à un contact physique entre les doigts du préhenseur et le cube cible (cube B) lors du dépôt. L'agent a correctement diagnostiqué la cause visuelle, mais n'a pas réussi à trouver une stratégie de placement alternative (ex: angle de descente plus raide) pour éviter ce contact, indiquant une convergence vers un optimum local dans l'espace de recherche.

Comparaison :
L'agent Codex (GPT-5) a échoué à résoudre aucune des tâches dans le même budget d'itérations, soulignant que la capacité du modèle de codage est un facteur critique.

5. Signification et Discussion

• Avantage Qualitatif : AOR démontre que la synthèse de code permet de corriger des erreurs systémiques (comme une erreur de signe mathématique dans une formule de vision) que le réglage de paramètres ou la sélection de compétences ne peuvent pas résoudre.
• Débogage Robotique : L'approche suggère que les agents de codage réflexifs peuvent servir d'outils de débogage puissants pour les systèmes robotiques, capables de localiser des bugs dans le pipeline de perception ou de contrôle en comparant le code à la réalité physique.
• Limites :
  • Recherche Locale : L'agent peut se coincer dans des optima locaux (comme vu dans la tâche Stack) s'il ne parvient pas à explorer des stratégies de contrôle radicalement différentes.
  • Dépendance au Modèle : La performance dépend fortement des capacités de raisonnement géométrique et physique du LLM sous-jacent.
  • Simulation : Les résultats sont actuellement limités à la simulation, bien que les principes physiques découverts (conventions de caméra, lissage EMA) soient transférables au réel.

Conclusion :
Le framework Act–Observe–Rewrite établit une nouvelle position dans l'espace de conception de l'apprentissage robotique : une méthode sans démonstration, sans gradient et sans ingénierie de récompense, offrant des performances élevées et une interprétabilité totale. Elle complète les modèles VLA en fournissant un mécanisme de débogage et d'adaptation rapide pour des configurations spécifiques où les modèles pré-entraînés échouent.