Learning Physical Principles from Interaction: Self-Evolving Planning via Test-Time Memory

Le papier présente PhysMem, un cadre mémoriel permettant aux planificateurs robotiques basés sur des modèles vision-langage d'apprendre et de vérifier des principes physiques par interaction en temps réel sans mise à jour des paramètres, améliorant ainsi significativement la réussite des tâches de manipulation.

L'essentiel

🤖 PhysMem : Comment donner de l'expérience à un robot qui a lu des livres mais n'a jamais touché à rien

Imaginez un robot très intelligent, disons un chef cuisinier virtuel. Ce robot a lu des millions de livres de cuisine sur Internet. Il connaît la théorie parfaite : "Pour faire une omelette, il faut casser les œufs, les battre et les cuire à feu doux."

Mais si vous lui donnez un vrai œuf, un vrai poêle et une vraie spatule, il risque de rater l'opération. Pourquoi ? Parce qu'il ne sait pas exactement comment cet œuf précis va réagir à cette poêle précise. Est-elle trop chaude ? L'œuf est-il plus collant que d'habitude ?

C'est le problème que PhysMem (Physical Memory) cherche à résoudre.

1. Le Problème : La théorie ne suffit pas

Les robots actuels sont comme des étudiants brillants qui ont appris la physique par cœur, mais qui n'ont jamais joué au ballon dans la boue.

• Ils savent que "la friction existe".
• Mais ils ne savent pas combien de force il faut pour pousser cette balle de football spécifique sur ce tapis spécifique sans qu'elle ne glisse trop ou ne s'arrête trop tôt.

Si le robot se trompe une fois, il peut tout gâcher. Et s'il essaie de réapprendre à chaque fois en modifiant son "cerveau" (son code), cela prendrait trop de temps et pourrait le rendre fou.

2. La Solution : Un carnet de notes qui s'auto-améliore

PhysMem est comme un carnet de notes magique que le robot remplit pendant qu'il travaille, sans changer son cerveau de base.

Voici comment cela fonctionne, étape par étape, avec une analogie de scientifique amateur :

Étape A : L'Expérience (Le "Coup de pied")
Le robot essaie de faire quelque chose (pousser une balle, empiler des pierres).

• Si ça marche : Il note "Ça a marché".
• Si ça rate : Il note "Ça a raté".
  C'est son mémoire épisodique (comme se souvenir d'un événement précis : "Mardi dernier, j'ai poussé la balle trop fort et elle est tombée").

Étape B : L'Hypothèse (Le "Et si... ?")
Au lieu de juste se souvenir de l'événement, le robot réfléchit : "Attends, pourquoi ça a raté ? Peut-être que quand la balle est sur ce tapis, il ne faut jamais pousser fort ?"
Il crée une petite règle provisoire, une hypothèse. C'est comme un scientifique qui dit : "Je pense que la gravité est plus forte ici."

Étape C : La Vérification (L'Expérience de contrôle)
C'est la partie la plus importante ! Le robot ne croit pas tout de suite à sa règle. Il dit : "Je vais tester cette hypothèse une ou deux fois de plus pour être sûr."

• Si ça marche encore : La règle devient solide.
• Si ça rate encore : Il jette l'hypothèse à la poubelle.

Étape D : Le Principe (La Loi de la nature)
Une fois qu'une hypothèse a été vérifiée plusieurs fois, elle devient un Principe.

• Avant : "Je me souviens que mardi, la balle a roulé loin."
• Après : "Principe : Sur ce tapis, il faut pousser doucement."

Ce principe est maintenant stocké dans sa mémoire à long terme. La prochaine fois qu'il verra un tapis similaire, il utilisera cette règle sans avoir besoin de réapprendre depuis zéro.

3. Pourquoi c'est génial ? (L'analogie du "Savoir-faire")

Imaginez que vous apprenez à faire du vélo.

• Sans PhysMem : Vous tombez, vous vous relevez, vous tombez encore. À chaque fois, vous devez tout réapprendre. Ou alors, vous essayez de copier exactement ce que vous avez fait la dernière fois (récupération d'expérience), mais si le vent a changé, vous tombez encore.
• Avec PhysMem : Vous tombez. Vous vous dites : "Ah, quand je tourne trop vite à gauche sur le gravier, je glisse." Vous testez : "Si je tourne plus doucement ?" Ça marche. Vous créez une règle : "Sur le gravier, tourne doucement."
  La prochaine fois que vous verrez du gravier, vous appliquez la règle. Vous devenez plus sage à chaque essai, sans avoir besoin de changer votre façon de pédaler (votre "code").

4. Les Résultats : Ce que le robot a appris

Les chercheurs ont testé cela sur trois tâches réelles :

1. Ranger des pièces : Apprendre comment des formes bizarres s'emboîtent (comme un puzzle 3D).
2. Naviguer avec une balle : Apprendre à pousser une balle de foot à travers des obstacles sans qu'elle ne s'arrête ou ne parte trop loin.
3. Empiler des pierres : Apprendre quelles pierres sont stables pour construire une tour qui ne s'effondre pas.

Le résultat ?

• Au début, le robot échoue souvent (comme un débutant).
• Après quelques minutes d'essais et d'erreurs, il commence à utiliser ses "Principes".
• Son taux de réussite passe de 23% (en se souvenant juste des erreurs passées) à 76% (en comprenant les règles physiques).

En résumé

PhysMem, c'est comme donner à un robot la capacité de réfléchir à ses erreurs et de transformer ses échecs en règles de vie claires et lisibles.

Au lieu d'être un robot qui répète bêtement ce qu'il a vu, il devient un robot qui comprend son environnement. Il ne se contente pas de dire "J'ai fait ça et ça a raté", il dit "J'ai compris que quand X arrive, il faut faire Y".

C'est une étape énorme vers des robots qui peuvent travailler avec nous dans le monde réel, apprendre de leurs erreurs en temps réel, et devenir de plus en plus compétents sans avoir besoin d'être reprogrammés par des humains à chaque fois.

Résumé technique

1. Problématique

Les modèles Vision-Language (VLM) déployés comme planificateurs pour robots possèdent souvent une connaissance déclarative des concepts physiques (friction, stabilité, élan), mais échouent à prédire comment ces principes s'appliquent à des situations spécifiques et non vues lors de l'entraînement.

• Le fossé : Un VLM peut comprendre la friction en théorie, mais ne peut pas prédire exactement à quelle distance une balle spécifique roulera sur une surface donnée ou quelle pierre offrira la meilleure stabilité sans expérience directe.
• La limitation actuelle : Les approches par récupération d'expérience (retrieval-augmented) appliquent souvent des souvenirs passés de manière rigide sans vérifier leur validité dans le contexte actuel, ce qui conduit à des erreurs lorsque les conditions physiques changent légèrement.
• L'objectif : Développer un cadre permettant aux planificateurs VLM d'acquérir une compréhension physique utile au moment du test (test-time), sans mettre à jour les paramètres du modèle, en apprenant de leurs propres interactions.

2. Méthodologie : PhysMem

Les auteurs proposent PhysMem, un cadre de mémoire qui permet aux robots d'apprendre des principes physiques via une « boucle de mémoire scientifique ». Le système ne modifie pas les poids du VLM, mais enrichit son contexte de décision avec des connaissances extraites dynamiquement.

Architecture du système

Le système repose sur une hiérarchie de mémoire à trois niveaux et un processus itératif :

1. Collecte d'Expériences (Mémoire Épisodique) :

   • Le système enregistre les interactions (observations, actions, récompenses, états symboliques).
   • Un mécanisme de « Résonance » vérifie si une nouvelle expérience correspond aux principes actifs. Si la résonance est faible (surprise), l'expérience est priorisée pour consolidation.

2. Génération d'Hypothèses (Mémoire de Travail) :

   • Les expériences sont regroupées (clustering) par similarité symbolique.
   • Un modèle de réflexion (VLM) génère des hypothèses candidates sous forme de règles textuelles structurées :
     • AVOID : « Ne pas faire X quand Y » (issu des échecs).
     • PREFER : « Faire X quand Y » (issu des succès).
     • SEQUENCE : « Faire X avant Y » (contraintes temporelles).

3. Attribution et Vérification :

   • Contrairement à une validation par épisode entier, la confiance est mise à jour au niveau de l'action pour isoler les effets spécifiques d'une décision.
   • Les hypothèses sont testées par des interactions ciblées. Seules les hypothèses validées (avec une confiance élevée et suffisamment de preuves) sont promues.

4. Promotion et Abstraction (Mémoire à Long Terme) :

   • Les hypothèses validées deviennent des Principes stockés en mémoire à long terme.
   • Folding (Pliage) : Les expériences brutes soutenant un principe sont compressées et retirées de la mémoire épisodique pour économiser l'espace contextuel, tout en conservant la connaissance abstraite.
   • Oubli : Un mécanisme de décroissance (inspiré de la courbe d'Ebbinghaus) permet d'oublier les connaissances obsolètes.

Boucle Scientifique

Le cœur de la méthode est le principe « Vérifier avant d'appliquer ». Le système ne récupère pas aveuglément une expérience passée ; il teste l'hypothèse dérivée de cette expérience contre de nouvelles observations avant de l'intégrer comme une règle fiable.

3. Contributions Clés

• Apprentissage sans gradient : Une méthode permettant aux VLM d'améliorer leurs performances sur des tâches physiques en temps réel sans réentraînement du modèle.
• Abstraction Principée vs Récupération Brute : Démonstration que transformer les expériences brutes en principes abstraits et vérifiés est bien plus efficace que la simple récupération d'épisodes passés (qui échoue face à des variations mineures de l'environnement).
• Mémoire Auto-Évolutive : Un système qui gère dynamiquement la création, la vérification, la promotion et l'oubli des connaissances, évitant ainsi la rigidité des approches par mémoire statique.
• Interprétabilité : Les connaissances acquises sont sous forme de règles textuelles lisibles par l'homme, permettant l'inspection et le débogage.

4. Résultats Expérimentaux

Les auteurs ont évalué PhysMem sur trois tâches de manipulation réelles et des benchmarks en simulation (4 modèles VLM différents).

Tâches Évaluées

1. Organisation de Pièces : Empilement optimal de pièces irrégulières sur une grille (apprentissage des relations spatiales 3D).
2. Navigation de Balle : Pousser une balle de soccer à travers un parcours d'obstacles (apprentissage de la dynamique de roulement et du rebond).
3. Empilement Équilibré : Construire une tour stable avec des pierres aux propriétés de friction et de masse invisibles (apprentissage de la stabilité).

Performances

• Amélioration de la réussite : Sur la tâche d'insertion de briques (simulation), l'abstraction principée a atteint 76 % de réussite contre seulement 23 % pour une récupération d'expérience directe.
• Courbes d'apprentissage : En conditions réelles (30 minutes de déploiement), PhysMem montre une amélioration continue.
  • Organisation de pièces : Score passant de -1 à 9,7 avec mémoire (vs ~0 sans).
  • Navigation de balle : Écart de 14,7 contre 0,7.
• Transfert et Adaptation :
  • Les principes appris transfèrent bien à des scénarios similaires (ex: nouvelles pierres).
  • Pour des dynamiques radicalement différentes (ex: nouvelles balles avec friction différente), l'adaptation au moment du test est cruciale, améliorant le taux de réussite de 10 % à 40 %.
• Évolutivité : L'amélioration des performances est corrélée à la capacité du VLM de base (les modèles plus puissants bénéficient davantage de l'apprentissage par mémoire).

5. Signification et Impact

Ce travail démontre que les robots peuvent acquérir une « intuition physique » spécifique au contexte sans nécessiter de réentraînement coûteux.

• Au-delà de la mémoire épisodique : Il prouve que la simple accumulation de données ne suffit pas ; la capacité à abstraire, vérifier et généraliser ces données en principes est essentielle pour une adaptation robuste.
• Déploiement Réaliste : La méthode permet aux robots de s'adapter aux variations du monde réel (friction, usure, objets nouveaux) lors de leur déploiement, comblant le fossé entre la connaissance théorique des LLM et la réalité physique.
• Futur de la Robotique : Cela ouvre la voie à des agents autonomes capables de « grandir en sagesse » à travers l'expérience, rendant les systèmes de robotique plus fiables et adaptables dans des environnements non structurés.

En résumé, PhysMem transforme le VLM d'un planificateur statique en un agent apprenant, capable de construire et de raffiner son propre modèle du monde physique au fil de ses interactions.