ActivePusher: Active Learning and Planning with Residual Physics for Nonprehensile Manipulation

Le papier présente ActivePusher, un cadre novateur combinant la modélisation par physique résiduelle et l'apprentissage actif basé sur l'incertitude pour améliorer l'efficacité des données et la réussite de la planification à long terme dans la manipulation non préhensile.

L'essentiel

🤖 ACTIVEPUSHER : Comment apprendre à un robot à pousser sans se tromper

Imaginez que vous voulez apprendre à un robot à pousser des objets sur une table (comme un verre, une boîte de biscuits ou une banane) pour les déplacer d'un point A à un point B. C'est ce qu'on appelle la manipulation non préhensile (le robot ne peut pas saisir l'objet avec une pince, il doit le pousser).

Le problème ? La physique du monde réel est compliquée. Le frottement, la forme de l'objet, la vitesse du coup de pouce... tout cela change le résultat. Si le robot se base uniquement sur des formules mathématiques parfaites (comme dans un livre de physique), il échouera souvent car la réalité est "sale" et imprévisible.

C'est là qu'intervient ACTIVEPUSHER, une nouvelle méthode qui permet au robot d'apprendre par l'expérience, mais intelligemment.

1. Le problème : Apprendre à l'aveugle

Habituellement, pour apprendre, un robot essaie des milliers de coups de pouce au hasard. C'est comme si vous appreniez à jouer du piano en appuyant au hasard sur les touches pendant des heures. C'est long, coûteux et inefficace. De plus, le robot ne sait pas où il a besoin d'apprendre. Il risque de répéter des choses qu'il connaît déjà et d'ignorer les situations dangereuses où il risque de faire tomber l'objet.

2. La solution : Le "Système de Navigation" en deux temps

ACTIVEPUSHER fonctionne comme un navigateur GPS très intelligent qui combine deux stratégies : l'apprentissage actif et la planification active.

A. L'Apprentissage Actif : "Posez les bonnes questions"
Au lieu d'essayer des coups au hasard, le robot se demande : "Où suis-je le plus incertain ?".

• L'analogie : Imaginez un élève qui révise pour un examen. Au lieu de relire tout le manuel, il regarde ses fiches et se dit : "Je suis sûr de moi sur l'histoire, mais je ne comprends rien à la géographie. Je vais étudier la géographie."
• Comment ça marche ? Le robot utilise une technique mathématique (appelée NTK) pour cartographier ses zones d'ignorance. Il choisit ensuite de pousser l'objet uniquement dans les directions où il est le plus perdu. Cela lui permet d'apprendre 2 fois plus vite avec la moitié des essais.

B. La Planification Active : "Choisissez les chemins sûrs"
Une fois que le robot a appris à prédire comment l'objet bouge, il doit créer un plan pour atteindre sa cible.

• L'analogie : Imaginez que vous devez traverser une forêt. Vous avez une carte. Certaines zones de la carte sont floues (vous ne savez pas s'il y a des précipices), d'autres sont très claires. Un bon planificateur ne choisira pas le chemin le plus court si ce chemin traverse la zone floue. Il choisira un chemin un peu plus long, mais qui passe par les zones claires et sûres.
• Comment ça marche ? Le robot utilise son "degré de confiance" pour choisir ses mouvements. S'il est très sûr de lui pour un certain coup de pouce, il l'utilise. S'il est incertain, il évite ce mouvement, même s'il semble théoriquement efficace. Cela évite les catastrophes (comme faire tomber l'objet).

3. Le mélange magique : Physique + IA

Le robot ne part pas de zéro. Il utilise un modèle physique de base (comme une règle de la physique simplifiée) et une petite intelligence artificielle (un réseau de neurones) qui sert de correcteur.

• L'analogie : C'est comme si vous aviez un professeur de physique très rigide (le modèle) et un assistant très observateur (l'IA). Le professeur dit : "Si tu pousses ici, l'objet va aller là." L'assistant regarde la réalité et dit : "Attends, le sol est glissant, en fait il va aller un peu plus à droite." Ensemble, ils sont parfaits.

4. Les Résultats : Plus rapide, plus sûr

Les chercheurs ont testé cette méthode en simulation et avec un vrai robot (un bras UR10) sur de vrais objets (boîtes, bouteilles).

• Efficacité : Le robot a appris à pousser avec beaucoup moins d'essais que les méthodes classiques.
• Sécurité : En planifiant avec ses zones de confiance, le robot réussit beaucoup plus souvent sa tâche, même avec des obstacles sur la table.
• Réalité : Contrairement à d'autres méthodes qui ont besoin de millions d'heures de simulation, ACTIVEPUSHER peut apprendre directement dans le monde réel avec très peu de données.

En résumé

ACTIVEPUSHER est un robot qui ne se contente pas d'essayer et d'échouer. Il s'auto-évalue :

1. Il sait ce qu'il ne sait pas et va apprendre spécifiquement ces points faibles.
2. Il sait ce qu'il maîtrise et utilise ces connaissances pour tracer des plans sûrs.

C'est comme passer d'un apprenti qui tape sur tout ce qui bouge, à un artisan expert qui sait exactement où frapper pour obtenir le résultat souhaité, sans casser l'outil ni l'objet.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "ACTIVEPUSHER: Active Learning and Planning with Residual Physics for Nonprehensile Manipulation", accepté pour publication à la conférence ICRA 2026.

1. Problématique et Contexte

La manipulation non préhensile (pousser, rouler des objets sans les saisir) est un défi majeur en robotique car les modèles analytiques de physique sont souvent trop simplifiés (hypothèses de frottement, géométrie de contact) pour être précis dans le monde réel. Les approches basées sur l'apprentissage (data-driven) offrent une alternative, mais elles souffrent de deux limitations critiques :

• Inefficacité de l'échantillonnage : Collecter des données d'interaction réelles est coûteux et lent. Les méthodes traditionnelles utilisent souvent un échantillonnage aléatoire, ce qui est inefficace car toutes les interactions ne sont pas également informatives pour l'apprentissage du modèle.
• Incertitude dans les régions sous-exploérées : Les modèles appris ont tendance à être très incertains dans les zones de l'espace des compétences (skill space) peu explorées. Cette incertitude entraîne des erreurs de prédiction qui s'accumulent lors de la planification à long horizon, menant à l'échec de la tâche.

L'objectif est donc de développer un cadre capable d'apprendre des modèles de dynamique avec peu de données et de planifier des trajectoires robustes en tenant compte de l'incertitude du modèle.

2. Méthodologie : Le Cadre ACTIVEPUSHER

ACTIVEPUSHER propose une intégration étroite de trois composantes : la physique résiduelle, l'apprentissage actif et la planification cinodynamique active.

A. Modélisation par Physique Résiduelle

Au lieu d'apprendre la dynamique complète à partir de zéro, le système utilise une approche hybride :

• Un modèle physique analytique (basé sur des hypothèses quasi-statiques et la loi de Coulomb) fournit une estimation de base (coarse estimation).
• Un réseau de neurones (NN) apprend le "résidu", c'est-à-dire l'erreur entre la prédiction du modèle physique et la réalité observée.
• Cela préserve la plausibilité physique tout en permettant au réseau de corriger les écarts spécifiques aux objets et aux contacts, améliorant ainsi l'efficacité des données.

B. Quantification de l'Incertitude (NTK)

Pour guider l'apprentissage et la planification, le système doit estimer son propre incertitude (incertitude épistémique).

• Le papier utilise le Neural Tangent Kernel (NTK). Théoriquement, un réseau de neurones à largeur infinie converge vers un Processus Gaussien (GP) défini par son NTK.
• Même pour des réseaux de largeur finie, le NTK empirique (après entraînement) permet d'approximer la covariance prédictive d'un GP.
• L'incertitude est calculée comme la variance de la prédiction sur des données non étiquetées, conditionnée aux données d'entraînement. Une variance élevée indique une région sous-exploitée où le modèle est peu fiable.

C. Apprentissage Actif (Active Learning)

Pour maximiser l'efficacité des données, ACTIVEPUSHER n'attend pas des données aléatoires mais sélectionne activement les interactions les plus informatives.

• Stratégie BAIT (Batch Active learning via Information maTrices) : L'algorithme sélectionne un lot (batch) d'actions de poussée qui maximise le gain d'information attendu.
• Il utilise l'information de Fisher (dérivée des gradients du réseau) pour choisir des échantillons qui couvrent les directions où le modèle peut encore apprendre le plus. Cela permet d'entraîner le modèle avec beaucoup moins de données qu'un échantillonnage aléatoire.

D. Planification Cinodynamique Active (Active Planning)

Lors de la phase de planification (trouver une séquence de poussées pour atteindre un objectif), le système intègre l'estimation d'incertitude dans le processus de recherche.

• Un planificateur cinodynamique (SST - Sparse Sampling Tree) explore l'espace d'état.
• Au lieu de tirer des actions au hasard, le planificateur utilise un échantillonnage biaisé : il génère un lot d'actions candidates et sélectionne celle qui présente la plus faible incertitude prédite par le modèle.
• Cela oriente la recherche vers des régions de l'espace des compétences où le modèle est fiable, augmentant la probabilité de succès de la tâche tout en conservant les garanties théoriques de complétude probabiliste.

3. Contributions Clés

1. Apprentissage actif de modèles de compétences : Un cadre principiel pour l'apprentissage de compétences non préhensiles en sélectionnant les paramètres d'action qui maximisent le gain d'information, réduisant drastiquement le besoin de données.
2. Planification active consciente de l'incertitude : Une nouvelle stratégie de planification qui intègre les estimations d'incertitude dans un planificateur cinodynamique asymptotiquement optimal, guidant la sélection d'actions vers des comportements fiables.
3. Validation empirique : Démonstration de l'efficacité de l'approche à la fois en simulation et dans le monde réel, surpassant les méthodes de base (modèles physiques purs, apprentissage aléatoire) en termes d'efficacité des données et de taux de réussite.

4. Résultats Expérimentaux

Les expériences ont été menées sur un robot UR10 avec divers objets (banane, mug, boîte de crackers, bouteille de moutarde) en simulation (MuJoCo) et dans le monde réel.

• Apprentissage de compétences (Skill Learning) :

  • La méthode Residual BAIT (Physique résiduelle + Apprentissage actif) atteint une précision de prédiction comparable à un MLP entraîné aléatoirement avec 55 % de moins de données.
  • Les méthodes d'apprentissage actif surpassent systématiquement l'échantillonnage aléatoire, réduisant l'erreur de prédiction SE(2) plus rapidement.

• Planification Cinodynamique :

  • L'intégration de l'échantillonnage actif améliore significativement le taux de réussite des tâches ("Push to Region" et "Push to Edge").
  • Bien que les chemins générés soient légèrement plus longs (augmentation de 9-13 %), le taux de réussite est plus élevé et l'erreur de suivi de trajectoire est réduite, car le planificateur évite les zones à haute incertitude.

• Exécution en Boucle Fermée (Closed-loop) :

  • Comparé à une méthode d'apprentissage par renforcement (RL) de pointe (HACMan), ACTIVEPUSHER atteint un taux de réussite de 100 % avec beaucoup moins de données.
  • Contrairement aux méthodes RL qui peinent à se généraliser face à de nouveaux obstacles (problème de distribution shift), ACTIVEPUSHER transfère efficacement du simulateur au réel et gère des environnements non vus lors de l'entraînement.

5. Signification et Impact

Ce travail démontre qu'il est possible de réaliser une manipulation non préhensile robuste dans le monde réel sans nécessiter de simulations haute fidélité massives, de grands jeux de données hors ligne ou de démonstrations humaines.

La contribution principale réside dans la boucle fermée entre l'apprentissage (où l'on apprend là où l'on est incertain) et la planification (où l'on agit là où l'on est certain). En combinant la rigueur des modèles physiques avec la flexibilité de l'apprentissage profond, et en pilotant les deux par l'estimation d'incertitude via le NTK, ACTIVEPUSHER offre une voie prometteuse pour des robots autonomes capables d'apprendre et d'agir efficacement dans des environnements complexes avec un nombre minimal d'interactions.