💻 computer science

TapSampling: Inference-Time Sampling with a Task-Progress-Understanding Verifier for Robotic Manipulation

Ce papier présente TapSampling, un cadre plug-and-play et agnostique à la politique qui améliore les performances de manipulation robotique en exploitant un Action-VAE pour générer des actions candidates diversifiées et un vérificateur de progression de tâche pour sélectionner l'action optimale lors de l'inférence, améliorant ainsi les politiques généralistes existantes sans nécessiter de nouveau finetuning.

Auteurs originaux : Sizhe Zhao, Shengping Zhang, Shuo Yang, Weiyu Zhao, Shuigen Wang, Xiangyang Ji

Publié 2026-05-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sizhe Zhao, Shengping Zhang, Shuo Yang, Weiyu Zhao, Shuigen Wang, Xiangyang Ji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à accomplir une tâche complexe, comme empiler des blocs ou placer un jouet dans une boîte. Actuellement, la plupart des robots fonctionnent comme un élève nerveux passant un examen : ils lisent les instructions, réfléchissent une fraction de seconde, puis écrivent immédiatement une seule réponse. Si cette première hypothèse est légèrement erronée, le robot échoue et l'examen est terminé. Cela s'appelle l'inférence « single-shot » (à tir unique), et l'article soutient que c'est la raison principale pour laquelle les robots sont parfois maladroits ou instables.

Les auteurs de cet article, TapSampling, proposent une approche différente. Au lieu de forcer le robot à faire un seul pari rapide, ils lui donnent un moment pour « réfléchir à voix haute » en générant de nombreux mouvements possibles, puis en choisissant le meilleur.

Voici comment leur système fonctionne, décomposé en trois parties simples :

1. Le « Générateur d'idées » (Action-VAE)

Habituellement, pour amener un robot à essayer différents mouvements, vous devez demander au cerveau principal du robot d'exécuter la simulation encore et encore. C'est lent, comme demander à un chef de cuisiner le même plat 10 fois juste pour voir lequel a le meilleur goût.

Les auteurs ont construit un outil spécial appelé un Action-VAE. Imaginez cela comme un « assistant créatif ».

D'abord, le cerveau principal du robot suggère quelques mouvements de départ (comme un chef suggérant trois idées grossières pour un repas).
L'Action-VAE prend ces quelques idées et les compresse en une « maquette » de ce à quoi ressemble un bon mouvement.
À partir de cette maquette, il peut instantanément générer des dizaines de nouvelles variations de haute qualité sans avoir besoin que le cerveau principal du robot fasse à nouveau le gros du travail.
L'analogie : C'est comme un musicien de jazz. Le robot principal joue quelques notes, et l'Action-VAE improvise instantanément tout un nouveau solo basé sur ce style, vous offrant de nombreuses options à choisir très rapidement.

2. Le « Coach de progression » (Vérificateur de progression de tâche)

Maintenant, le robot a une pile de 20 ou 30 mouvements possibles. Comment sait-il lequel choisir ? Dans le passé, les robots n'avaient aucun moyen de « comprendre » si un mouvement aidait réellement la tâche.

Les auteurs ont entraîné un Vérificateur, qui agit comme un Coach de progression.

Ce coach ne regarde pas seulement la position actuelle du robot ; il regarde l'action que le robot s'apprête à entreprendre et demande : « Si tu fais cela, seras-tu plus proche de terminer le travail ? »
Le coach est entraîné en observant des humains experts accomplir des tâches. Il apprend que déplacer un bloc vers l'objectif est « bon » (progression positive), tandis que le pousser loin est « mauvais » (progression négative).
L'analogie : Imaginez que vous assemblez un meuble. Le Vérificateur est la personne debout à côté de vous qui dit : « Si tu visse ce boulon maintenant, l'étagère sera stable. Mais si tu essaies de forcer cette pièce ici, tout va vaciller. » Il attribue un score à chaque mouvement en fonction de la mesure dans laquelle il aide à terminer le travail.

3. La décision finale

Avec le « Générateur d'idées » créant de nombreuses options et le « Coach de progression » les notant, le robot choisit simplement le mouvement ayant le score le plus élevé.

Si un mouvement obtient un score négatif (le coach dit « Non, cela va le casser »), le robot l'ignore.
Si un mouvement obtient un score positif élevé (le coach dit « Oui, cela nous fait avancer »), le robot l'exécute.

Pourquoi cela compte

L'article a testé cela à la fois sur des simulations informatiques et sur de vrais robots dans un laboratoire. Ils ont constaté qu'en utilisant cette stratégie « générer beaucoup, choisir le meilleur » :

Les robots sont devenus plus fiables : Ils ont échoué moins souvent, même avec les mêmes données d'entraînement.
C'était rapide : Parce que le « Générateur d'idées » est si efficace, le robot n'a pas eu à attendre longtemps pour imaginer des options.
Cela fonctionne sur n'importe quel robot : Ils n'ont pas eu à réentraîner les cerveaux principaux des robots ; ils ont simplement branché ce nouveau système comme un accessoire.

En bref : TapSampling empêche les robots de se précipiter vers une seule décision, potentiellement mauvaise. Au lieu de cela, il leur permet de faire un brainstorming de quelques options, de consulter un coach qui comprend l'objectif, puis de choisir en toute confiance le mouvement qui permet réellement d'accomplir la tâche.

Résumé Technique : TapSampling

Énoncé du Problème

Les recherches existantes en contrôle incarné se sont largement concentrées sur la mise à l'échelle des données d'entraînement et de la taille des modèles pour améliorer les politiques de manipulation robotique. Bien que les modèles génératifs non déterministes (par exemple, les modèles de diffusion et les grands modèles de langage autoregressifs) aient démontré des capacités remarquables, leurs performances sont fondamentalement limitées par le paradigme d'inférence en un seul tir. En raison de la nature stochastique de ces modèles, des conditions environnementales identiques peuvent produire des résultats réussis dans certains cas et des échecs dans d'autres. Les stratégies actuelles d'inférence pour la robotique souffrent souvent de deux limitations principales :

Inefficacité ou Fidélité de l'Échantillonnage : L'échantillonnage répété directement à partir des modèles de politique augmente considérablement la latence d'inférence (d'un ordre de grandeur), tandis que l'échantillonnage à partir de distributions gaussiennes simples ignore les corrélations inter-dimensionnelles dans les blocs d'actions, conduisant à des candidats qui s'écartent de la véritable distribution d'actions.
Défis de Vérification : Il existe un manque de modèles prêts à l'emploi capables de comprendre et d'interpréter les actions robotiques de bas niveau. Les méthodes de vérification existantes reposent souvent sur des fonctions conçues à la main, l'apprentissage par renforcement hors ligne ou l'apprentissage par préférence, qui peuvent manquer d'interprétabilité ou être étroitement couplées à des architectures de politiques spécifiques, limitant ainsi leur applicabilité plug-and-play.

Méthodologie

Les auteurs proposent TapSampling, un cadre d'échantillonnage au moment de l'inférence, plug-and-play et agnostique à la politique, conçu pour améliorer les politiques robotiques généralistes sans nécessiter de fine-tuning supplémentaire. Le cadre fonctionne via deux composants principaux :

1. Échantillonnage d'Actions Efficace avec Postérieur Appris

Pour résoudre le compromis entre l'efficacité de l'échantillonnage et la qualité des actions, TapSampling introduit un Action-VAE (Variational Autoencoder).

Architecture : L'Action-VAE utilise un encodeur et un décodeur basés sur des transformateurs.
Processus :
- Un petit ensemble d'actions initiales ( $N$ ) est échantillonné à partir de la politique de base $\pi$ .
- L'encodeur compresse ces actions en une distribution gaussienne latente (moyenne $\mu$ et covariance diagonale $\sigma^2$ ).
- Une distribution postérieure mixte est construite en moyennant les distributions latentes des échantillons initiaux.
- Un nombre arbitraire de nouveaux échantillons latents est tiré à partir de ce postérieur compressé et décodé en actions candidates.
Avantage : Cette approche capture les corrélations intra-bloc entre les dimensions d'action, garantissant que les candidats générés restent proches de la véritable distribution de la politique tout en étant significativement plus rapides que l'échantillonnage répété de la politique (environ 5 fois plus rapide).

2. Sélection d'Actions Interprétable via Vérification de la Progression de la Tâche

Pour sélectionner l'action optimale parmi les candidats, TapSampling emploie un Vérificateur de Compréhension de la Progression de la Tâche.

Construction des Données d'Entraînement : Le vérificateur est entraîné en utilisant la structure séquentielle intrinsèque des trajectoires robotiques expertes. En supposant que la progression de la tâche croît linéairement dans le temps, les auteurs construisent des échantillons positifs (séquences d'actions vers l'avant menant à la progression) et des échantillons négatifs (séquences d'actions inversées menant à la régression) directement à partir des ensembles de données existants, sans nécessiter d'annotation manuelle supplémentaire.
Architecture : Le vérificateur est construit sur une base Vision-Language-Action (VLA) (spécifiquement Qwen2.5-0.5B). Il prend l'état actuel, l'instruction de la tâche et une action de requête comme entrée pour prédire le changement attendu dans la progression de la tâche ( $\Delta p$ ).
Mécanisme de Sélection : Le score prédit porte une signification sémantique explicite (par exemple, un score négatif indique un obstacle, un grand score positif indique une progression rapide). Lors de l'inférence, les candidats avec des scores en dessous d'un seuil sont rejetés, et une moyenne pondérée par le score des candidats restants est calculée pour produire l'action finale.
Efficacité : Le backbone VLM est exécuté une seule fois par paire observation-instruction. Les états cachés sont partagés entre tous les candidats, qui sont ensuite évalués en parallèle via une tête d'action légère, permettant une vérification à haut débit.

Contributions Clés

Cadre Agnostique à la Politique : Un système plug-and-play qui améliore les politiques généralistes préentraînées sans nécessiter de fine-tuning supplémentaire.
Échantillonnage de Postérieur Appris : Une stratégie basée sur un Action-VAE qui encode les actions dans une distribution compressée, permettant la génération efficace de candidats d'actions diversifiés et de haute qualité adhérant à la distribution de la politique.
Vérification de la Progression de la Tâche : Un vérificateur entraîné à prédire l'impact des actions de bas niveau sur la progression de la tâche, permettant une sélection d'actions interprétable basée sur des scores sémantiques explicites plutôt que sur des signaux de récompense opaques.
Validation Empirique : Démonstration d'améliorations substantielles des performances dans divers environnements simulés et réels.

Résultats Expérimentaux

Les auteurs ont évalué TapSampling sur des benchmarks simulés (CALVIN, LIBERO) et des configurations robotiques réelles.

Benchmark CALVIN (Simulé) : TapSampling a amélioré la longueur moyenne de succès pour plusieurs politiques non déterministes :
- Diffusion Policy : Passé de 2,41 à 2,58.
- OpenVLA : Passé de 3,30 à 3,51.
- VPP : Passé de 4,39 à 4,46.
- Les améliorations étaient cohérentes à travers différentes étapes de tâche (1–5), indiquant une meilleure stabilité à long horizon.
Benchmark LIBERO-Long (Simulé) : Appliqué à la politique $\pi0.5$ , la méthode a amélioré le taux de succès de 96,8 % à 98,0 %.
Expériences Réelles : En utilisant un bras Franka Research 3, TapSampling a amélioré le taux de succès moyen de la politique $\pi0$ de 78,3 % à 83,3 %. Notamment, elle a amélioré la précision dans les tâches nécessitant un alignement spatial et un placement conscient du contact (par exemple, empiler et placer des objets).
Analyse d'Efficacité :
- Échantillonnage : L'échantillonnage de postérieur appris a entraîné une latence supplémentaire négligeable (<0,01 s) par rapport à l'échantillonnage gaussien, tout en étant significativement plus rapide que l'échantillonnage répété de la politique.
- Vérification : TapSampling a réalisé une accélération d'environ 12 fois dans la latence de vérification par rapport à RoboMonkey (qui utilise LLaVA-7B) lors de l'évaluation de 16 candidats, grâce à son architecture d'évaluation par lots.
- Fidélité : L'analyse de la Discrepancy Moyenne Maximale (MMD) a confirmé que les actions générées via l'échantillonnage de postérieur appris s'alignent plus étroitement avec la véritable distribution de la politique que celles issues de l'échantillonnage gaussien.

Signification et Revendications

L'article postule que l'allocation de calcul au moment de l'inférence offre une voie efficace et agnostique au modèle pour améliorer la fiabilité et les performances des politiques robotiques généralistes, servant d'axe complémentaire à la mise à l'échelle des données d'entraînement.

Les auteurs affirment que TapSampling adresse l'instabilité inhérente à l'inférence en un seul tir en :

Fournissant un mécanisme pour corriger les échecs causés par la variance stochastique sans réentraîner la politique.
Permettant une sélection d'actions interprétable via un vérificateur qui comprend la progression de la tâche, plutôt que de s'appuyer sur un score boîte noire.
Équilibrant efficacité et efficacité grâce à la stratégie d'échantillonnage de postérieur appris, qui évite la latence élevée des requêtes répétées de politique tout en maintenant une haute fidélité d'action.

Ce travail suggère que les stratégies d'inférence, en particulier celles fondées sur la compréhension de la progression de la tâche, constituent une direction viable et nécessaire pour déployer des systèmes de manipulation robotique robustes dans des scénarios complexes et réels.