🤖 AI

PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations

PRTS est un modèle fondation Vision-Language-Action qui reformule le préentraînement comme un apprentissage par renforcement conditionné par un objectif en utilisant des représentations contrastives pour apprendre une conscience intrinsèque de l'atteignabilité des objectifs à partir de trajectoires hors ligne, améliorant ainsi considérablement les performances robotiques sur des tâches à long horizon, riches en contacts et en zéro-shot par rapport au clonage comportemental traditionnel.

Auteurs originaux : Yang Zhang, Jiangyuan Zhao, Chenyou Fan, Fangzheng Yan, Tian Li, Haitong Tang, Sen Fu, Xuan'er Wu, Qizhen Weng, Weinan Zhang, Xiu Li, Chi Zhang, Chenjia Bai, Xuelong Li

Publié 2026-05-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yang Zhang, Jiangyuan Zhao, Chenyou Fan, Fangzheng Yan, Tian Li, Haitong Tang, Sen Fu, Xuan'er Wu, Qizhen Weng, Weinan Zhang, Xiu Li, Chi Zhang, Chenjia Bai, Xuelong Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à faire des tâches ménagères. La plupart des robots actuels apprennent par mimétisme : ils regardent une vidéo d'un humain réalisant une tâche (comme ramasser une tasse) et tentent de copier les mouvements exacts qu'ils observent. C'est comme un étudiant qui mémorise une chorégraphie par cœur. Si la musique change, les lumières s'éteignent ou le danseur se déplace vers un endroit différent, l'étudiant se perd et arrête de danser. Il sait comment bouger, mais il ne comprend pas vraiment pourquoi il bouge ou où il va.

L'article présente PRTS (Primitive Reasoning and Tasking System), un nouveau type de cerveau robotique qui apprend différemment. Au lieu de simplement copier des mouvements, PRTS apprend à comprendre les objectifs et les progrès.

Voici le détail de son fonctionnement, en utilisant des analogies simples :

1. Le Problème : Le « Robot qui ne fait que mémoriser »

Les robots actuels sont comme des acteurs qui ont mémorisé un script. Si le script dit « Prenez la tasse rouge », ils le font. Mais si vous leur demandez de « Prenez la tasse bleue » (même s'ils ont déjà vu une tasse bleue), ou si la tasse est dans un endroit étrange, ils échouent souvent. Ils manquent d'un sens de la direction. Ils ne savent pas s'ils se rapprochent de l'objectif ou s'ils s'en éloignent.

2. La Solution : La « Boussole » (Apprentissage par Renforcement Contrastif)

PRTS ajoute une « boussole » au cerveau du robot. Il utilise une technique appelée Apprentissage par Renforcement Contrastif.

L'Analogie : Imaginez que vous êtes dans une forêt sombre essayant de trouver un feu de camp (l'objectif).
- Les Anciens Robots : Ils se souviennent simplement du chemin qu'ils ont parcouru la dernière fois. Si les arbres bougent, ils se perdent.
- PRTS : Il apprend à se demander : « Si je fais ce pas, est-ce que je me rapproche du feu ? » Il n'a pas besoin d'une carte ou d'un professeur pour lui dire « Bien joué ! » à chaque étape. Au lieu de cela, il apprend en comparant deux choses :
  1. « Si je fais cette action, est-ce que cela ressemble à ce que je ferais pour aller vers l'objectif ? » (Oui/Bon).
  2. « Si je fais cette autre action, est-ce que cela ressemble à ce que je ferais pour aller vers un autre objectif ? » (Non/Mauvais).

En faisant cela des millions de fois, le robot construit une carte interne où chaque action est notée en fonction de la probabilité qu'elle mène à l'objectif spécifique que vous lui avez donné par les mots.

3. Le Tour de Magie : Faire Deux Choses en Même Temps

Habituellement, enseigner à un robot à « comprendre les objectifs » et lui apprendre à « bouger ses bras » sont deux cours séparés. Vous enseignez au cerveau, puis vous enseignez aux muscles. C'est lent et coûteux.

PRTS est astucieux car il apprend les deux en même temps dans un seul cours.

L'Analogie : Imaginez un étudiant passant un examen où il doit rédiger une dissertation (l'action) et aussi résoudre un problème de mathématiques (l'objectif) sur la même feuille de papier.
PRTS fait cela en ajoutant deux petits « post-it » invisibles à l'entrée du robot. Un post-it suit l'action, et l'autre suit l'objectif.
Le cerveau du robot traite toute la scène, écrit l'action et vérifie simultanément le « problème de mathématiques » (est-ce que cette action me rapproche de l'objectif ?) sans ralentir. C'est si efficace que cela coûte presque la même quantité de puissance de calcul que les anciennes méthodes plus simples.

4. Les Résultats : Le Robot Qui Peut « Penser »

Les auteurs ont testé PRTS dans des simulations et sur de vrais robots (à deux bras et à un bras). Voici ce qui s'est passé :

Le Test « Longue Portée » : Lorsqu'on lui demandait d'effectuer une longue chaîne de tâches (comme « préparer du thé », ce qui implique de faire bouillir de l'eau, de prendre une tasse, d'ajouter du thé, etc.), PRTS ne se perdait pas à mi-parcours. Il continuait de vérifier sa « boussole » pour s'assurer qu'il était toujours sur la bonne voie.
Le Test « Nouvelles Instructions » : Si vous disiez au robot de « Prenez le bloc bleu » au lieu du rouge sur lequel il avait été entraîné, il trouvait la solution immédiatement. Il ne mémorisait pas simplement « attrapez l'objet à la position X » ; il comprenait « attrapez l'objet qui correspond au mot 'bleu' ».
Le Test « Interruption Humaine » : C'est la partie la plus impressionnante. Imaginez que le robot place un bloc sur une table, et qu'un humain arrache le bloc et le remet dans un endroit différent.
- Les Anciens Robots : Ils se perdraient, essaieraient de placer le bloc là où il était, ou s'arrêteraient simplement.
- PRTS : Il réalise instantanément : « Oh, l'objectif est toujours 'placer le bloc sur la table', mais le bloc a bougé. Je dois aller le chercher à nouveau. » Il se rétablit et termine la tâche, tout comme un humain le ferait.

Résumé

PRTS est un cerveau robotique qui cesse de simplement « copier » pour commencer à « raisonner ». Il apprend à relier les mots (objectifs) aux actions en demandant constamment : « Est-ce que cette étape me rapproche de ce qu'on m'a demandé de faire ? »

Parce qu'il apprend ce « sens de la direction » à partir de zéro en utilisant d'énormes quantités de données, il devient bien meilleur pour gérer de nouvelles situations, des tâches longues et des erreurs que les robots précédents. Il transforme le robot d'un mime sans esprit en un assistant orienté vers les objectifs.

1. Énoncé du problème

Les modèles actuels Vision-Language-Action (VLA) ont fait progresser le contrôle robotique en exploitant les modèles Vision-Language (VLM) comme épine dorsale perceptuelle, utilisant généralement une architecture à double système (Système 2 pour le raisonnement, Système 1 pour le contrôle). Cependant, les approches existantes souffrent d'une limitation fondamentale :

Statique vs Temporel : Elles encadrent principalement le pré-entraînement comme un clonage comportemental supervisé (BC), se concentrant sur les corrélations sémantiques visuelles et linguistiques statiques. Elles manquent d'une compréhension intrinsèque de la faisabilité de l'atteinte d'un objectif—la probabilité quantitative qu'une paire état-action actuelle mène à un objectif spécifié par le langage au fil du temps.
Goulots d'étranglement de l'estimation de valeur : Les tentatives d'intégration de l'apprentissage de la valeur reposent souvent sur des réseaux de valeur séparés, nécessitent des annotations manuelles de récompenses, ou utilisent l'apprentissage par différence temporelle (TD) qui souffre d'erreurs de bootstrap et d'une forte variance dans les tâches à long horizon.
Fossé de généralisation : Sans conscience temporelle explicite, ces modèles peinent à planifier sur de longs horizons, à gérer des instructions nouvelles en zéro-shot et à récupérer après des interventions humaines, car ils ne peuvent pas distinguer les états « faciles mais erronés » des états « difficiles mais atteignables ».

2. Méthodologie : PRTS

Les auteurs proposent PRTS, un modèle fondation VLA qui reformule le pré-entraînement par Apprentissage par Renforcement Conditionné par l'Objectif (GCRL) en utilisant l'Apprentissage par Renforcement Contrastif (CRL).

A. Concept central : CRL pour VLA

Au lieu de prédire directement les actions ou d'utiliser un réseau de valeur séparé, PRTS apprend un espace d'embedding unifié où le produit scalaire d'un embedding état-action ( $\phi(s, a)$ ) et d'un embedding objectif ( $\psi(l)$ ) approxime l'occupation log-décotée de l'objectif.

Fondement théorique : Basé sur l'équivalence entre la fonction Q pour les récompenses d'atteinte d'objectif et la probabilité d'occupation conditionnelle (Lemme 1).
Objectif : Le modèle apprend à discriminer entre les paires état-action capables d'atteindre un objectif linguistique spécifique (échantillons positifs) et celles qui ne le peuvent pas (échantillons négatifs).

B. Innovations techniques clés

CRL conditionné par le langage :
- Contrairement au CRL standard qui échantillonne les états futurs de manière géométrique, PRTS traite l'instruction linguistique comme l'objectif fixe pour l'ensemble d'une trajectoire.
- Problème multi-positif : Puisqu'un seul objectif linguistique s'applique à tous les pas de temps d'une trajectoire, un lot contient de nombreuses paires positives pour un même objectif.
- Pondération temporelle : Pour retrouver la distribution d'échantillonnage géométrique du CRL standard, les auteurs introduisent un schéma de pondération temporelle. Les paires état-action plus proches de la fin d'une trajectoire (plus proches de l'objectif) sont pondérées plus fortement ( $\gamma^{T-t}$ ). Cela permet au modèle d'apprendre la structure temporelle de l'atteinte d'objectif sans étiquettes de récompense explicites.
- Objectifs bidirectionnels :
  - État-Action $\to$ Langage : Aligne $(s, a)$ avec son instruction spécifique.
  - Langage $\to$ État-Action : Force le modèle à classer les états-actions au sein d'une trajectoire selon leur proximité avec l'objectif, codant ainsi le progrès temporel.
Architecture à passage avant unique (surcharge négligeable) :
- PRTS ajoute deux blocs de tokens auxiliaires à la séquence d'entrée : <CRL_action> et <CRL_goal>.
- Masque causal sensible au rôle : Un masque d'attention personnalisé (implémenté via un noyau CuTe-FlashAttention fusionné) assure l'isolation de l'information :
  - Les tokens <CRL_action> ne s'attendent qu'à la vision/proprioception (pas au langage).
  - Les tokens <CRL_goal> ne s'attendent qu'à l'instruction.
  - Les tokens d'action autorégressifs standards maintiennent une attention causale standard.
- Résultat : Le modèle produit des logits d'action discrets, des embeddings état-action et des embeddings objectif en un seul passage avant, engendrant une surcharge computationnelle négligeable par rapport au clonage comportemental classique.
Pipeline d'entraînement en deux étapes :
- Pré-entraînement : Optimisation conjointe de l'épine dorsale VLM sur le clonage comportemental (prédiction du token suivant), des tâches auxiliaires (Robot-QA) et des pertes contrastives bidirectionnelles. Aucun expert d'action n'est encore attaché.
- Post-entraînement : Un Expert d'Action par Flux-Matching (basé sur un Transformateur de Diffusion) est attaché et affiné sur des données en aval. L'épine dorsale pré-entraînée fournit les priors de faisabilité de l'atteinte d'objectif.

3. Contributions clés

Reformulation du pré-entraînement VLA : Première mise à l'échelle du CRL sans récompense et conditionné par le langage directement dans la phase de pré-entraînement VLA, éliminant le besoin d'annotations manuelles de récompenses ou de réseaux de valeur séparés.
Conscience intrinsèque de la faisabilité de l'objectif : Les représentations apprises encodent quantitativement la probabilité d'atteindre un objectif, comblant le fossé entre le raisonnement sémantique et le progrès temporel de la tâche.
Architecture efficace : Le « Masque causal sensible au rôle » et le noyau CuTe personnalisé permettent une supervision dense de la faisabilité de l'objectif avec une surcharge computationnelle quasi nulle, rendant l'approche évolutive vers de grands modèles (4 milliards de paramètres) et des ensembles de données massifs (167 milliards de tokens).
Cadre unifié : Unifie le raisonnement sémantique, la prédiction d'actions discrètes et l'estimation de valeur au sein d'une seule architecture VLM.

4. Résultats expérimentaux

PRTS a été pré-entraîné sur 167,8 milliards de tokens issus d'ensembles de données divers (AgiBotWorld, RoboMind, Open X-Embodiment, etc.) et évalué sur des benchmarks de simulation et du monde réel.

Benchmarks de simulation (LIBERO, LIBERO-Plus, LIBERO-Pro, SimplerEnv) :
- Performance SOTA : PRTS atteint des résultats de pointe, égalant ou dépassant des bases solides (par exemple, $\pi^0.5$ , ABot-M0) tout en utilisant significativement moins de calcul de post-entraînement (par exemple, 1/8e du budget de $\pi^0.5$ sur LIBERO).
- Tâches à long horizon : Gains significatifs sur la suite « Long » de LIBERO (96,6 % contre 94,8 % pour les bases avec budget équivalent), prouvant l'efficacité de la conscience temporelle.
- Robustesse : Surpasse les bases en généralisation zéro-shot sous des décalages de distribution (caméra, état du robot, éclairage, disposition des objets) et des perturbations Tâche/Position dans LIBERO-Pro.
- Instruction en zéro-shot : Amélioration massive sur les instructions nouvelles (31,5 % contre 0,8 % pour $\pi^0.5$ sur l'axe « Tâche » de LIBERO-Pro).
Évaluation dans le monde réel (RealMan Dual-Arm & Flexiv Single-Arm) :
- Manipulation complexe : A atteint un taux de réussite moyen de 95,9 % sur 11 tâches à deux bras et 90,0 % sur 3 tâches à un bras à haute finesse.
- Récupération après intervention humaine : PRTS a démontré une robustesse supérieure lorsque des humains interrompaient les tâches (par exemple, retirer des objets en cours d'exécution). Contrairement aux bases qui échouaient ou rejouaient des trajectoires obsolètes, PRTS a réévalué avec succès l'état et replanifié pour atteindre l'objectif.
- Généralisation : A maintenu des taux de réussite élevés sous des changements d'éclairage, d'identité des objets et de disposition spatiale.
Visualisation de la valeur :
- Le produit scalaire $\phi(s, a)^\top \psi(l)$ s'est avéré fortement corrélé au progrès de la tâche, augmentant à mesure que le robot s'approche de l'objectif et restant faible pour des instructions non correspondantes, confirmant que le modèle apprend une fonction de valeur conditionnée par l'objectif valide.

5. Signification

PRTS représente un changement de paradigme dans les modèles fondation robotiques :

De l'imitation au raisonnement : Il va au-delà du simple clonage comportemental (imitation) pour apprendre une conscience de la faisabilité de l'objectif, permettant au robot de comprendre à quel point il est proche d'un objectif et à quel point un chemin est réalisable.
Évolutivité : Il démontre que les objectifs contrastifs, auparavant limités à de plus petits domaines de prise de décision, peuvent être mis à l'échelle vers de grandes épine dorsales VLA (4 milliards de paramètres et plus) et des ensembles de données massifs sans coût prohibitif.
Intelligence à usage général : En injectant des priors temporels et conscients de l'objectif lors du pré-entraînement, PRTS atteint une généralisation zéro-shot et une robustesse remarquables, suggérant une voie vers une intelligence robotique véritablement à usage général, orientée vers les objectifs, capable de gérer des environnements réels complexes, à long horizon et dynamiques.