🤖 machine learning

RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance

RynnValue est un modèle de fondation de valeur robotique en open-source qui passe à l'échelle avec des millions de clips conditionnés par instructions en utilisant la distance temporelle comme cible de supervision, surpassant les méthodes basées sur la préférence lors de l'évaluation et augmentant considérablement le succès des politiques en conditions réelles sans nécess avoir besoin d'annotations explicites de récompense ou de progression.

Auteurs originaux : Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

Publié 2026-08-11

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à cuisiner un repas, mais au lieu de lui donner une recette, vous dites simplement : « Fais bien ! » en espérant qu'il comprenne le reste. C'est le monde de l'apprentissage robotique, une branche de la science où les ingénieurs tentent d'apprendre aux machines à bouger et à interagir avec le monde physique. Le plus grand obstacle n'est généralement pas le cerveau du robot (sa capacité à bouger), mais la récompense. Dans le monde de l'IA, une « récompense » est comme un bulletin de notes ou un « bravo » qui dit au robot : « Bon travail ! » ou « Réessaie ! ». Le problème est que donner un bulletin de notes parfait pour chaque mouvement est incroyablement difficile. Si le bulletin est trop vague, le robot est confus. S'il est trop spécifique à une tâche, le robot ne peut rien apprendre de nouveau. Les scientifiques ont essayé de construire un « bulletin à usage général » qui fonctionne pour n'importe quel robot effectuant n'importe quelle tâche, mais ils sont restés bloqués sur la manière de le créer sans qu'un humain ait besoin de noter manuellement chaque tentative.

C'est ici qu'intervient une nouvelle idée appelée RynnValue. Considérez cela comme une nouvelle façon de noter la performance d'un robot. Au lieu de demander : « À quel point es-tu proche de la ligne d'arrivée ? » (ce qui est difficile à mesurer si la ligne d'arrivée est différente pour chaque tâche), RynnValue demande : « Combien de temps reste-t-il avant que tu n'aies fini ? ». Cela traite le voyage du robot comme un compte à rebours. Si le robot est loin du but, le minuteur est élevé. S'il est proche, le minuteur est bas. La magie de ce papier est qu'elle montre que vous n'avez pas besoin qu'un humain appuie sur un bouton pour dire « Bon travail » afin de créer ce minuteur. Vous pouvez simplement regarder l'horloge. Si une vidéo d'un robot en train de cuisiner commence à 10 minutes et se termine à 0, l'ordinateur peut automatiquement comprendre qu'à la marque des 5 minutes, le robot avait 5 minutes restantes. Ce tour de magie simple permet au robot d'apprendre de milliers d'heures de vidéos sans que personne n'ait besoin de les noter manuellement.

Le Problème : Le Piège du « Progrès »

Pendant longtemps, les scientifiques ont essayé d'enseigner aux robots en mesurant le « progrès ». Imaginez un robot essayant d'empiler des blocs. Un modèle de progrès essaierait de deviner si le robot est terminé à 10 %, 50 % ou 90 %. Mais voici le piège : « 50 % de progression » ressemble totalement à autre chose pour l'empilement de blocs que pour le versement d'eau. Un robot pourrait être à mi-chemin par la hauteur, tandis qu'un autre le serait par le temps. Cela rend très difficile l'entraînement d'un robot capable de faire beaucoup de choses différentes, car la définition du « progrès » change à chaque fois que la tâche change. C'est comme essayer d'enseigner les mathématiques à un élève en lui disant : « Tu es à la moitié ! » sans jamais lui donner la réponse finale attendue.

Les auteurs de ce papier soutiennent que cette approche par le « progrès » est une impasse. Ils affirment que nous devons arrêter d'essayer de deviner à quel point le robot est avancé et commencer à compter à rebours le temps jusqu'à ce que le travail soit terminé. Ils appellent cela la distance temporelle. C'est le « coût pour aller à destination » (cost-to-go), ou simplement : « Combien de temps me reste-t-il ? ».

La Solution : RynnValue et l'Horloge Magique

L'équipe de l'Académie DAMO d'Alibaba et du Hupan Lab a construit un modèle appelé RynnValue. Au lieu d'essayer de deviner un pourcentage de progression, RynnValue regarde une vidéo d'un robot et une instruction textuelle (comme « pose la tasse sur la table ») et prédit exactement combien de secondes il reste avant que la tâche ne soit terminée.

Voici la partie astucieuse : ils n'ont pas eu besoin que des humains écrivent « 5 secondes restantes » pour chaque vidéo. Ils ont simplement utilisé les horodatages déjà présents sur les fichiers vidéo. Si une vidéo commence à 0:00 et que le robot termine à 0:10, l'ordinateur sait qu'à 0:05, le robot avait 5 secondes restantes. Cela signifie qu'ils ont pu entraîner le modèle sur une immense bibliothèque de plus de 7 000 heures de vidéos de robots — environ 3 millions de clips — sans avoir besoin d'un seul humain pour les noter manuellement. C'est comme enseigner la lecture à un élève en le laissant regarder des milliers de films sous-titrés, plutôt que d'avoir un professeur qui note chaque phrase qu'il lit.

Les Astuces Sournoises (et comment elles ont été stoppées)

Vous pourriez penser : « Si le robot apprend juste à regarder l'horloge, n'est-il pas en train d'exploiter un raccourci ? ». Les scientifiques s'en inquiétaient aussi. Ils savaient que s'ils montraient simplement les vidéos dans l'ordre, le robot pourrait apprendre un raccourci : « Oh, la 3ème image de la vidéo est toujours à la moitié du chemin ! » ou « Si la vidéo dure 10 secondes, le milieu est toujours à 5 secondes ». Le robot arrêterait de regarder réellement les bras du robot et se contenterait de deviner en fonction de la position de la vidéo.

Pour empêcher cela, ils ont ajouté du « chaos » à l'entraînement :

Échantillonnage Aléatoire : Ils n'ont pas montré la vidéo au robot de manière linéaire. Ils ont choisi des moments aléatoires dans la vidéo, de sorte que le robot ne puisse pas deviner le temps en fonction de l'ordre des images.
Mélange (Shuffling) : Ils ont parfois montré la vidéo à l'envers ou dans un ordre désordonné. Si le robot voyait un état « terminé » avant un état « de départ », il devait réaliser que l'état « terminé » était en fait plus éloigné dans le temps, forçant ainsi le robot à réellement regarder l'image du robot, et non juste l'ordre des images.
Isolation : Ils se sont assurés que le robot ne pouvait pas jeter un coup d'œil aux réponses de l'image suivante tout en devinant l'actuelle. Il devait résoudre chaque instant de manière autonome.

Les Résultats : Est-ce que ça marche ?

L'équipe a testé RynnValue sur un ensemble de différents robots et tâches qu'il n'avait jamais vus auparavant. Les résultats sont étonnamment bons.

Tâches de Classement : Lorsqu'on lui a demandé de classer différentes tentatives de robots de la « meilleure » à la « pire », RynnValue a obtenu un score de 0,675. C'est mieux que les meilleurs modèles précédents qui reposaient sur des humains notant manuellement les vidéos (qui ont obtenu 0,655).
Robots Réels : Ils ont pris le modèle et l'ont utilisé pour apprendre à de vrais robots à effectuer des tâches délicates, comme mettre du pain dans un panier ou déplacer un steak avec une spatule.
- Avec RynnValue, les robots ont réussi 72,5 % du temps lors d'un apprentissage en ligne (pendant le mouvement).
- Sans lui, en utilisant les anciennes meilleures méthodes, ils ne réussissaient que 52,5 % du temps.
- En apprentissage hors ligne (apprentissage à partir d'une base de données de mouvements passés), RynnValue a fait passer le succès de 63,8 % à 82,5 %.

Pourquoi cela importe

La chose la plus excitante dans ce papier est qu'elle suggère que nous n'avons pas besoin d'être parfaits pour noter les robots afin de leur apprendre. Nous avons juste besoin de savoir quand ils ont terminé. En utilisant le simple « chronomètre » automatique du temps, RynnValue crée un langage universel pour les récompenses de robots. Cela fonctionne pour un robot avec deux bras, un robot avec une roue ou un robot avec une main, tant que nous pouvons dire quand le travail est fini.

Les auteurs précisent avec prudence que ce n'est pas une baguette magique qui résout instantanément tous les problèmes de robotique. Ils ont constaté que pour des tâches très complexes nécessitant un alignement précis (comme mettre une boîte dans un tiroir), le modèle éprouvait encore quelques difficultés car les indices visuels étaient déroutants. Mais globalement, ils ont démontré que la distance temporelle est un moyen puissant et évolutif d'enseigner aux robots. Cela transforme le problème complexe et désordonné de « quel est un bon mouvement ? » en le problème simple et soluble de « combien de temps reste-t-il ? ».

En résumé, RynnValue est comme donner un chronomètre à un robot plutôt qu'un bulletin de notes. Cela transforme le monde chaotique de l'apprentissage robotique en un compte à rebours simple, et cela semble mieux fonctionner que les anciennes méthodes.

Résumé Technique : RynnValue – Mise à l'échelle des modèles de fondation de valeur robotique par la distance temporelle

Problématique

Les politiques robotiques polyvalentes sont de plus en plus entraînées via l'apprentissage par renforcement (RL), mais le passage à l'échelle de cette boucle est limité par la supervision de la récompense. Les récompenses conçues à la main ne généralisent pas aux tâches ouvertes, tandis que les signaux de succès éparses offrent une guidance insuffisante pour les comportements à long horizon. Les modèles de récompense généralistes existants reposent sur des ancres internes à la tâche, telles que les préférences humaines, les démonstrations de référence ou le progrès normalisé. Ces approches lient la supervision à des trajectoires ou des ensembles de comparaison spécifiques, ce qui les rend difficiles à transférer entre des sources de données, des embodiments et des points de vue hétérogènes. De plus, le progrès normalisé (par exemple, des échelles [0, 1]) est une coordonnée intra-trajectoire plutôt qu'un coût-à-venir conditionné par l'objectif, ce qui entraîne des incohérences entre des durées et des structures de tâches variables.

Méthodologie : RynnValue

Les auteurs introduisent RynnValue, un modèle de fondation de valeur en open-source qui reformule le problème de la modélisation de la récompense. Au lieu de noter des ancres au niveau de la trajectoire, RynnValue prédit la distance temporelle — le coût-à-venir dirigé et conditionné par l'objectif, depuis une observation jusqu'à un objectif spécifié par le langage.

1. Recette de données et étiquetage

RynnValue est entraîné sur un mélange massif et hétérogène de plus de 7 000 heures de données robotiques, comprenant environ 3 millions de clips de trajectoires conditionnés par instruction. Ce jeu de données couvre divers embodiments (bras unique, bras double, mobile, mains dextres), points de vue et familles de tâches (monde réel, simulation et égocentrique).

Dérivation des étiquettes : Contrairement aux méthodes basées sur les préférences, RynnValue ne nécessite ni paires de préférences ni annotations de progrès. Les étiquettes sont dérivées directement des horodatages (timestamps). En identifiant un point de coupure de complétion (via la segmentation par sous-tâches et le ré-étiquetage), le modèle apprend le temps restant jusqu'à la complétion pour toute observation.
Signal de supervision : Le modèle prédit la distance temporelle absolue jusqu'à la complétion de la tâche et le déplacement temporel relatif signé entre des observations consécutives.

2. Architecture du modèle

Construit sur RynnBrain, RynnValue est un modèle visuel conditionné par le langage qui traite des séquences multimodales entrelacées d'instructions, d'observations et de jetons de requête (query tokens).

Requêtes temporelles groupées : Pour surmonter les goulots d'étranglement de l'information, chaque prédiction temporelle est représentée par un groupe de $N=8$ jetons de requête répétés. Ces jetons interagissent via une attention bidirectionnelle avant d'être concaténés pour former une représentation robuste.
Têtes de distribution doubles : Le modèle utilise deux têtes spécialisées :
- Tête Absolue : Prédit le temps restant jusqu'à la complétion ( $v_t$ ).
- Tête Relative : Prédit le déplacement temporel signé entre des observations adjacentes ( $\Delta_t$ ).
- Les deux têtes utilisent un étalonnage par bacs (binning) espacés en symlog (256 bacs) et des cibles two-hot pour gérer la large plage dynamique des distances temporelles, transformant la régression en un problème de classification stable.
Branche de langage naturel : Une branche auxiliaire génère des descriptions vidéo, des jugements de correspondance instruction-vidéo et des prédictions de succès, fournissant un ancrage sémantique sans interférer avec les têtes de valeur temporelle.

3. Stratégies de suppression des raccourcis (Shortcut Suppression)

Pour garantir que le modèle fonde ses prédictions sur des preuves visuelles plutôt que sur l'exploitation de régularités de données, les auteurs introduisent trois mécanismes clés :

Échantillonnage temporel aléatoire : Les observations sont échantillonnées à des horodatages irréguliers pour briser les motifs de valeurs arithmétiques induits par un échantillonnage uniforme.
Mélange de l'ordre temporel (Temporal-Order Shuffling) : L'ordre chronologique des observations échantillonnées est mélangé (avec une probabilité de "rembobinage") pendant l'entraînement. Cela empêche le modèle d'inférer le progrès uniquement sur la base de la position dans la séquence.
Attention d'isolement de la valeur (Value-Isolation Attention) : Une stratégie de masquage où les groupes de requêtes de valeur associés à différentes observations ne peuvent pas s'observer mutuellement. Cela empêche le modèle d'extrapoler des valeurs à partir de requêtes précédentes, forçant chaque prédiction à dépendre de son contexte visuel spécifique.
Augmentation par inadéquation d'instruction : 10 % des échantillons d'entraînement utilisent des instructions incorrectes pour apprendre au modèle à détecter les incohérences et à éviter de supposer un progrès fluide vers un mauvais objectif.

4. Interface d'inférence et de récompense

Lors de l'inférence, RynnValue produit une estimation de la distance temporelle $v_t$ . Pour servir de signal de récompense, celle-ci est convertie en une récompense basée sur le potentiel via une inversion de signe : $\Phi_t = -v_t$ . Cela crée une interface de récompense dense où les états proches de la complétion ont un potentiel plus élevé (plus proche de zéro), préservant l'échelle temporelle sans normaliser à un intervalle [0, 1] spécifique à la tâche.

Résultats Clés

Performance de référence (RBM-EVAL-OOD)

Évalué sur la suite de classement de trajectoires RBM-EVAL-OOD (976 trajectoires à travers 6 jeux de données OOD) :

RynnValue-8B a atteint un $\tau_a$ de Kendall moyen de 0,675, surpassant l'état de l'art entièrement supervisé par préférences (Robometer, 0,655) et faisant plus que doubler son homologue basé uniquement sur le progrès (0,292).
Même la variante RynnValue-4B (0,670) a surpassé la ligne de base supervisée par préférences, suggérant que les gains proviennent de la formulation de la distance temporelle plutôt que de la simple échelle du modèle.
Les variantes de RynnValue ont obtenu les meilleurs résultats sur les six jeux de données parmi les méthodes entraînées sans supervision explicite de préférence au niveau de la trajectoire.

Alignement Instruction-Trajectoire

Dans les analyses de matrices de confusion, RynnValue a démontré la structure diagonale la plus claire (marge diagonale normalisée de 0,79), surpassant de manière significative les lignes de base (0,67). Cela indique que le modèle distingue efficacement les paires instruction-trajectoire correspondantes des paires inadéquates, ancrant les récompenses dans l'objectif spécifié par le langage plutôt que dans un progrès visuel générique.

Apprentissage de politique en monde réel

RynnValue a été déployé comme annotateur de récompense zero-shot pour l'apprentissage par renforcement en ligne et hors ligne sur quatre tâches complexes du monde réel (Placement de panier, Service de steak, Boîte dans un tiroir, Transfert de boîte bimanuelle) sans fine-tuning sur le domaine cible.

RL en ligne : RynnValue a amélioré les taux de succès de 52,5 % (Robometer) à 72,5 %.
RL hors ligne : RynnValue a amélioré les taux de succès de 63,8 % (Robometer) à 82,5 %.
Notamment, RynnValue a permis un apprentissage par renforcement réussi sur des tâches (Boîte dans un tiroir, Transfert de boîte bimanuelle) où la ligne de base SFT affichait un succès de 0 %.

Analyse de mise à l'échelle (Scaling)

Les expériences dissociant la quantité de données de leur diversité ont montré que la diversité des tâches produit une réduction de l'erreur systématiquement plus forte que le volume d'épisodes. Ajouter simplement plus de données de mêmes tâches mène à une saturation précoce, tandis qu'augmenter la variété des tâches favorise une amélioration continue de la généralisation.

Signification et Revendications

L'article affirme que la distance temporelle est une cible de supervision scalable et sans préférence qui unifie des données robotiques hétérogènes sous une interface unique. En dérivant les étiquettes directement des horodatages, RynnValue contourne le besoin d'annotations de préférences coûteuses ou de normalisation de progrès spécifique à une tâche.

Les auteurs soutiennent que RynnValue établit une voie pratique pour l'entraînement de politiques robotiques généralistes :

Scalabilité : Il exploite des jeux de données massifs et hétérogènes sans le goulot d'étranglement de l'étiquetage des préférences humaines.
Robustesse : Grâce au mélange de l'ordre temporel et à l'attention d'isolement de la valeur, il apprend des valeurs ancrées dans les preuves visuelles, ce qui le rend sensible aux échecs et aux régressions.
Utilité : Il sert d'interface de récompense dense efficace qui améliore considérablement l'apprentissage de politiques en ligne et hors ligne dans des contextes réels, surpassant les lignes de base robustes entraînées par supervision de préférences.

Le travail conclut que la distance temporelle offre une voie plus scalable vers l'apprentissage de la valeur robotique généraliste par rapport aux approches traditionnelles basées sur les préférences ou la normalisation du progrès.