💻 computer science

Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning

L'article introduit VOTP, un cadre semi-supervisé qui exploite les modèles de fondation vidéo et le transport optimal pour générer des pseudo-étiquettes de haute fidélité à partir d'un feedback humain minimal, permettant un apprentissage de récompense efficace et robuste pour l'apprentissage par renforcement hors ligne basé sur les préférences.

Auteurs originaux : Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tung M. Luu, Hwanhee Kim, Younghwan Lee, Chang D. Yoo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à effectuer une tâche complexe, comme ouvrir un tiroir ou marcher sans trébucher. Dans le monde de la robotique, le robot a besoin d'un « système de récompense » pour savoir s'il fait bien les choses. Généralement, les ingénieurs humains doivent écrire méticuleusement du code pour dire au robot : « Bon travail, tu as levé ton bras », ou « Mauvais travail, tu as lâché l'objet ». C'est comme essayer d'écrire la recette d'un plat que vous n'avez jamais cuisiné ; c'est difficile, et vous pourriez donner de mauvaises instructions.

Pour remédier à cela, les scientifiques utilisent l'Apprentissage par Renforcement Basé sur les Préférences (PbRL). Au lieu d'écrire du code, ils montrent au robot deux vidéos de lui en train d'accomplir la tâche et demandent à un humain : « Laquelle est la meilleure ? » Le robot apprend de ces choix.

Le Problème :
Demander à un humain de regarder des vidéos et de choisir la « meilleure » est lent et coûteux. Pour bien enseigner à un robot, il peut falloir des milliers de ces comparaisons. C'est comme essayer d'apprendre à un enfant à faire du vélo en l'arrêtant après chaque vacillement pour lui demander : « Était-ce bien ? ». Cela prend un temps infini.

La Solution : VOTP
Le document présente une nouvelle méthode appelée VOTP (Video-based Optimal Transport Preference). Voyez VOTP comme un assistant pédagogique ingénieux qui vous aide à enseigner au robot avec très peu de questions humaines.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. L'« Œil Intelligent » (Modèles de Fondation Vidéo)

D'abord, VOTP utilise un « Œil Intelligent » pré-entraîné (un Modèle de Fondation Vidéo). Imaginez que cet œil a regardé des millions d'heures de vidéos humaines — des gens qui dansent, cuisinent, courent et jouent. Parce qu'il a tant vu, il comprend ce qu'est un « bon mouvement », même s'il n'a jamais vu de robot auparavant. Il peut transformer une vidéo d'un robot en mouvement en une « empreinte digitale » mathématique qui capture l'essence de l'action.

2. Le « Entremetteur » (Transport Optimal)

C'est la partie magique.

La Configuration : Vous donnez au système une toute petite poignée d'exemples (disons 10 paires de vidéos) où un humain a déjà dit : « La vidéo A est meilleure que la vidéo B ».
La Montagne de Données : Vous avez également une immense montagne de vidéos non étiquetées (des milliers de paires) pour lesquelles aucun humain n'a encore rien dit.
L'Entremise : VOTP utilise un outil mathématique appelé Transport Optimal. Imaginez que vous avez un tas d'empreintes digitales « Bonnes » et un tas d'empreintes digitales « Mauvaises » provenant de vos 10 exemples humains. Maintenant, vous avez un énorme tas d'empreintes digitales « Inconnues » provenant des vidéos non étiquetées.
La Connexion : Le Transport Optimal agit comme un entremetteur super efficace. Il regarde une vidéo « Inconnue » et demande : « À laquelle des 10 vidéos approuvées par l'humain ressemble le plus cette vidéo ? ». Il ne se contente pas de deviner ; il calcule la meilleure façon de connecter les vidéos inconnues aux vidéos connues en fonction de la similitude de leurs « empreintes digitales ».

3. L'« Inférence » (Pseudo-étiquettes)

Une fois que l'entremetteur a connecté une vidéo inconnue à une vidéo connue comme étant « Bonne », VOTP dit : « Si cette vidéo inconnue ressemble à celle que l'humain a aimée, alors cette vidéo inconnue est aussi bonne ! ». Il attribue automatiquement une étiquette (une « pseudo-étiquette ») aux milliers de vidéos que vous n'avez pas eu le temps de regarder.

4. Le Résultat

Désormais, au lieu d'enseigner au robot avec seulement 10 exemples humains, le robot peut apprendre à partir de 10 exemples humains plus des milliers d'exemples automatiquement étiquetés. Le robot apprend beaucoup plus vite et mieux, même si vous n'avez demandé qu'une infime aide à l'humain.

Ce que le document a découvert

Les auteurs ont testé cela sur des robots devant marcher (locomotion) et sur des robots devant déplacer des objets (manipulation). Ils ont également testé cela sur un véritable bras robotique en laboratoire.

Moins de travail humain : VOTP a obtenu des résultats de premier plan avec seulement une poignée de labels humains (parfois seulement 10).
Meilleur que les autres : Il a battu les autres méthodes qui tentaient de faire la même chose, nécessitant souvent des centaines ou des milliers de labels pour obtenir des résultats similaires.
Robustesse : Même si l'éclairage changeait ou s'il y avait des éléments distrayants en arrière-plan (comme une télévision allumée derrière le robot), VOTP parvenait toujours à déterminer ce qui était bon et ce qui était mauvais.
Monde Réel : Lorsqu'ils ont testé cela sur un vrai bras robotique soulevant une banane ou ouvrant un tiroir, VOTP a aidé le robot à réussir beaucoup plus souvent que les méthodes qui reposaient uniquement sur les quelques labels humains.

En bref : VOTP est une façon d'enseigner aux robots en leur montrant quelques exemples de ce que les humains aiment, puis en utilisant un « œil intelligent » et un « entremetteur mathématique » pour déterminer par eux-mêmes ce que le robot doit faire pour le reste des vidéos. Cela épargne aux humains le travail ennuyeux et répétitif de l'étiquetage de milliers de vidéos.

Résumé Technique : Transport Optimal Basé sur la Vidéo pour un Apprentissage par Renforcement Hors-ligne à l'Efficacité de Feedback Optimale

Énoncé du Problème

Les agents d'apprentissage par renforcement (RL) nécessitent des fonctions de récompense appropriées pour résoudre des tâches de prise de décision. Dans des scénarios réels, la conception manuelle de récompenses denses et informatives est difficile, exigeant souvent une instrumentation étendue (par exemple, la capture de mouvement, des capteurs tactiles) et risquant une spécification erronée de la récompense où les agents exploitent des raccourcis involontaires. L'apprentissage par renforcement basé sur les préférences (PbRL) offre une alternative en apprenant des fonctions de récompense à partir de retours humains sur des paires de trajectoires de comportement. Cependant, la scalabilité du PbRL est entravée par le coût élevé de l'étiquetage humain, nécessitant souvent des milliers de requêtes pour apprendre des fonctions de récompense efficaces. Bien que des travaux antérieurs aient exploré l'apprentissage semi-supervisé et l'apprentissage méta pour atténuer ce problème, le potentiel de l'exploitation de la perception visuelle humaine — spécifiquement l'espace de représentation structuré des Modèles de Fondation Vidéo (ViFM) — pour inférer les préférences pour les données non étiquetées reste peu exploré.

Méthodologie : Transport Optimal de Préférence basé sur la Vidéo (VOTP)

Les auteurs proposent VOTP, un cadre semi-supervisé conçu pour apprendre des fonctions de récompense efficaces à partir d'un nombre minimal de labels de préférence humains (par exemple, 10 requêtes) en exploitant les données non étiquetées issues de jeux de données hors-ligne. La méthode opère en deux étapes principales :

1. Représentation de Trajectoire via les ViFM

Au lieu de s'appuyer sur des paires état-action brutes, VOTP modélise des segments de trajectoire comme de courts clips vidéo. Ces clips sont plongés dans un espace latent à l'aide d'un Modèle de Fondation Vidéo (ViFM) prêt à l'emploi, spécifiquement S3D pré-entraîné sur HowTo100M. Ce choix est motivé par la capacité des ViFM à capturer à la fois les détails spatiaux et la dynamique temporelle, fournissant des plongements (embeddings) riches sémantiquement et agnostiques à l'acteur, qui sont robustes aux variations de nuisance (éclairage, point de vue) et se généralisent à des environnements robotiques non vus.

2. Génération de Labels de Pseudo-Préférence via le Transport Optimal

L'innovation centrale de VOTP est l'utilisation du Transport Optimal (OT) pour aligner les paires de segments étiquetés et non étiquetés au sein de l'espace latent du ViFM afin de générer des pseudo-labels.

Configuration : Soit $L$ l'ensemble des segments étiquetés avec des relations de préférence connues encodées dans une matrice antisymétrique $R$ , et $U$ l'ensemble des segments non étiquetés.
Plan de Transport Optimal : VOTP calcule un plan OT $\mu^*$ qui minimise le coût de transport (distance euclidienne ou cosinus dans l'espace latent) entre les mesures empiriques de $L$ et $U$ . Ce plan $\mu_{ii'}$ représente la probabilité qu'un segment non étiqueté $\bar{\sigma}_{i'}$ corresponde à un segment étiqueté $\sigma_i$ .
Inférence : Le score de préférence pour une paire non étiquetée $(\bar{\sigma}_{i'}, \bar{\sigma}_{j'})$ est inféré en agrégeant les préférences de toutes les paires étiquetées, pondérées par leurs forces d'alignement relatives dérivées du plan OT :
$S(\bar{\sigma}_{i'}, \bar{\sigma}_{j'}) = \sum_{i,j} R_{ij}(\mu_{ii'}\mu_{jj'} - \mu_{ij'}\mu_{ji'})$
Ce score est normalisé et seuillé pour assigner un pseudo-label ( $\tilde{y} \in \{0, 1, 0.5\}$ ).
Apprentissage de la Récompense : La fonction de récompense est entraînée en utilisant à la fois les données étiquetées originales et les nouvelles données pseudo-étiquetées. Pendant la phase de RL hors-ligne, la fonction de récompense apprise remplace les récompenses originales dans le jeu de données pour optimer la politique.

Contributions Clés

Cadre VOTP : Introduction d'un cadre semi-supervisé qui utilise le Transport Optimal sur l'espace latent des Modèles de Fondation Vidéo pour assigner automatiquement des labels de préférence aux paires de trajectoires non étiquetées.
Efficacité du Feedback : Démonstration que VOTP peut apprendre des fonctions de récompense et des politiques efficaces à partir d'un infime nombre de requêtes de préférence humaines (par exemple, 10), réduisant considérablement la charge d'annotation par rapport aux méthodes de PbRL hors-ligne de pointe.
Robustesse à la Variation Visuelle : Validation que l'exploitation des ViFM permet à la méthode de maintenir ses performances en présence de distracteurs visuels (changements d'éclairage, variations de texture, arrière-plans dynamiques) là où d'autres méthodes pourraient échouer.
Applicabilité au Monde Réel : Application réussie du cadre à des tâches de manipulation robotique réelles (Lever Banane, Ouvrir Tiroir) à l'aide d'un bras Sawyer à 7 degrés de liberté, atteignant des taux de réussite plus élevés que les baselines avec un minimum d'entrée humaine.

Résultats Expérimentaux

Les auteurs ont évalué VOTP à travers la locomotion (D4RL), la manipulation (MetaWorld) et des tâches robotiques réelles.

Performance de Référence : Dans D4RL et MetaWorld, VOTP surpasse systématiquement les baselines de PbRL hors-ligne de pointe (incluant P-IQL, SURF, LiRE et FTB) sous des budgets de feedback limités. Notamment, VOTP atteint une performance comparable à une baseline "Oracle" (qui a accès aux récompenses de vérité terrain pour les données non étiquetées) sur les tâches D4RL.
Régime de Faibles Données : Dans les expériences variant le nombre de labels, VOTP nécessite significativement moins de labels pour atteindre la performance de la tâche par rapport aux baselines. Dans la tâche door-open, VOTP avec seulement 10 labels surpasse les politiques entraînées avec les récompenses de vérité terrain.
Études d'Ablation :
- ViFMs vs. IFMs : Les Modèles de Fondation Vidéo (S3D, VideoCLIP, InternVideo) ont surpassé les Modèles de Fondation d'Images (R3M, CLIP), soulignant l'importance de capturer la dynamique temporelle pour l'apprentissage de préférences.
- OT vs. Similitude : La stratégie de pseudo-étiquetage basée sur l'OT a significativement surpassé les baselines reposant sur de simples métriques de similitude (SIM-individual, SIM-mean, SIM-weighted), démontant l'efficacité du plan de transport pour agréger l'information de préférence.
- Corrélation de Récompense : La fonction de récompense apprise par VOTP présente une corrélation de Pearson significativement plus élevée avec les récompenses de vérité terrain par rapport à P-IQL, indiquant une meilleure couverture des espaces d'états et d'actions.
Évaluation sur Robot Réel : Sur un robot Sawyer physique, VOTP a atteint 80 % de succès sur "Lift Banana" et 70 % sur "Drawer Open", surpassant l'Apprentissage par Imitation (Behavior Cloning, 20-40 %) et P-IQL (50 %). Crucialement, VOTP distingue correctement les trajectoires réussies des échecs dans les sorties de récompense, contrairement à P-IQL qui attribue des récompenses élevées aux comportements échoués.

Signification et Revendications

L'article affirme que VOTP représente une solution scalable et pratique pour le RL basé sur les préférences hors-ligne. En exploitant l'espace de représentation expressif des Modèles de Fondation Vidéo pré-entraînés et la rigueur mathématique du Transport Optimal, la méthode comble efficacement le fossé entre la supervision humaine limitée et le besoin d'une couverture de récompense étendue. Les auteurs soutiennent que cette approche réduit substantiellement le besoin de supervision humaine tout en maintenant la robustesse face aux distracteurs visuels, ce qui en fait une voie viable pour déployer des agents de RL dans des environnements réels complexes où l'ingénierie de récompense est irréalisable.

Les auteurs reconnaissent des limites concernant les biais potentiels hérités des ViFM pré-entraînés et le coût computationnel de la résolution du plan OT pour de très grands ensembles de données, suggérant des travaux futurs sur des méthodes de transport approximatives. Cependant, dans le cadre de leurs expériences, la méthode s'avère hautement efficace pour un apprentissage à haute efficacité de feedback.