🤖 machine learning

Value Explicit Pretraining for Learning Transferable Representations

Cet article propose l'entraînement préalable explicite des valeurs (VEP), une méthode auto-supervisée qui exploite des démonstrations non étiquetées sous-optimales et des estimations de valeur de Monte Carlo pour apprendre des représentations invariantes à l'environnement, améliorant considérablement l'efficacité échantillonnale et la généralisation dans les tâches d'apprentissage par renforcement de transfert par rapport aux approches les plus avancées.

Auteurs originaux : Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à jouer à des jeux vidéo ou à se déplacer dans une ville. Habituellement, vous devez montrer au robot exactement comment accomplir une tâche spécifique, comme « tirer sur l'alien » ou « tourner à gauche au bâtiment rouge ». Mais que se passe-t-il si vous voulez que le robot apprenne un nouveau jeu ou une nouvelle ville sans repartir de zéro ? C'est le grand défi que cet article relève.

Les auteurs proposent une nouvelle méthode appelée Préentraînement à Valeur Explicite (VEP). Voici comment cela fonctionne, expliqué par de simples analogies :

Le Problème : L'« Élève Parfait » vs Le « Monde Réel »

La plupart des méthodes actuelles d'entraînement de l'IA ressemblent à essayer d'enseigner à un élève en ne lui montrant que des vidéos parfaites, avec un taux de réussite de 100 %. Si l'élève ne voit qu'un chef cuisinier maîtrisant un soufflé parfait, il pourrait avoir du mal lorsqu'il essaiera de cuisiner un plat légèrement différent ou d'utiliser une cuisinière différente.

Dans le monde réel, nous disposons de nombreuses données où les choses ne se passent pas parfaitement. Les gens font des erreurs, les jeux se terminent par un échec et les robots se perdent. L'article soutient que nous devrions pouvoir apprendre de ces vidéos « imparfaites », même si la personne dans la vidéo n'a jamais réellement terminé la tâche.

La Solution : L'Analogie de la « Barre de Progression »

L'idée centrale de la VEP est d'enseigner au robot à comprendre la progression, et non simplement à quoi les choses ressemblent.

Imaginez que vous regardez une vidéo de quelqu'un essayant de grimper à une montagne.

Anciennes Méthodes : Ces méthodes pourraient dire : « Cette image ressemble à un rocher, donc c'est un rocher. Cette image ressemble à un arbre, donc c'est un arbre. » Elles se concentrent sur l'apparence. Si la montagne passe des arbres verts aux rochers bruns, le robot se perd.
Méthode VEP : Cette méthode regarde la Barre de Progression. Elle demande : « À quel point cette personne est-elle proche du sommet ? »
- Même si la personne est sur une pente verte (Tâche A) ou sur une pente brune (Tâche B), si elles sont toutes deux à « 70 % du chemin », la VEP enseigne au robot que ces deux moments sont similaires.
- Peu importe que le décor ait une apparence différente ; ce qui compte, c'est que l'objectif est approché.

Comment Cela Fonctionne (L'« Astuce Monte Carlo »)

L'article utilise une astuce mathématique appelée estimation de valeur Monte Carlo. Imaginez cela comme un « Score de Succès » calculé pour chaque image unique d'une vidéo.

Les Données : Le robot regarde des milliers d'heures de vidéos « sous-optimales » (vidéos où le joueur n'a pas toujours gagné).
Le Score : Pour chaque image, le robot calcule un score : « Si j'étais à cet instant précis, quelle est la probabilité que je réussisse ? »
- Une image où le joueur est sur le point de tirer sur un ennemi reçoit un score élevé.
- Une image où le joueur est loin ou perdu reçoit un score faible.
La Leçon : Le robot apprend à regrouper deux images quelconques ayant le même score, même si elles ont une apparence totalement différente.
- Exemple : Une image de « Space Invaders » où le joueur est sur le point de gagner est regroupée avec une image de « Demon Attack » où le joueur est sur le point de gagner, car les deux ont un « Score de Succès Élevé ».

Le Résultat : Un Traducteur Universel

En s'entraînant de cette manière, le robot apprend un « langage universel » de la progression.

Le Test : Les chercheurs ont testé cela sur trois éléments : des jeux vidéo Atari, une tâche de navigation dans une ville virtuelle et une simulation d'une fourmi marchant dans des labyrinthes.
Le Résultat : Lorsqu'ils ont donné au robot un nouveau jeu ou une nouvelle ville qu'il n'avait jamais vue auparavant, il a appris beaucoup plus vite que les robots entraînés avec d'autres méthodes.
- Il a obtenu 2 fois plus de récompenses (il a mieux joué).
- Il a eu besoin de 3 fois moins d'essais pour apprendre la nouvelle tâche (il était plus efficace).

Pourquoi Cela Compte

L'article affirme qu'en se concentrant sur l'objectif (à quel point sommes-nous proches de la victoire ?) plutôt que sur l'apparence (à quoi ressemble l'ennemi ?), le robot devient beaucoup plus apte à transférer ce qu'il apprend à de nouvelles situations.

C'est comme enseigner à un humain non pas en lui montrant une carte de chaque ville, mais en lui enseignant le concept de « se rapprocher de la destination ». Une fois qu'il a compris ce concept, il peut se déplacer dans n'importe quelle nouvelle ville, même si les rues ont une apparence totalement différente.

En résumé : La VEP enseigne aux robots à ignorer le « bruit » des environnements changeants et à se concentrer sur le « signal » de la progression vers un objectif, en utilisant des vidéos imparfaites et non étiquetées pour ce faire.

1. Énoncé du problème

Les agents d'apprentissage par renforcement visuel (RL) peinent à généraliser d'une tâche à l'autre lorsqu'ils sont confrontés à des variations dans la dynamique de l'environnement et l'apparence visuelle. Alors que les humains peuvent extraire les informations pertinentes pour la tâche indépendamment de ces changements, les robots nécessitent des représentations apprises qui sont invariantes à de telles variations.

Les approches actuelles d'apprentissage de représentations font face à deux limitations principales :

Objectifs désalignés : De nombreuses méthodes utilisent des objectifs de préentraînement (par exemple, reconstruction d'image, cohérence temporelle) qui sont distincts de la tâche de contrôle en aval (prédiction d'action).
Exigences en données : Les méthodes existantes d'apprentissage par transfert nécessitent souvent des démonstrations d'experts de haute qualité, étiquetées, ou des trajectoires réussies. Il existe un manque de méthodes capables d'apprendre efficacement des représentations transférables à partir de données sous-optimales et non étiquetées (séquences d'observations et récompenses clairsemées où l'agent échoue souvent à compléter la tâche).

Le défi central est le suivant : Comment apprendre un encodeur qui produit des représentations utiles pour le contrôle sans entraîner sur la tâche de contrôle elle-même, en utilisant uniquement des données imparfaites et non étiquetées ?

2. Méthodologie : Préentraînement explicite de la valeur (VEP)

Les auteurs proposent le Préentraînement explicite de la valeur (VEP), une méthode d'apprentissage contrastif auto-supervisé qui apprend des représentations agnostiques à la tâche en codant explicitement la « propension au succès » (valeur) plutôt que simplement la proximité visuelle ou temporelle.

Insight central

La fonction de valeur $V(s)$ d'un état représente le retour attendu (propension au succès) sous une politique optimale. Les auteurs émettent l'hypothèse que les états ayant des estimations de valeur similaires à travers différentes tâches (même avec des apparences visuelles différentes) partagent une stratégie optimale similaire. Par conséquent, les représentations devraient être regroupées en fonction de la similarité de valeur plutôt que de la similarité visuelle.

Aperçu de l'algorithme

Source de données : La méthode utilise des ensembles de données hors ligne, sous-optimaux et non étiquetés ( $D_{train}$ ) provenant d'un ensemble de tâches d'entraînement. Ces ensembles contiennent des séquences d'observations et des signaux de récompense clairsemés, mais aucune étiquette d'action.
Estimation de la valeur par Monte Carlo :
- Puisque la fonction de valeur optimale réelle est inconnue, le VEP calcule une estimation Monte Carlo (MC) $G$ pour chaque image de l'ensemble de données en utilisant les récompenses clairsemées :
  $G(s_t, \tau) = \sum_{k=t}^{T} \gamma^{k-t} r_k$
- Les images ayant une estimation de valeur de 0 (indiquant qu'aucune récompense n'a jamais été obtenue dans ce segment de trajectoire) sont rejetées.
Objectif d'apprentissage contrastif :
- L'encodeur $f_\phi$ est entraîné à l'aide d'une fonction de perte contrastive (InfoNCE ou perte triplet).
- Stratégie d'échantillonnage :
  - Ancre ( $z_{an}$ ) : Une observation de la tâche $T_i$ avec une estimation de valeur $g$ .
  - Positif ( $z_{ps}$ ) : Une observation d'une tâche différente $T_j$ avec une estimation de valeur comprise dans un seuil $v_{thresh}$ de $g$ .
  - Négatif ( $z_{ng}$ ) : Une observation d'une tâche $T_k$ avec une estimation de valeur significativement différente de $g$ (au-delà de $v_{thresh}$ ).
- Objectif : La fonction de perte minimise la distance entre l'ancre et le positif (valeur/propension au succès similaires) et maximise la distance avec le négatif, forçant l'encodeur à apprendre des représentations invariantes à l'apparence et à la dynamique spécifiques à la tâche.

Détails de l'implémentation

Prétraitement : Un dictionnaire mappe les estimations de valeur triées aux indices d'images pour permettre un échantillonnage par recherche binaire efficace.
Entraînement de la politique : Après le préentraînement, l'encodeur est figé. Un algorithme de RL en ligne (PPO) est entraîné sur les tâches de test en utilisant les représentations latentes $z_t$ comme entrée. Aucun affinage de l'encodeur n'est effectué.

3. Contributions clés

Représentation explicite de la valeur : Un cadre de préentraînement novateur qui utilise explicitement les estimations de valeur pour organiser l'espace latent, garantissant que les représentations reflètent la progression de la tâche plutôt que simplement la cohérence visuelle ou temporelle.
Utilisation de données sous-optimales : La méthode apprend avec succès des représentations transférables en utilisant des données non étiquetées et sous-optimales (épisodes qui ne résolvent pas toujours la tâche), une déviation significative par rapport aux méthodes nécessitant des démonstrations d'experts.
Généralisation agnostique à la tâche : En se concentrant sur la similarité de valeur, la méthode apprend des représentations qui généralisent à des tâches hors distribution (OOD) avec des dynamiques visuelles différentes mais des objectifs similaires.
Comparaisons d'ablation et de base : Le papier compare rigoureusement le VEP à :
- VIP (Préentraînement implicite de la valeur) : Qui repose sur la cohérence temporelle.
- TCN (Apprentissage contrastif temporel) : Qui échantillonne les positifs en fonction de la distance temporelle.
- SOM (Mesure d'occupation d'état) : Qui utilise des mesures d'occupation pour l'échantillonnage.
- Régression de valeur (VR) : Une base qui régresse simplement l'estimation de valeur (prouvant que l'échantillonnage contrastif est supérieur à la simple régression).

4. Résultats expérimentaux

Les auteurs ont évalué le VEP sur trois benchmarks : Atari, Navigation visuelle (StreetLearn) et Locomotion Ant (Maze).

Benchmark Atari :
- Configuration : Préentraînement sur Demon-Attack et Space Invaders ; testé sur 4 autres jeux de tir.
- Résultat : Le VEP a surpassé les bases (VIP, TCN, SOM) jusqu'à 2× en récompenses sur des tâches hors distribution. Il a montré une amélioration d'environ 25 % sur les tâches dans la distribution.
Navigation visuelle :
- Configuration : Préentraînement sur 2 villes ; testé sur 4 villes non vues.
- Résultat : Le VEP a atteint les mêmes performances qu'un entraînement de bout en bout 2,1× plus vite (efficacité d'échantillonnage). Il a nettement surpassé les modèles vision-langage de l'état de l'art (CLIP, R3M, MVP).
Locomotion Ant (Labyrinthe) :
- Configuration : Préentraînement sur des labyrinthes simples ; testé sur des labyrinthes complexes avec différents obstacles et variations visuelles.
- Résultat : Le VEP a atteint des performances de l'état de l'art à la fois dans les labyrinthes intra-domaine et hors distribution.
- Visualisation : Les graphiques t-SNE ont montré que tandis que les plongements TCN se regroupaient par apparence du labyrinthe (surapprentissage), les plongements VEP se regroupaient par progression de la tâche (valeur), démontrant un véritable apprentissage agnostique à la tâche.
Études d'ablation :
- Sous-optimalité : Les performances du VEP sont restées robustes même en utilisant des données d'épisodes n'ayant complété que 10 % de la tâche.
- Seuillage : Un seuil de valeur optimal ( $v_{thresh} \approx 0,03$ ) a été identifié ; un seuil trop élevé dégradait les performances.
- Contraste vs Régression : La simple régression de la valeur (base de régression de valeur) a échoué à produire des représentations transférables, confirmant que l'échantillonnage contrastif des triplets est le mécanisme critique.

5. Signification et impact

Efficacité : Le VEP améliore considérablement l'efficacité d'échantillonnage (jusqu'à 3×) pour le RL en aval, réduisant le besoin d'interactions en ligne coûteuses.
Accessibilité des données : En supprimant l'exigence de démonstrations d'experts, étiquetées ou réussies, le VEP abaisse la barrière à l'entrée pour l'apprentissage par transfert, permettant l'utilisation de vastes quantités de données « désordonnées » réelles ou simulées.
Généralisation : La méthode adresse le fossé « sim-to-real » et « task-to-task » en apprenant des représentations qui capturent l'objectif de la tâche (progression vers un but) plutôt que des caractéristiques visuelles superficielles.
Perspectives futures : Les auteurs suggèrent d'étendre cela aux algorithmes de contrôle continu (comme SAC) et à l'apprentissage par imitation à few-shot, ainsi que de passer à des scénarios de préentraînement plus complexes et à grande échelle.

En résumé, le VEP représente un changement de paradigme dans l'apprentissage de représentations pour la robotique, passant de « à quoi ressemble le monde » à « à quel point l'agent est proche du succès », permettant un transfert robuste même avec des données imparfaites.