🤖 machine learning

Zero-Shot Off-Policy Learning

Cet article propose une méthode d'apprentissage hors-politique (off-policy) zero-shot qui exploite un lien théorique entre les mesures de successeurs et les rapports de densité stationnaires pour inférer des rapports d'échantillonnage importance optimaux, permettant ainsi une adaptation sans entraînement à de nouvelles tâches à travers divers bancs d'essai.

Auteurs originaux : Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry Dylov, Fakhri Karray, Martin Takac

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arip Asadulaev, Maksim Bobrin, Salem Lahlou, Dmitry Dylov, Fakhri Karray, Martin Takac

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à cuisiner un nouveau plat complexe, mais qu'il vous est interdit de goûter la nourriture ou d'acheter de nouveaux ingrédients. Vous ne possédez qu'un immense livre de cuisine poussiéreux, rempli de milliers de recettes écrites par quelqu'un d'autre il y a des années. C'est le défi de l'Apprentissage Hors-Politique Zero-Shot (Zero-Shot Off-Policy Learning).

Dans le monde de l'Intelligence Artificielle (IA), les chercheurs veulent construire des « Modèles de Fondation Comportementaux » (BFM). Considérez-les comme des chefs IA qui ont lu des millions de livres de recettes (données hors ligne/offline) mais qui n'ont jamais réellement cuisiné un repas pour un client spécifique (une nouvelle tâche). Lorsqu'un client dit : « Je veux des pâtes épicées », l'IA doit instantanément comprendre comment cuisiner ce plat en utilisant uniquement les connaissances de ses vieux livres, sans passer par une phase de cuisine par essais et erreurs.

Le Problème : Le Piège du « Hors-Livre »

L'article identifie une faille majeure dans le fonctionnement actuel de ces chefs IA.

Imaginez que votre chef IA examine la demande « Pâtes Épicées ». Il parcourt ses vieux livres et trouve une recette de « Nouilles Épicées ». Il essaie de suivre cette recette. Mais voici le piège : les vieux livres ont pu être écrits par un chef qui ne cuisinait que dans une cuisine très spécifique. Les vieux livres peuvent être remplis d'instructions pour « faire bouillir l'eau », mais omettre complètement les instructions pour « hacher l'ail » parce que ce chef ne l'a jamais fait.

Si le chef IA essaie de préparer ce nouveau plat, il pourrait rester bloqué sur l'étape de l'ail parce que les anciennes données ne couvraient pas cette action. En termes techniques, c'est ce qu'on appelle un décalage de distribution (distributional shift). L'IA essaie d'effectuer des actions dans des zones de la « cuisine » (l'espace d'états) qu'elle n'a jamais visitées. Cela conduit l'IA à faire des suppositions sauvages, à surestimer la qualité de son plan et, finalement, à échouer.

La Solution : ZOL (Zero-Shot Off-Policy Learning)

Les auteurs proposent une nouvelle méthode appelée ZOL. Ils ont réalisé qu'il existe un lien mathématique caché entre deux concepts :

Mesures de Successeur (Successor Measures) : Une façon de prédire « où vais-je finir si je fais cette action ? ».
Rapports de Densité Stationnaire (Stationary Density Ratios) : Une façon de mesurer « à quel point cette action est plus (ou moins) probable dans mon nouveau plan par rapport à mes vieux livres ? ».

L'Analogie Créative : La « Carte de Popularité »

Imaginez que les anciennes données (le livre de cuisine) sont la carte d'une ville où certaines rues sont encombrées par le trafic (très fréquentées dans les données) et d'autres sont des chemins de terre déserts (rarement fréquentés).

L'Ancienne IA : Lorsqu'on lui donne une nouvelle destination, l'IA trace simplement une ligne droite pour l'atteindre. Si cette ligne traverse un chemin de terre vide, l'IA suppose que tout va bien, même si elle n'a aucune expérience. Elle finit par s'écraser.
ZOL (La Nouvelle IA) : ZOL crée une « Carte de Popularité » (un rapport de densité) basée sur les vieux livres. Avant de s'engager dans un plan, elle demande : « Ce plan nécessite-t-il que je roule sur un chemin de terre que je n'ai jamais vu ? »

Si la réponse est oui, ZOL ne se contente pas de dire « non ». À la place, elle repondère le plan. Elle dit : « D'accord, je peux toujours aller à la destination, mais je dois ajuster mon itinéraire pour rester plus près des rues pavées et fréquentées que je connais, tout en atteignant l'objectif. »

Comment cela fonctionne (Le « Tour de Magie »)

L'article affirme que le « cerveau » interne de l'IA (plus précisément un cadre appelé représentations Forward-Backward) contient déjà le secret de cette « Carte de Popularité ».

Pas de nouvel entraînement : L'IA n'a pas besoin d'aller pratiquer la cuisine (pas d'interaction en ligne). Elle utilise les mathématiques qu'elle a déjà apprises lors de sa phase initiale de « lecture ».
Ajustement Instantané : Lorsqu'une nouvelle tâche arrive, ZOL calcule un facteur de correction simple. Elle dit concrètement à l'IA : « Ignore les parties de ton plan qui reposent sur des données que tu n'as pas, et concentre-toi sur les parties qui sont soutenues par ton expérience. »
Le Résultat : L'IA trouve un nouveau chemin optimal qui est sûr (reste dans les données qu'elle connaît) mais qui atteint tout de même l'objectif.

Pourquoi cela est important

Les auteurs ont testé cela sur diverses tâches « robotiques », comme faire marcher, courir ou résoudre un labyrinthe pour un humain virtuel.

Le Test : Ils ont donné à l'IA une nouvelle tâche (ex: « Marcher à reculons ») qu'elle n'avait jamais vue auparavant.
La Comparaison : Les autres méthodes tentaient de deviner la réponse et échouaient souvent ou hallucinaient (inventaient des choses).
La Victoire de ZOL : ZOL a systématiquement trouvé de meilleures solutions. Elle ne s'est pas contentée de deviner ; elle a intelligemment ajusté sa stratégie pour s'adapter aux limites de sa « bibliothèque » tout en résolvant l'énigme.

En Bref

Cet article présente une façon pour l'IA de s'adapter à de nouvelles tâches instantanément sans avoir besoin de s'exercer. Pour ce faire, elle vérifie mathématiquement si la nouvelle tâche nécessite de pénétrer dans un « territoire inconnu » (où elle n'a pas de données). Si c'est le cas, ZOL ramène doucement l'IA vers un terrain sûr et familier, garantissant que l'IA ne s'écrase pas dans l'inconnu. C'est comme avoir un GPS qui sait exactement quelles routes sont pavées et lesquelles sont des chemins de terre, et qui vous reroute instantanément pour vous assurer d'arriver en toute sécurité sans jamais quitter la carte.

Résumé Technique : Apprentissage Hors-Politique à Choc Zéro (Zero-Shot Off-Policy Learning - ZOL)

1. Énoncé du Problème

Le papier traite du défi de l'apprentissage hors-politique à choc zéro (Zero-Shot Off-Policy Learning) dans le paradigme des Modèles de Fondations Comportementaux (Behavioral Foundation Models - BFMs). Les BFMs sont des agents pré-entraînés sur de vastes ensembles de données non étiquetées et sans récompense pour apprendre des priors comportementaux réutilisables, permettant ainsi une adaptation à de nouvelles tâches lors du test sans entraînement supplémentaire (par exemple, via des invites textuelles, des objectifs ou de la capture de mouvement).

Cependant, cette adaptation par inférence hérite d'un mode de défaillance critique issu de l'apprentissage par renforcement (RL) hors-politique (off-policy) et hors-ligne (offline) : le décalage de distribution (distributional shift).

Le Mismatch : Une politique induite par une nouvelle spécification de tâche interroge souvent des régions état-action qui sont mal représentées ou totalement absentes de l'ensemble de données de pré-entraînement (Hors-Distribution ou OOD).
La Conséquence : L'inférence zero-shot standard (par exemple, la sélection d'un vecteur latent $z$ basée sur la projection de la récompense) conduit à des erreurs systématiques dans l'estimation de la valeur et à une surestimation de la fonction de valeur. L'agent peut sélectionner des latents qui semblent optimaux sous des valeurs extrapolées, mais qui induisent des distributions de visite non supportées par les données, résultant en un comportement sous-optimal ou dangereux.
Le Fossé : Les solutions existantes comme DICE (DualDICE, OptiDICE) nécessitent une optimisation spécifique à la tâche, ce qui contredit l'exigence de "zero-shot". D'autres méthodes d'adaptation rapide (ReLA, LoLA) reposent sur l'interaction avec l'environnement en ligne et des rollouts on-policy, ce qui est coûteux et viole la nature entièrement hors-ligne du cadre BFM.

La question centrale posée est : Pouvons-nous estimer des ratios d'occupation stationnaires optimaux pour toute une famille de politiques induites par BFM sans optimisation on-line par tâche, permettant une adaptation rapide au moment du test tout en évitant les pathologies hors-politique ?

2. Méthodologie : Apprentissage Hors-Politique à Choc Zéro (ZOL)

Les auteurs proposent ZOL, une procédure de test sans entraînement qui comble le fossé entre les Mesures de Successeur (Successor Measures - SM) et les Ratios de Densité Stationnaire.

Aperçu Théorique

La méthode repose sur une connexion théorique dérivée du cadre Forward-Backward (FB) (Touati & Ollivier, 2021), utilisé pour estimer les Mesures de Successeur.

Mesures de Successeur (SM) : La SM, $M^\pi$ , caractérise la visite future actualisée d'une politique $\pi$ . Dans le cadre FB, la densité de successeur $m_\pi$ est approximée par une factorisation de rang faible : $m_\pi(s_0, a_0, s, a) \approx F(s_0, a_0, z)^\top B(s, a)$ , où $F$ est un embedding forward et $B$ est un embedding backward.
Identité de Ratio de Densité : Les auteurs dérivent une identité exacte (Éq. 9) montrant que le ratio de densité stationnaire $w_{\pi/\beta} = d_\pi / d_\beta$ (le facteur de correction nécessaire pour aligner la visite de la politique avec le jeu de données) est proportionnel à la densité de successeur attendue sous la distribution initiale $\rho_0$ :
$w_{\pi/\beta}(s, a) = (1-\gamma) \mathbb{E}_{(s_0, a_0) \sim \rho_0} [m_\pi(s_0, a_0, s, a)]$
Estimateur de Rang Faible : En substituant l'approximation FB dans l'identité, le ratio de densité devient une simple fonction linéaire de l'embedding backward :
$w_{\pi_z/\beta}(s, a) \approx (1-\gamma) W_{\pi_z}^\top B(s, a)$
Ici, $W_{\pi_z}$ est l'embedding forward attendu sur la distribution initiale. Crucialement, cet estimateur est uniquement basé sur les données ; il est évalué uniquement sur les échantillons $(s, a)$ présents dans le jeu de données $D$ , garantissant que la politique n'assigne jamais de probabilité à des régions non supportées.

Algorithme

ZOL opère en trois étapes sans modifier le pré-entraînement du BFM :

Pré-entraînement : Entraîner les embeddings FB ( $F$ et $B$ ) en utilisant des objectifs de différence temporelle standard sur le jeu de données hors-ligne.
Initialisation Latente : Pour une nouvelle tâche avec une récompense $r_T$ , inférer un embedding de tâche initial $c_T$ en projetant la récompense sur les caractéristiques backward : $c_T = \mathbb{E}_{(s,a) \sim D}[B(s, a) r_T(s, a)]$ .
Optimisation Latente : Optimiser le vecteur latent $z$ $z$ pour maximiser un retour pondéré régularisé :
$J_{total}(z) = \mathbb{E}_{(s,a,r) \sim d_\beta} [w_{\pi_z/\beta}(s, a) (r(s, a) - \bar{r})] - \lambda_1 \chi^2(z) - \lambda_2 L_{trust}(z)$
- Repondération : Le terme $w_{\pi_z/\beta}$ repondère la supervision vers les régions supportées par les données, corrigeant ainsi le décalage de distribution.
- Régularisation :
  - Pénalité $\chi^2$ : Prévient une variance extrême dans les poids d'importance.
  - Région de confiance ( $L_{trust}$ ) : Garde le latent optimisé proche de l'embedding de tâche initial pour éviter une dérive catastrophique.
  - Centrage de la récompense : Prévient les solutions triviales (ex: politiques "ne rien faire") causées par des décalages de récompense constants.

L'optimisation est réalisée via l'ascension de gradient (Adam) sur $z$ en utilisant l'échantillonnage de Monte Carlo des états de départ pour estimer $W_{\pi_z}$ , ne nécessitant aucune interaction avec l'environnement au-delà de l'échantillonnage de l'état initial.

3. Contributions Clés

Pont Théorique : Le papier établit un lien théorique novateur montrant que les représentations de successeur Forward-Backward contiennent implicitement les ratios de densité stationnaires requis pour la correction hors-politique. Cela permet de calculer les poids de correction optimaux directement à partir des composants pré-entraînés.
Algorithme ZOL : Une méthode d'adaptation au temps de test, simple, sans entraînement et sans interaction, qui atténue la surestimation hors-politique et les erreurs d'extrapolation en imposant explicitement des contraintes de support via la repondération du ratio de densité.
Validation Empirique : ZOL est évalué sur divers benchmarks (ExORL, OGBench, SMPL Humanoid) et surpasse systématiquement les baselines zero-shot de l'état de l'art (FB, HILP, TD-JEPA) ainsi que les méthodes d'adaptation on-line (LoLA, ReLA) en termes de robustesse et de retour, particulièrement pour les tâches à long horizon et de haute dimension.
Ablation et Analyse : Le papier fournit un exemple simple en 2D démontrant que l'inférence zero-shot standard échoue à cause du biais de support, tandis que ZOL réussit à récupérer la structure de la tâche en alignant l'inférence avec l'occupation induite.

4. Résultats Expérimentaux

Les auteurs ont évalué ZOL sur trois benchmarks :

ExORL (DeepMind Control Suite) : ZOL a obtenu des gains constants par rapport aux baselines sur les domaines Walker, Cheetah, Quadruped et PointMass. Notamment, il a montré des améliorations significatives dans les tâches à long horizon et les domaines de haute dimension (ex: Quadruped), surpassant les méthodes on-line comme LoLA et ReLA sans nécessiter de rollouts d'environnement.
OGBench (Long-Horizon Goal-Conditioned RL) : Sur des tâches nécessitant un assemblage temporel (ex: AntMaze, manipulation de Cube), ZOL a atteint des taux de succès supérieurs à FB et aux autres baselines. Il a égalé ou dépassé les performances des méthodes on-line (LoLA/ReLA) tout en opérant entièrement hors-ligne.
SMPL Humanoid (Motion Tracking) : En utilisant un modèle FB-CPR pré-entraîné, ZOL a amélioré les performances de suivi de mouvement sur le jeu de données AMASS, trouvant des politiques sensiblement meilleures que l'inférence FB-CPR de base.

Dans tous les benchmarks, ZOL a démontré une robustesse aux choix d'hyperparamètres, nécessitant un réglage minimal.

5. Signification et Revendications

Le papier affirme faire le pont entre les domaines de l'apprentissage hors-politique et de l'adaptation zero-shot. Sa principale importance réside dans la démonstration que l'adaptation zero-shot robuste ne nécessite pas nécessairement une interaction on-line coûteuse ou une optimisation par tâche.

Atténuation du fossé d'inférence : Les auteurs soutiennent que les écarts de performance des BFMs ne proviennent pas de la capacité de représentation du modèle, mais de la sous-optimalité de la procédure d'inférence elle-même. ZOL y répond en garantissant que le processus d'adaptation reste ancré dans la distribution de pré-entraînement.
Adaptation sans entraînement : Contra irement aux méthodes nécessitant un fine-tuning ou des rollouts on-line, ZOL offre une solution "plug-and-play" qui exploite la structure FB existante pour corriger les décalages de distribution au moment du test.
Justification Théorique : Le travail fournit une justification principielle de la raison pour laquelle les représentations FB sont adaptées à la correction hors-politique, allant au-delà des adaptations heuristiques.

Limites : Les auteurs reconnaissent que ZOL hérite du biais de représentation de la factorisation FB apprise. Si l'estimation du ratio de densité est inexacte ou si une tâche en aval nécessite strictement un comportement soutenu hors-support, la nature conservatrice de la méthode (imposant des contraintes de support) peut sacrifier la performance au profit de la sécurité. Les directions futures incluent les corrections sensibles à l'incertitude et les extensions aux domaines partiellement observables.