Résumé Technique : Isomorphisme du Temps d'Atteinte pour la Planification Multi-Étapes avec des Politiques Fondamentales

Énoncé du Problème

L'article aborde le défi de l'apprentissage par renforcement (RL) hors ligne conditionné par un objectif pour l'apprentissage de politiques fondamentales. L'objectif est d'apprendre une politique réutilisable, agnostique à l'objectif, à partir d'un jeu de données statique de trajectoires, capable de se généraliser à un ensemble ouvert d'objectifs de manière zéro-shot.

Les approches existantes pour l'apprentissage de représentations d'état hors ligne se divisent en trois catégories, chacune présentant des limitations critiques pour la planification multi-étapes :

1. Méthodes de Mesure Successeur : Bien que non supervisées, elles échouent souvent à satisfaire l'inégalité triangulaire, empêchant la composition des distances à travers des sous-objectifs intermédiaires.
2. Méthodes de Distance d'Accessibilité : Elles imposent souvent des structures métriques ou quasi-métriques mais reposent sur une supervision conditionnée par l'objectif pour l'entraînement de la politique, violant ainsi l'exigence d'agnosticisme de l'objectif pour les politiques fondamentales.
3. Méthodes de Temps d'Atteinte : Elles satisfont l'inégalité triangulaire et prennent en charge un entraînement non supervisé, mais reposent généralement sur des distances euclidiennes symétriques. Cela échoue à capturer la géométrie temporelle dirigée et irréversible des environnements réels, conduisant à une planification sous-optimale où les itinéraires passent par des sous-objectifs inaccessibles dans la direction requise.

Les auteurs identifient le primitif manquant comme étant la géométrie temporelle directionnelle mesurée en étapes de transition discrètes. Ils proposent le temps d'atteinte attendu comme la quantité fondamentale à récupérer, visant à apprendre une représentation où les temps d'atteinte sont des fonctionnelles linéaires des déplacements latents, préservant à la fois la direction et l'échelle.

Méthodologie : Apprentissage d'Embedding Isomorphe (IEL)

La contribution centrale est un nouveau cadre théorique opérateur et l'algorithme Isomorphic Embedding Learning (IEL).

1. Cadre Théorique : Isomorphisme du Temps d'Atteinte

Les auteurs formalisent l'environnement comme un Processus Markovien Contrôlé (CMP) dans un espace de Hilbert. Ils définissent un CMP $\epsilon$-suffisant où les dynamiques de transition sont approximativement linéaires dans un espace de caractéristiques latent $\phi$.

• Représentation Linéaire des Temps d'Atteinte : Sous la condition que les dynamiques latentes se ferment linéairement et qu'une condition de domaine adjoint spécifique soit satisfaite, le temps d'atteinte attendu $V^\pi(x, g)$ de l'état $x$ vers l'objectif $g$ admet une représentation linéaire exacte :
  $$V^\pi(x, g) = \langle \phi(g) - \phi(x), \omega^\pi_g \rangle_H$$
  Ici, $\omega^\pi_g$ est un vecteur d'identifiant de tâche dans l'espace de Hilbert. Cela prouve que les fonctionnelles de temps d'atteinte sont équivalentes aux déplacements latents à un isomorphisme linéaire borné près.
• Identifiabilité : L'article prouve que toute représentation récupérant cette géométrie de temps d'atteinte est uniquement identifiable à un changement de coordonnées linéaire borné près (Théorème 2.3). Cela garantit que la géométrie apprise reflète la véritable structure temporelle dirigée de l'environnement plutôt qu'un système de coordonnées arbitraire.
• Bornes d'Erreur : L'analyse théorique montre que l'erreur globale de temps d'atteinte est bornée par l'erreur de transition latente en un seul pas, amplifiée par le rayon spectral transitoire de l'environnement (Théorème 3.3). Les garanties à échantillon fini décomposent l'erreur en termes d'approximation, de complexité statistique, de couverture et de discordance entre trajectoires et étiquettes (Théorème 3.5).

2. L'Algorithme IEL

IEL opérationnalise cette théorie à travers quatre composants :

1. Apprentissage de l'Identifiant de Tâche : Une approche d'apprentissage contrastif (perte InfoNCE) apprend une application $\omega_\psi(g)$ qui transforme un état cible en un identifiant de tâche. Cela établit l'axe directionnel dans l'espace latent, permettant des calculs de temps d'atteinte asymétriques.
2. Régression du Temps d'Atteinte : L'algorithme échantillonne des points intermédiaires à partir de trajectoires hors ligne et effectue une régression par expectile pour prédire la progression du temps d'atteinte. Cela biaise la géométrie vers des distances plus courtes et in-distribution.
3. Apprentissage par Différence Temporelle (TD) : Pour gérer la rareté des données à long horizon, IEL fait le pont entre la formule du temps d'atteinte et des objectifs de type HILP. Il introduit un biais directionnel via une transformation :
   $$V^\pi(x, g) \approx \|\phi(g) - \phi(x)\| \exp(\beta(1 - \cos(\xi_{x \to g, g})))$$
   où $\xi$ est l'angle entre la différence d'embedding et l'identifiant de tâche. Cela pénalise le désalignement angulaire, agissant comme une contrainte directionnelle douce absente dans les méthodes symétriques.
4. Planification Multi-Étapes Basée sur Graphes : Au moment du test, IEL construit un graphe dirigé sur un coreset d'états latents. Les coûts des arêtes sont définis par le score de temps d'atteinte asymétrique appris. La navigation est effectuée via une recherche de Plus Court Chemin depuis une Source Unique (SSSP) sur le graphe inversé, convertissant les prédictions temporelles locales en plans de navigation globaux zéro-shot.

Contributions Clés

• Théorique : Prouve l'existence et l'identifiabilité d'une représentation linéaire par déplacement pour les temps d'atteinte dans des CMP suffisants, établissant un lien rigoureux entre la théorie des opérateurs et les fonctionnelles de temps d'atteinte.
• Algorithmique : Introduit IEL, le premier algorithme d'apprentissage de politique fondamentale satisfaisant simultanément l'entraînement de politique non supervisé, la distance directionnelle et l'inégalité triangulaire.
• Pratique : Démontre que l'intégration de l'asymétrie directionnelle dans la géométrie d'embedding améliore significativement les capacités de planification multi-étapes par rapport aux bases symétriques.

Résultats Expérimentaux

Les auteurs évaluent IEL sur six benchmarks de RL conditionné par un objectif hors ligne issus du jeu de données D4RL (suites AntMaze et Kitchen).

• Bases de comparaison : Des comparaisons sont faites avec HILP (la base principale pour les politiques fondamentales), GC-IQL et GC-CQL.
• Performance :
  • IEL avec planification de graphe asymétrique obtient des résultats de l'état de l'art, surpassant significativement HILP et la planification récursive par point milieu dans des environnements comme antmaze-ultra-diverse (79,0 contre 39,8) et antmaze-large-diverse (71,8 contre 68,0).
  • Même la variante symétrique de IEL (utilisant des distances symétriques mais la même planification de graphe) surpasse souvent la stratégie récursive par point milieu de HILP, validant l'efficacité du mécanisme de planification basé sur graphes lui-même.
  • La variante asymétrique apporte des gains supplémentaires dans quatre des six environnements, confirmant la nécessité d'une géométrie directionnelle pour une navigation complexe.
• Efficacité : Le coût d'entraînement de IEL est comparable à celui de HILP. La planification de graphe asymétrique s'exécute à des vitesses comparables à la planification récursive par point milieu, tandis que la variante symétrique est environ trois fois plus rapide grâce à la réutilisabilité du graphe.

Importance et Revendications

L'article revendique que IEL fournit le premier cadre satisfaisant les trois capacités critiques requises pour les politiques fondamentales dans la planification multi-étapes : entraînement non supervisé, distance directionnelle et inégalité triangulaire.

Les auteurs soutiennent qu'en remplaçant les heuristiques de distance symétriques par une géométrie temporelle dirigée ancrée dans la théorie des opérateurs, les agents peuvent naviguer dans des environnements complexes et irréversibles avec une efficacité prouvable. Ils postulent que ce travail fournit une fondation mathématique pour la transition de la recherche Vision-Language-Action (VLA) d'une dépendance à l'apprentissage par imitation vers un apprentissage de politique basé sur la récompense, permettant potentiellement des robots polyvalents plus autonomes et dignes de confiance. Le cadre est présenté comme une alternative rigoureuse aux modèles basés sur la distance qui manquent de garanties de cohérence globale.