🤖 machine learning

Hierarchical Successor Representation for Robust Transfer

Cet article introduit la Représentation de Successeur Hiérarchique (HSR), un cadre qui exploite les abstractions temporelles et la factorisation de matrices non négatives pour surmonter la dépendance à la politique et la diffusion spectrale des représentations de successeurs classiques, permettant ainsi un transfert robuste et efficace en termes d'échantillonnage ainsi qu'une exploration efficace dans des environnements complexes et non stationnaires.

Auteurs originaux : Changmin Yu, Máté Lengyel

Publié 2026-06-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Changmin Yu, Máté Lengyel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à naviguer dans un bâtiment géant et complexe composé de nombreuses pièces, de couloirs et de portes. Votre objectif est de trouver une sortie spécifique.

L'ancienne méthode (la « Représentation de Successeur »)
Traditionnellement, les agents d'IA utilisent une méthode appelée « Représentation de Successeur » (SR). Considérez cela comme une carte mentale de « combien de temps il faut pour aller partout d'ici ».

Si vous êtes dans la cuisine, la carte indique qu'il faut 10 secondes pour aller au salon, 20 secondes pour aller au garage, etc.
Le problème : Cette carte est liée à la manière dont vous marchez. Si vous marchez habituellement vite, la carte dira « 5 secondes ». Si vous devez soudainement marcher lentement parce que vous portez une boîte lourde (un changement de « politique »), votre ancienne carte devient inutile. Vous devez la redessiner entièrement.
Le problème du « flou » : Dans un grand bâtiment, cette carte devient floue. C'est comme une goutte d'encre qui se répand dans l'eau ; elle ne montre pas clairement où se trouvent les murs et les couloirs, ce qui rend difficile la compréhension de la disposition du bâtiment.

La nouvelle méthode (Représentation de Successeur Hiérarchique - HSR)
Les auteurs proposent une nouvelle méthode appelée Représentation de Successeur Hiérarchique (HSR). Considérez cela comme le passage d'un guide de marche pas à pas à un guide de voyage stratégique.

Au lieu de penser à chaque pas (pied gauche, pied droit), l'agent apprend des « macro-mouvements » ou des Options.

Analogie : Au lieu de penser « pas, pas, tourne, pas », l'agent pense « traverse le couloir », « passe par la porte » ou « traverse le pont ».
Pourquoi c'est mieux : Même si vous changez votre vitesse de marche (votre politique de bas niveau), la stratégie de « traverser le couloir pour atteindre la pièce suivante » reste la même. La HSR construit une carte basée sur ces stratégies stratégiques stables plutôt que sur des mouvements de pieds éphémères. Cela rend la carte robuste ; si votre tâche change (par exemple, si l'objectif se déplace dans une autre pièce), vous n'avez pas besoin de redessiner toute la carte. Vous utilisez simplement votre carte stratégique existante pour trouver le nouvel objectif.

Rendre la carte claire (NMF)
Les auteurs ont également remarqué que même avec la HSR, la carte pouvait encore être un peu encombrée. Pour corriger cela, ils ont utilisé un outil mathématique appelé Factorisation de Matrice Non-négative (NMF).

Analogie : Imaginez prendre une photo floue et superposée d'une ville et utiliser un filtre pour séparer les éléments en blocs distincts et clairs.
La NMF prend la carte HSR et la décompose en morceaux épars et locaux. Au lieu d'une tache floue couvrant tout le bâtiment, elle identifie des « blocs » spécifiques comme « le couloir Nord » ou « l'aile Est ».
Le résultat : L'IA découvre les « goulots d'étranglement » naturels du bâtiment (les portes et les couloirs qui relient les pièces). Ceux-ci deviennent les caractéristiques clés de la carte. Cela rend la carte non seulement précise, mais aussi facile à comprendre et à utiliser pour l'IA.

Ce que cela permet d'accomplir

Super Transfert : Parce que la carte est basée sur des stratégies stables (comme « passer par la porte ») plutôt que sur des styles de marche spécifiques, l'IA peut s'adapter instantanément à de nouveaux objectifs. C'est comme avoir une carte d'une ville qui fonctionne que vous soyez en voiture, à vélo ou à pied.
Meilleure Exploration : Dans des environnements où les récompenses sont rares (comme trouver un trésor caché dans un immense labyrinthe), la HSR aide l'IA à explorer plus efficacement. Elle lui permet de « sauter » mentalement par-dessus les obstacles locaux, en réalisant que « si je passe par cette porte, je peux atteindre une toute nouvelle section du labyrinthe », plutôt que de rester coincée à errer en cercles dans une petite pièce.

En résumé
L'article soutient qu'en apprenant à l'IA à penser en blocs de temps et de stratégie (hiérarchie) plutôt qu'en étapes individuelles, et en nettoyant ensuite cette pensée en parties claires et distinctes (NMF), nous pouvons créer une IA qui apprend plus vite, s'adapte instantanément à de nouvelles tâches et explore les environnements complexes de manière beaucoup plus efficace. Cela comble le fossé entre être rapide (comme un réflexe) et être flexible (comme un planificateur).

Résumé Technique : Représentation de Successeur Hiérarchique pour un Transfert Robuste

Énoncé du Problème

La Représentation de Successeur (SR) offre un cadre permettant de découpler la dynamique prédictive des récompenses, favorisant une généralisation rapide à travers diverses configurations de récompenses. Cependant, la SR classique fait face à deux limitations critiques dans les régimes orientés vers le transfert :

Dépendance à la Politique : Les SR sont intrinsèquement liées à la politique utilisée pour les générer. À mesure que les agents apprennent, rencontrent des non-stationarités ou font face à de nouvelles exigences de tâches, la politique sous-jacente change, rendant les représentations prédictives établies obsolètes et nécessitant un réapprentissage coûteux.
Diffusion Spectrale et Scalabilité : Dans les environnements topologiquement complexes (par exemple, les espaces multi-compartimentaux), les caractéristiques de la SR classique souffrent d'une « diffusion spectrale ». Cela se traduit par des caractéristiques denses, à support global et chevauchantes, qui manquent d'interprétabilité et passent mal à l'échelle. Les méthodes de décomposition spectrale standard (comme la SVD) appliquées aux SR produisent souvent des composantes qui sont indéfinies en signe et ne parviennent pas à capturer efficacement les structures de transition locales.

Méthodologie

Les auteurs proposent la Représentation de Successeur Hiérarchique (HSR) pour remédier à ces limitations en incorporant des abstractions temporelles dans les représentations prédictives.

1. Représentation de Successeur Hiérarchique (HSR)

L'innovation centrale consiste à étendre la formulation classique de la SR en utilisant le cadre des « options » (Sutton et al., 1999).

Abstraction Temporelle : Au lieu de prédire l'occupation de l'état sur la base d'actions à un seul pas, la HSR agrège la dynamique sur des segments comportementaux temporellement étendus et interprétables (options).
Définition : La matrice HSR $M_\mu$ est définie comme la distribution de l'occupation de l'état prédictif par rapport à une politique de haut niveau $\mu$ . Elle combine de manière récursive les matrices SR spécifiques aux actions ( $M_{\bar{a}}$ ) et la durée attendue des options ( $\tau$ ).
Opérateur de Bellman : Les auteurs dérivent un opérateur de Bellman hiérarchique $T$ qui agit comme une application contractante, permettant un apprentissage en ligne via des mises à jour de type Différence Temporelle (TD) similaires à la SR standard, mais avec une erreur TD qui tient compte de la durée des options.
HSR Attendue (eHSR) : Pour relâcher davantage la dépendance à la politique, les auteurs préconisent une construction hors ligne où la HSR est moyennée sur un ensemble de politiques optimales issues d'une distribution de tâches de pré-entraînement, produisant une base généralisée et agnostique à la tâche.

2. Décomposition de Bas Rang via NMF

Pour obtenir de la parcimonie et de l'interprétabilité, les auteurs appliquent une Factorisation de Matrice Non-Négative (NMF) à la matrice HSR, plutôt qu'à la Décomposition en Valeurs Singulières (SVD) typiquement utilisée pour les méthodes spectrales.

Raisonnement : Les SR classiques présentent un « effondrement topologique » où les états intra-compartimentaux se regroupent étroitement, rendant la NMF mal posée en raison d'un manque de variance intra-compartimentale. En revanche, la dynamique de la HSR est « par morceaux lisse », préservant les différences inter-compartimentales tout en permettant la dispersion intra-compartimentale.
Résultat : Cette structure permet à la NMF de découvrir des vecteurs de base parcimonieux, localisés et interprétables qui s'alignent sur les caractéristiques topologiques (par exemple, les états de goulot d'étranglement), évitant ainsi les « artefacts de l'oscillation » (ringing artifacts) et l'étalement global associés aux bases orthogonales de la SVD.

Principales Contributions

Représentations d'État Robustes : Le cadre HSR produit des caractéristiques d'état qui sont robustes aux changements de politique induits par la tâche. En raisonnant à un niveau supérieur d'abstraction temporelle, la représentation reste stable même lorsque les politiques de contrôle de bas niveau changent.
Structures Topologiques Interprétables : L'application de la NMF à la HSR produit une représentation de bas rang et parcimonieuse qui identifie naturellement les goulots d'étranglement topologiques et les structures compartimentales, fournissant une carte hiérarchique agnostique à la politique.
Transfert à Haute Efficacité d'Échantillonnage : La méthode proposée facilite un transfert hautement efficace en termes d'échantillonnage vers de nouvelles tâches dans des environnements multi-compartimentaux sans nécessiter de réapprentissage coûteux des cartes de caractéristiques d'état.
Exploration Scalable : La structure prédictive temporellement étendue de la HSR favorise une exploration par motivation intrinsèque efficace, permettant aux agents de surmonter les barrières de diffusion locales dans de grands environnements générés procéduralement là où les méthodes à un seul pas échouent.

Résultats Expérimentaux

Les auteurs ont évalué la HSR dans des environnements discrets et tabulaires (spécifiquement des labyrinthes à quatre pièces et des labyrinthes générés procéduralement) en utilisant le Q-learning avec approximation de fonction linéaire.

Efficacité du Transfert : Dans un environnement à quatre pièces, les agents utilisant les caractéristiques de ligne HSR ont démontré une efficacité de transfert nettement supérieure lors du changement de localisation des objectifs par rapport aux agents utilisant la SR standard (RW-SR) ou des encodages one-hot. Alors que les agents SR standard souffraient de dégradation de performance lors de la ré-optimisation de la politique, les agents HSR se sont adaptés rapidement avec moins d'épisodes.
Stabilité de la Représentation : Une analyse quantitative a montré que les matrices HSR subissaient nettement moins de réorganisation (plus faible changement relatif de la norme de Frobenius) suite aux changements de politique par rapport aux matrices SR standard.
NMF vs SVD : Dans les expériences de base à faible dimension, les caractéristiques HSR décomposées via NMF ont surpassé tant l'HSR-SVD que toutes les lignes de base basées sur la SR (incluant SR-SVD et SR-NMF). La SR-NMF a échoué en raison de l'effondrement des caractéristiques, tandis que l'HSR-NMF a fourni un code parcimonieux qui pavait uniformément l'espace d'état.
Reconstruction de la Valeur : Les bases HSR ont systématiquement produit des reconstructions plus précises des fonctions de valeur optimales pour des tâches inédites (différentes localisations de buts) par rapport aux bases SR, suggérant un meilleur alignement avec le manifold des fonctions de valeur potentielles.
Exploration : Dans les tâches de navigation à récompense parcimonieuse au sein de grands labyrinthes, les récompenses intrinsèques augmentées par HSR (spécifiquement HSR-SPIE) ont maintenu une couverture d'état et des taux de découverte de buts élevés à mesure que la taille de l'environnement augmentait, alors que les stratégies d'exploration basées sur la SR standard se sont considérablement dégradées.

Signification et Revendications

L'article affirme que l'intégration de l'abstraction temporelle dans les représentations prédictives crée une représentation d'état robuste et interprétable qui comble le fossé entre l'efficacité sans modèle (model-free) et la flexibilité avec modèle (model-based).

Cartographie Agnostique à la Politique : La HSR fournit une carte hiérarchique moins sensible aux configurations de récompenses spécifiques, découplant efficacement la structure prédictive de l'environnement des demandes immédiates de la tâche.
Complémentarité : Les auteurs positionnent la HSR comme complémentaire aux algorithmes d'Amélioration de Politique Généralisée (GPI). Tandis que le GPI se concentre sur la composition de politiques pré-entraînées, la HSR se concentre sur l'apprentissage d'une représentation généralisable ; combiner les deux produit un transfert plus efficace.
Scalabilité : Le cadre passe à l'échelle dans de grands environnements générés procéduralement en permettant aux agents de « s'échapper » des barrières de diffusion locales grâce à des prédictions temporellement étendues, résolvant ainsi un goulot d'étranglement clé pour l'exploration dans les tâches à récompenses rares.

Les auteurs notent que leurs évaluations empiriques sont actuellement limitées à des environnements discrets et tabulaires afin d'isoler les propriétés topologiques. Ils suggèrent que les travaux futurs devraient intégrer la HSR dans des systèmes de RL profond pour les domaines continus et explorer la découverte d'options dans des environnements non stationnaires.