🤖 machine learning

Task-Induced Representational Invariances Depend on Learning Objective in Deep RL

Cet article démontre que les algorithmes d'apprentissage par renforcement profond, spécifiquement les méthodes basées sur la valeur (DQN) et sur le gradient de politique (PPO), apprennent des invariances représentationnelles distinctes induites par la tâche — alignées respectivement sur l'homomorphisme de MDP et les symétries d'action — malgré des performances comparables, offrant ainsi un cadre principled pour comparer les modèles et acquérir des connaissances sur le codage neuronal.

Auteurs originaux : Manu Srinath Halvagal, Sebastian Lee, SueYeon Chung

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Manu Srinath Halvagal, Sebastian Lee, SueYeon Chung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à deux étudiants différents comment naviguer dans un labyrinthe complexe pour trouver un trésor caché. Les deux étudiants sont incroyablement intelligents, utilisent exactement la même carte, et finissent par trouver le trésor parfaitement à chaque fois. Cependant, l'étude révèle qu'ils pensent de manières complètement différentes sur le labyrinthe.

Cette recherche, intitulée « Task-Induced Representational Invariances Depend on Learning Objective in Deep RL », étudie la manière dont les agents d'Intelligence Artificielle (IA) « voient » le monde lorsqu'ils apprennent à résoudre des problèmes. Les auteurs ont découvert que la façon dont une IA apprend (son objectif d'apprentissage) dicte la manière dont elle organise ses connaissances internes, même si le résultat final est le même.

Voici une décomposition de leurs conclusions en utilisant des analogies simples :

1. Les deux étudiants : l'étudiant de la « Valeur » vs l'étudiant de l'« Action »

Les chercheurs ont comparé deux méthodes d'apprentissage par IA célèbres : DQN et PPO.

L'étudiant de la « Valeur » (DQN) : Cet étudiant est obsédé par le score. Il demande : « Quelle est la valeur de cet endroit précis dans le labyrinthe ? » Il apprend à regrouper les endroits qui ont une valeur similaire.
- L'analogie : Imaginez une carte de ville où l'étudiant regroupe les quartiers non pas par ce que l'on peut y faire, mais par la façon dont l'immobilier est « cher » ou « précieux ». Si deux rues différentes ont la même valeur immobilière, cet étudiant les traite comme identiques, même si les bâtiments sont différents.
- La conclusion de l'étude : Cet étudiant apprend les symétries d'homomorphisme des MDP. En langage clair, il apprend à voir la structure mathématique sous-jacente du labyrinthe. Il réalise : « Hé, ce coin à gauche est mathématiquement identique à ce coin à droite parce que les règles du labyrinthe sont symétriques. » Il compresse le monde en une version plus petite et plus simple de lui-même.
L'étudiant de l'« Action » (PPO) : Cet étudiant est obsédé par ce qu'il faut faire ensuite. Il demande : « Quel mouvement dois-je faire ici ? » Il apprend à regrouper les endroits où le meilleur mouvement est le même.
- L'analogie : Cet étudiant regarde la ville et regroupe les quartiers par les feux de signalisation. « Si le feu est vert, je passe ; si le feu est rouge, je m'arrête. » Il ne se soucie pas de savoir si les bâtiments sont différents ; il se soucie uniquement que l'action requise soit la même.
- La conclusion de l'étude : Cet étudiant apprend les symétries d'action. Il regroupe les états en fonction du mouvement optimal. Si le meilleur mouvement dans l'État A est « Tourner à gauche » et que le meilleur mouvement dans l'État B est aussi « Tourner à gauche », il traite A et B comme étant les mêmes, indépendamment de la structure mathématique profonde du labyrinthe.

2. La preuve : Même but, cerveaux différents

Les chercheurs ont testé cela dans une tâche de navigation (un labyrinthe numérique).

Le résultat : Les deux étudiants ont résolu le labyrinthe parfaitement. Mais quand les chercheurs ont regardé à l'intérieur de leurs « cerveaux » (les représentations de données internes), ils ont vu une séparation claire.
- L'étudiant de la Valeur (DQN) présentait une forte similitude entre les états qui étaient mathématiquement symétriques (comme des images miroirs du labyrinthe).
- L'étudiant de l'Action (PPO) présentait une forte similitude entre les états qui nécessitaient le même mouvement, même si la mathématique derrière eux était différente.

C'est comme deux chefs préparant exactement le même gâteau. L'un organise sa cuisine par ingrédients (farine, sucre, œufs), tandis que l'autre l'organise par étapes (mélanger, cuire, glacer). Les deux gâteaux ont le même goût, mais leur organisation interne est totalement différente.

3. Pourquoi est-ce important ? (Le test de transfert)

L'étude demande : cette différence de « style de pensée » importe-t-elle lorsqu'un étudiant est confronté à un nouveau problème ?

L'expérience : Ils ont pris les étudiants entraînés sur un jeu (comme Breakout) et leur ont demandé de jouer à un nouveau jeu similaire (comme Pong).
Le résultat : L'étudiant de la Valeur (DQN) était bien meilleur pour transférer ses compétences au nouveau jeu. Parce qu'il avait appris les règles structurelles profondes de l'environnement (les « symétries »), il pouvait s'adapter rapidement.
L'étudiant de l'Action (PPO) a eu plus de mal. Parce qu'il était tellement concentré sur des mouvements spécifiques, il a eu plus de difficulté à réaliser que le nouveau jeu était simplement une version pivotée ou inversée de l'ancien.

La métaphore : Si vous apprenez à quelqu'un à conduire en lui faisant mémoriser des virages spécifiques (« Tournez à gauche au moment de la grange rouge »), il pourrait se perdre si la grange disparaît. Si vous lui apprenez les principes de la conduite et la géométrie routière, il pourra gérer une nouvelle ville avec des points de repère différents. L'étudiant de la Valeur a appris les principes ; l'étudiant de l'Action a mémorisé les virages.

4. La surprise du « Chatbot » (Grands modèles de langage)

Les chercheurs ont également testé un modèle de langage étendu (LLM) — un type d'IA qui alimente les chatbots — sur la même tâche de labyrinthe. Ils n'ont pas entraîné le chatbot ; ils lui ont simplement donné une description du labyrinthe dans le chat.

La découverte : Le « style de pensée » du chatbot changeait selon la manière dont le labyrinthe était décrit.
- Si le labyrinthe était décrit comme une simple liste de connexions, le chatbot agissait comme l'étudiant de l'Action (se concentrant sur les mouvements).
- Si le labyrinthe était décrit sous forme d'un arbre en art ASCII visuel (montrant clairement la structure), le chatbot commençait soudainement à agir comme l'étudiant de la Valeur, reconnaissant les symétries profondes.
La leçon à retenir : Contrairement aux étudiants d'IA fixes, le chatbot est flexible. Il peut passer d'un « style de pensée » à un autre simplement en changeant le prompt (les instructions).

Résumé

L'article conclut que la façon dont une IA apprend détermine comment elle voit le monde.

Si vous voulez une IA qui comprenne les règles structurelles profondes d'un environnement (excellent pour s'adapter à de nouvelles situations), vous devriez utiliser des méthodes basées sur la Valeur (comme DQN).
Si vous voulez une IA qui est hyper-concentrée sur le meilleur mouvement immédiat, vous pourriez utiliser des méthodes basées sur la Politique (comme PPO).

Il ne s'agit pas seulement de mathématiques ; il s'agit de comprendre que deux systèmes peuvent atteindre le même résultat parfait tout en construisant des cartes de la réalité internes complètement différentes. Cela aide les scientifiques à comprendre non seulement comment l'IA fonctionne, mais potentiellement comment les cerveaux animaux pourraient organiser l'apprentissage différemment selon ce qu'ils cherchent à accomplir.

Résumé Technique : Les invariances représentationnelles induites par la tâche dépendent de l'objectif d'apprentissage dans le RL profond

Énoncé du Problème

Bien que l'apprentissage par renforcement profond (Deep RL) ait accompli des succès remarquables dans des domaines allant du jeu à l'alignement des grands modèles de langage (LLM), la compréhension théorique des représentations apprises au sein de ces modèles reste limitée. Ce fossé entrave la comparaison directe entre les modèles computationnels et l'apprentissage animal, ainsi que l'analyse systématique de la manière dont les structures de tâches sont encodées. Plus précisément, il n'est pas clair comment différents algorithmes de RL (par exemple, basés sur la valeur vs gradient de politique) encodent les symétries de tâches et si ces différences représentationnelles ont des conséquences fonctionnelles pour le transfert d'apprentissage.

Méthodologie

Les auteurs analysent les représentations du RL profond à travers le prisme de la théorie de la réduction des MDP, en se concentrant spécifiquement sur les invariances aux symétries. La méthodologie implique :

Cadre Théorique :
- Homomorphisme de MDP : Utilisation de la théorie des groupes pour identifier les symétries dans l'espace état-action où les fonctions de transition et de récompense restent invariantes sous des transformations spécifiques (ex: réflexion). Cela définit la « symétrie de MDP ».
- Symétrie de Politique : Définition de la symétrie basée sur le fait qu'une politique donnée sélectionne la même action pour différents états (symétrie de la politique optimale, $\pi^*$ ).
- Analyse de Similarité Représentationnelle (RSA) : Emploi de la RSA pour comparer les représentations internes de différents algorithmes. Au lieu de comparer les activations brutes, les auteurs calculent une matrice de similarité de représentation (RSM) basée sur les similitudes cosinus par paires entre les représentations d'états. Ils mesurent spécifiquement la similarité pour les paires d'états qui sont équivalentes sous l'homomorphisme de MDP par rapport à celles qui sont équivalentes sous la symétrie de politique.
Domaines Expérimentaux :
- Tâche de Navigation : Un labyrinthe en grille (basé sur Rosenberg et al.) avec des homomorphismes de MDP connus (symétrie de réflexion). Des versions tabulaires et visuelles (basées sur CNN) ont été utilisées.
- Algorithmes Comparés :
  - DQN : Une méthode basée sur la valeur (apprend une fonction de valeur pour dériver une politique).
  - PPO : Une méthode de gradient de politique (optimise directement la politique).
  - Deep SARSA(n) : Une expérience de contrôle entraînée on-policy (comme PPO) mais basée sur la valeur (comme DQN) pour isoler l'objectif d'apprentissage des stratégies de collecte de données.
- Environnements Complexes : CartPole (continu) et Pong (pixels haute dimension) pour tester la généralisation au-delà des MDP exactement réductibles.
- Transfer Learning : Expériences sur des jeux Atari (Breakout, SpaceInvaders, Pong) pour tester si les symétries apprises favorisent la généralisation vers de nouvelles tâches.
- Analyse LLM : Sollicitation de Qwen2.5-72B-Instruct pour résoudre la tâche de navigation en utilisant différents formats d'entrée (arbre ASCII vs liste d'arêtes) afin d'observer les symétries émergentes dans l'apprentissage en contexte.

Contributions Clés

Invariances Représentationnelles Dépendantes de l'Objectif : L'article démontre que l'objectif d'apprentissage dicte systématiquement le type de symétrie encodée dans la représentation, même lorsque les algorithmes résolvent la même tâche avec des performances comparables.
- Les méthodes basées sur la valeur (DQN) apprennent des représentations invariantes aux symétries d'homomorphisme de MDP (symétries structurelles de l'environnement).
- Les méthodes de gradient de politique (PPO) apprennent des représentations invariantes aux symétries d'action (états partageant la même action optimale).
Isolation Causale de l'Objectif d'Apprentissage : À travers l'expérience Deep SARSA(n), les auteurs montrent que la divergence dans l'encodage des symétries est pilotée par l'objectif d'apprentissage (basé sur la valeur vs gradient de politique) plutôt que par les stratégies de collecte de données (off-policy vs on-policy).
Conséquences sur le Transfert d'Apprentissage : L'article fournit des preuves empiriques que les représentations encodant les homomorphismes de MDP (DQN) facilitent un meilleur transfert d'apprentissage entre les tâches Atari partageant des symétries environnementales communes par rapport à celles encodant les symétries d'action (PPO).
Dépendance au Prompt des LLM : L'étude révèle que les LLM peuvent présenter les deux types de symétries, mais que l'émergence de la symétrie d'homomorphisme de MDP est dépendante du prompt. Elle apparaît lorsque la structure de la tâche est explicitement décrite (arbre ASCII) mais pas lorsqu'elle est décrite via une liste d'arêtes moins structurée, contrairement à la symétrie de politique robuste observée dans les deux formats.

Résultats Clés

Tâche de Navigation : Dans la tâche du labyrinthe, DQN a montré une haute similarité représentationnelle pour les paires d'états symétriques au MDP, mais une faible similarité pour les états partageant la même action optimale. Inversement, PPO a montré une haute similarité pour les états équivalents en action et une faible similarité pour les paires symétriques au MDP.
Généralisation : Cette dissociation s'est vérifiée dans des environnements continus (CartPole) et à haute dimension (Pong), bien que le signal de symétrie de MDP soit plus faible dans Pong, probablement dû aux champs récepteurs locaux des CNN.
Transfer Learning : Dans les expériences de transfert Atari (ex: Breakout $\to$ Pong), les agents DQN (encodant les symétries de MDP) ont montré des gains de performance et une stabilité significatifs sous des rotations d'observation. Les agents PPO n'ont montré que peu ou pas de bénéfice de transfert et étaient plus sensibles aux transformations d'observation.
Résultats LLM : Les LLM ont encodé de manière robuste la symétrie de politique quel que soit le format du prompt. Cependant, la symétrie d'homomorphisme de MDP n'a émergé que lorsque le prompt mettait explicitement en évidence la structure hiérarchique (représentation ASCII), suggérant que les LLM possèdent une flexibilité de représentation que les algorithmes de RL entraînés n'ont pas.

Signification et Revendications

Les auteurs affirment que ce travail fournit une approche fondée sur des principes pour comparer les représentations apprises entre les algorithmes de RL en utilisant la théorie de la réduction des MDP. La signification réside dans :

Sélection d'Algorithme : Offrir une base théorique pour choisir des algorithmes de RL en fonction des objectifs en aval. Les praticiens cherchant des représentations capturant la structure environnementale pour le transfert ou la généralisation peuvent préférer les méthodes basées sur la valeur, tandis que ceux privilégiant l'organisation au niveau de l'action peuvent préférer les méthodes de gradient de politique.
Neurosciences : Fournir un cadre pour sonder les circuits neuronaux biologiques. Les auteurs suggèrent que ce pipeline peut être étendu aux enregistrements neuronaux pour déterminer si les cerveaux animaux encodent préférentiellement les symétries de tâches de type MDP ou les mappings d'actions de type politique.
Post-entraînement des LLM : Souligner que le RLHF et d'autres méthodes de post-entraînement pourraient altérer les représentations des LLM d'une manière qui affecte les capacités d'apprentissage en contexte, introduisant potentiellement des biais similaires à ceux observés dans les échecs de transfert de PPO.

L'article conclut avec modestie, reconnaissant des limites telles que l'hypothèse d'une correspondance un pour un entre état et observation (difficile dans les POMDP), l'utilisation de métriques de similarité spécifiques (similarité cosinus), et l'absence d'une théorie formelle prédisant quelles symétries émergent de quelles propriétés algorithmiques. Ils considèrent leurs résultats comme une caractérisation empirique initiale plutôt que comme une théorie complète.