Ergodicity in reinforcement learning

Cet article examine l'impact des processus de récompense non ergodiques sur l'apprentissage par renforcement, en démontrant que l'optimisation de la valeur espérée est inadéquate pour les agents individuels et en présentant des solutions visant à maximiser les performances sur des trajectoires uniques.

L'essentiel

🎲 Le Grand Problème : La différence entre « la moyenne de la classe » et « la vie d'un élève »

Imaginez que vous êtes un professeur qui veut savoir si une méthode d'enseignement fonctionne. Vous avez deux façons de mesurer le succès :

1. La moyenne de la classe : Vous prenez 1 000 élèves, vous leur faites passer un examen une seule fois, et vous calculez la moyenne des notes.
2. La vie d'un élève : Vous prenez un seul élève et vous le laissez étudier pendant 100 ans. Quelle sera sa note moyenne sur cette longue période ?

Dans la plupart des cas, ces deux chiffres sont similaires. Mais dans le monde de l'Intelligence Artificielle (IA), et plus précisément dans l'Apprentissage par Renforcement (où l'IA apprend en essayant et en se trompant), il existe un piège dangereux.

Parfois, la « moyenne de la classe » (ce que l'IA calcule mathématiquement) est totalement différente de la « vie d'un élève » (ce qui arrive réellement à l'agent au fil du temps). C'est ce qu'on appelle la non-ergodicité.

🚀 L'Analogie du Robot Livreur (Le Dilemme du Risque)

Pour comprendre pourquoi c'est grave, imaginons un robot livreur. Il a deux choix pour livrer un colis :

• Option A (La route rapide) : Il traverse une foule. C'est rapide, il gagne beaucoup de points. Mais à chaque livraison, il y a 1 % de chance qu'un passant le détruise définitivement. S'il est détruit, le jeu est fini pour lui.
• Option B (La route lente) : Il contourne la foule. C'est plus long, il gagne moins de points par livraison, mais il est sûr à 100 %.

Ce que l'IA classique (l'optimisation de la moyenne) pense :
Elle regarde les statistiques. « Si je fais 100 livraisons, je vais gagner beaucoup de points en moyenne. La route rapide est meilleure ! » Elle choisit donc la route rapide.
La réalité (La vie du robot) : Si le robot choisit la route rapide, tôt ou tard (statistiquement, c'est inévitable), il sera détruit. Une fois détruit, il ne gagne plus jamais rien. Sa performance à long terme est de zéro.

L'IA classique a optimisé la moyenne d'un groupe imaginaire de robots, mais elle a échoué à protéger la vie de son robot. C'est là que l'ergodicité intervient. Un processus est « ergodique » si la moyenne de groupe égale la moyenne dans le temps pour un individu. Ici, ce n'est pas le cas.

🪙 L'Exemple de la Pièce de Monnaie (Le Paradoxe Mathématique)

Les auteurs utilisent un exemple célèbre pour montrer comment les mathématiques peuvent nous tromper. Imaginez un jeu où vous avez 100 € et vous devez parier une partie de votre argent à chaque tour en lançant une pièce :

• Pile (50 %) : Vous gagnez 50 % de votre mise.
• Face (50 %) : Vous perdez 40 % de votre mise.

Le calcul de l'IA classique :
En moyenne, vous gagnez 5 % par tour (car 50 % de gain compense 40 % de perte). Donc, l'IA dit : « Pariez tout votre argent à chaque fois ! C'est mathématiquement le meilleur choix. »

La réalité du joueur :
Si vous pariez tout votre argent à chaque fois, vous allez très vite vous retrouver avec 0 €. Pourquoi ? Parce que dans la vie réelle, vous ne pouvez pas « recommencer » avec un autre joueur si vous perdez. Une perte de 40 % suivi d'un gain de 50 % ne vous ramène pas au point de départ (100 -> 60 -> 90). Vous perdez de l'argent à chaque cycle.
La plupart des joueurs finissent ruinés, même si la « moyenne théorique » dit qu'ils devraient devenir riches.

🛠️ Comment réparer l'IA ? (Les 3 Solutions)

L'article propose trois façons de faire comprendre à l'IA qu'elle doit penser à sa propre survie à long terme, et non pas à la moyenne théorique.

1. Changer la façon de voir les points (La Transformation)

Au lieu de regarder les points bruts (100, 110, 120...), l'IA apprend à les transformer mathématiquement (par exemple, en regardant leur logarithme).

• Analogie : C'est comme si vous ne regardiez pas la hauteur exacte d'une montagne, mais la pente de la montée. Cela permet à l'IA de voir que « grimper trop vite » est dangereux, même si le sommet semble haut. En optimisant cette nouvelle vision, l'IA trouve une stratégie qui la fait gagner sur le long terme.

2. Regarder la moyenne géométrique (Le Miroir du Temps)

Au lieu de faire la moyenne arithmétique (additionner et diviser), l'IA apprend à faire la moyenne géométrique (multiplier les résultats).

• Analogie : Imaginez que vous avez une chaîne de dominos. Si un seul domino tombe (une grosse perte), toute la chaîne s'effondre. La moyenne géométrique pénalise sévèrement les gros écarts. Cela force l'IA à être prudente et à éviter les risques qui pourraient la tuer, même si le gain potentiel est énorme.

3. Apprendre par la répétition (L'Entraînement Temporel)

C'est une méthode où l'IA s'entraîne à répéter le même scénario plusieurs fois de suite dans une seule séance d'entraînement, en gardant en mémoire son état actuel (son argent, sa santé, etc.).

• Analogie : Au lieu de jouer à un jeu de cartes avec un nouveau jeu de 52 cartes à chaque main, l'IA joue avec le même jeu de cartes, en se souvenant de celles qui sont déjà sorties. Elle comprend ainsi que si elle joue trop agressivement maintenant, elle n'aura plus de cartes plus tard. Elle apprend à gérer sa ressource (son temps, son argent) comme un vrai humain le ferait.

💡 Conclusion

Ce papier nous rappelle une leçon importante : ce qui est bon pour la moyenne d'un groupe ne l'est pas toujours pour l'individu qui vit l'expérience.

Dans des domaines comme la finance, la médecine ou la robotique, nous ne voulons pas d'une IA qui calcule qu'elle va gagner de l'argent en moyenne sur 1000 univers parallèles, si cela signifie qu'elle va faire faillite dans notre univers. L'objectif est de créer des agents intelligents qui survivent et prospèrent sur la durée, en comprenant que le temps et l'histoire comptent plus que les statistiques instantanées.

Résumé technique

Voici un résumé technique détaillé de l'article « Ergodicity in reinforcement learning » (Ergodicité en apprentissage par renforcement), rédigé en français.

1. Problématique : La Non-Ergodicité en Apprentissage par Renforcement

L'article identifie une faille fondamentale dans la formulation classique de l'apprentissage par renforcement (RL). La plupart des algorithmes RL visent à maximiser la valeur espérée (moyenne d'ensemble) de la somme des récompenses cumulées sur un horizon fini ou infini.

Cependant, cette approche suppose implicitement que le processus de récompense est ergodique. Dans un processus ergodique, la moyenne temporelle (le résultat observé par un seul agent sur une trajectoire infinie) converge vers la moyenne d'ensemble (la moyenne sur un nombre infini de trajectoires indépendantes).

Le problème central :
Dans de nombreux scénarios réels (finance, biologie, robotique de sécurité), les processus de récompense sont non-ergodiques. Dans ces cas, la moyenne d'ensemble peut être positive et croissante, tandis que la trajectoire individuelle d'un agent converge presque sûrement vers zéro ou une valeur catastrophique.

• Exemple illustratif : L'article utilise une variante du jeu de la « roulette russe » ou d'un jeu de pile ou face multiplicatif. Si un agent mise tout son capital (facteur $\alpha=1$), l'espérance mathématique de gain est positive (+5 % par tour). Pourtant, la probabilité que l'agent survive à long terme est nulle : la plupart des trajectoires individuelles s'effondrent vers zéro.
• Conséquence : Optimiser la valeur espérée conduit à des politiques sous-optimales, voire suicidaires, pour un agent individuel déployé dans le temps réel.

2. Fondements Théoriques et Définitions

Les auteurs formalisent le problème dans le cadre des Processus de Décision Markoviens (MDP) :

• Ergodicité forte (Définition 1) : Un processus de récompense est ergodique si la limite de la moyenne temporelle sur une trajectoire unique est égale à la limite de la moyenne d'ensemble pour chaque instant de temps. Cela nécessite souvent que le système démarre dans une distribution stationnaire.
• Ergodicité asymptotique (Définition 2) : Une version plus pratique où l'égalité des moyennes est requise lorsque le temps tend vers l'infini, même si le système ne démarre pas dans un état stationnaire.
• Liens avec les chaînes de Markov : L'article relie l'ergodicité des récompenses à celle des chaînes de Markov sous-jacentes. Pour qu'un MRP (Processus de Récompense Markovien) soit ergodique, la chaîne sous-jacente doit être une « unichaine » (une seule classe récurrente) et apériodique.
• Brisure d'ergodicité : Le processus devient non-ergodique dans plusieurs cas :
  • Récompenses multiplicatives (dépendance de l'histoire, violation de la propriété de Markov standard).
  • États absorbants (ex: destruction d'un robot, contraintes de sécurité fatales).
  • Environnements non stationnaires (apprentissage multi-agents, transfert d'apprentissage).

3. Contributions Clés

L'article apporte quatre contributions majeures :

1. Définition conceptuelle : Il introduit et définit rigoureusement le concept de « processus de récompense non-ergodique » spécifiquement dans le contexte du RL.
2. Illustration empirique : Il démontre, via un exemple simple (jeu de pile ou face), que les algorithmes RL d'état de l'art (comme PPO - Proximal Policy Optimization) échouent à résoudre ce problème s'ils optimisent directement la valeur espérée, conduisant à l'effondrement du capital de l'agent.
3. Analyse des causes : Il cartographie les différentes sources de non-ergodicité (récompenses multiplicatives, états absorbants, non-stationnarité) et les distingue des notions classiques d'ergodicité des MDP.
4. Revue des solutions : Il présente et explique trois stratégies existantes pour optimiser la performance à long terme d'un agent individuel sous des dynamiques non-ergodiques.

4. Méthodologies et Solutions Proposées

L'article examine trois approches pour contourner le problème de la non-ergodicité :

A. Apprentissage de transformations ergodiques (Learning Ergodicity Transformations)

• Principe : Transformer les récompenses brutes en une observable ergodique. L'optimisation de la valeur espérée de cette transformation équivaut à l'optimisation du taux de croissance temporel moyen.
• Méthode : Inspirée des transformations stabilisant la variance, l'algorithme utilise un lissage local (LOESS) pour apprendre une fonction $h$ qui transforme la trajectoire des récompenses. L'agent apprend ensuite sur les incréments de cette transformation ($\Delta h(R_t)$).
• Résultat : Sur le jeu de pile ou face, cela permet à l'agent d'apprendre une politique gagnante (évitant la ruine) là où l'approche standard échoue.

B. Estimateur de la moyenne géométrique modifié

• Principe : Reformuler l'objectif d'optimisation comme une combinaison convexe de la récompense espérée classique et du taux de croissance temporel moyen ($G_\pi^\infty$).
• Méthode : L'objectif devient : $\max_\pi \{ (1-\lambda)E[\sum \gamma^k r_k] + \lambda G_\pi^\infty \}$.
• Implémentation : Comme le taux de croissance temporel ne peut être observé directement, il est estimé via la moyenne géométrique des récompenses sur une fenêtre glissante ($N$) le long d'une trajectoire unique. Cela permet de capturer les dépendances de chemin sans avoir besoin d'un modèle analytique du processus.
• Résultat : Avec $\lambda=1$, l'algorithme apprend une stratégie gagnante sur le jeu de pile ou face et sur des environnements benchmarks (cart-pole, lunar lander).

C. Entraînement temporel et mises à jour dépendantes du chemin

• Principe : Intégrer explicitement la dépendance temporelle et l'histoire dans le processus d'apprentissage sans modifier la fonction de valeur ou les récompenses brutes.
• Méthode : L'agent est confronté au même problème de sélection d'actions plusieurs fois au cours d'un épisode d'entraînement, en mettant à jour le retour final à chaque étape. Cela force l'agent à apprendre la dynamique temporelle de la croissance (ou déclin) de son capital.
• Résultat : Cette approche permet de déplacer le « point d'indifférence » de l'agent (le seuil de risque acceptable) de l'optimum basé sur la valeur espérée vers l'optimum basé sur le taux de croissance temporel, menant à une politique optimale.

5. Résultats et Signification

• Performance : Les simulations montrent que les algorithmes standards (PPO, Q-learning) échouent systématiquement sur les jeux non-ergodiques (convergence vers 0), tandis que les trois approches présentées permettent d'atteindre une croissance positive et stable.
• Signification pour le domaine :
  • L'article remet en question l'hypothèse universelle de l'ergodicité dans le RL.
  • Il souligne que pour les applications critiques (finance, robotique autonome, santé), maximiser l'espérance mathématique est dangereux.
  • Il ouvre la voie à de nouveaux critères d'optimisation basés sur la croissance temporelle (taux de croissance de Kelly, moyenne géométrique) plutôt que sur la moyenne arithmétique.

6. Défis Ouverts

L'article conclut en identifiant plusieurs défis pour la recherche future :

• Complexité : Les solutions actuelles sont testées sur des environnements relativement simples. Leur extension à des espaces d'états et d'actions complexes (haute dimension) reste à prouver.
• Apprentissage conjoint : La séparation actuelle entre l'apprentissage de la transformation (ou de l'estimateur) et l'apprentissage de la politique est sous-optimale. Un apprentissage conjoint est nécessaire mais difficile.
• Mesure de la non-ergodicité : Il manque une mesure empirique standard pour quantifier « à quel point » un environnement RL est non-ergodique.
• Facteur d'actualisation : La relation entre le facteur d'actualisation ($\gamma$) et l'ergodicité nécessite une analyse plus approfondie.

En résumé, cet article fournit un cadre théorique et pratique essentiel pour comprendre et résoudre le problème de la non-ergodicité, garantissant que les agents d'apprentissage par renforcement apprennent des politiques robustes et viables pour le monde réel, où la survie à long terme prime sur l'espérance mathématique théorique.