🤖 machine learning

Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

Cet article démontre que dans l'apprentissage par renforcement linéaire-quadratique partiellement observé, le principal obstacle à l'optimalité n'est pas l'expressivité de la politique, mais un biais dans l'estimation de la valeur du critique causé par une variation d'état inexpliquée, laquelle peut être précisément caractérisée et corrigée en ajustant l'horizon de prévision de l'agent.

Auteurs originaux : Idil Gözel

Publié 2026-08-10

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Idil Gözel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot essayant d'apprendre à marcher. Il possède un cerveau (un algorithme) qui décide de contracter ses muscles, mais il ne dispose que d'une minuscule caméra qui voit ses propres pieds, et non le sol sous eux ou le vent qui le pousse. C'est le monde de l'Apprentissage par Renforcement (Reinforcement Learning), où les machines apprennent par essais et erreurs pour obtenir le meilleur score possible. Habituellement, lorsque ces robots échouent, nous supposons qu'ils sont « aveugles » d'une manière qui rend la tâche impossible : nous pensons qu'ils ne peuvent simplement pas voir assez de choses pour déterminer le bon mouvement. Nous appelons cela l'« écart de politique » (policy gap) : l'idée que le cerveau du robot est trop simple pour contenir la solution parfaite.

Mais il existe une seconde raison, plus sournoise, pour l'échec. Même si le robot pouvait trouver le mouvement parfait, la façon dont il apprend pourrait le tromper. Le robot doit deviner à quel point une situation est bonne en se basant sur ce qu'il voit. S'il ne peut pas voir l'image complète, ses suppositions deviennent biaisées. Il peut penser qu'une situation est dangereuse alors qu'elle est en fait sûre, ou vice versa. C'est l'« écart d'apprentissage » (learning gap). Le problème n'est pas que le robot est incapable d'être intelligent ; c'est que l'enseignant (l'algorithme d'apprentissage) lui donne les mauvais devoirs. Ce papier pose une question simple : dans un monde où le robot est partiellement aveugle, le problème est-il qu'il est trop bête pour comprendre le monde, ou est-ce que sa méthode d'apprentissage est défaillante ?

Le conducteur aux yeux bandés et la carte erronée

Imaginez un conducteur essayant de diriger une voiture sur une route cahoteuse. Le conducteur peut voir la route juste devant la voiture (l'« état observé »), mais il ne peut pas voir les nids-de-poule qui arrivent quelques secondes plus tard (l'« état non observé »). La suspension de la voiture réagit à ces nids-de-poule cachés, faisant bondir le véhicule.

Dans cette histoire, le conducteur est l'Acteur (la partie qui décide de tourner le volant), et le Critique est le passager qui tient une fiche de score, indiquant au conducteur si la course est bonne ou mauvaise. Le passager ne voit que le rebond de la voiture, pas les nids-de-poule cachés.

Le papier présente une version très spécifique et soluble de ce problème. La voiture est sur une piste où les nids-de-poule cachés poussent la voiture de manière prévisible et mathématique. Le conducteur est autorisé à utiliser une règle simple : « Si la voiture rebondit vers le haut, poussez le volant vers le bas. » Cette règle est suffisamment simple pour que, si le conducteur connaissait la vérité entière, il pourrait calculer l'angle de direction parfait. En fait, l'angle de direction parfait n'est qu'environ 10,4 % moins bon que celui du meilleur conducteur possible qui pourrait tout voir. Ainsi, l'« écart de politique » (la limite de ce que le conducteur peut représenter) est faible. Le conducteur pourrait être presque parfait.

Mais voici le rebondissement : quand le conducteur tente réellement d'apprendre en utilisant la méthode classique « Acteur-Critique », il ne trouve pas cette bonne solution. Au lieu de cela, il s'écrase contre une solution terrible, qui est 35 % pire que le meilleur de ce qu'il aurait pu faire.

Pourquoi le passager ment

Pourquoi l'apprentissage échoue-t-il ? Le papier montre que ce n'est pas parce que le conducteur est stupide. C'est parce que le passager (le Critique) lui ment, mais sans le vouloir.

Le passager voit la voiture bondir. Il sait que la voiture rebondit à cause des nids-de-poule cachés, mais il ne peut pas voir les nids-de-poule. Il ne voit que la voiture. Pour lui, le rebond ressemble à une tempête sauvage et imprévisible. Comme le passager doit rédiger une fiche de score basée uniquement sur la position de la voiture, il doit expliquer pourquoi la voiture rebondit autant.

Comme il ne peut pas dire « Oh, c'est à cause des nids-de-poule », il rejette la faute sur la position même de la voiture. Il décide : « Wow, cette voiture est dans un endroit vraiment instable ! La valeur de se trouver ici doit chuter brutalement si nous bougeons ne serait-ce qu'un tout petit peu. » Il dessine une carte où la « vallée » de la sécurité est incroyablement profonde et étroite.

Le conducteur, faisant confiance à cette carte, pense : « Oh non ! Je dois diriger fort et vite pour rester dans ce minuscule point de sécurité ! » Il tourne donc le volant au maximum. Il finit par conduire avec un « gain » (sensibilité de direction) qui est 15 fois plus grand que ce qui est réellement nécessaire. Il sur-corrige une tempête qui n'est pas aussi effrayante que la carte le laisse croire.

Le papier calcule cela avec précision. Au point où le conducteur aurait dû arrêter d'apprendre, la carte du passager indique que la « courbure » (la raideur de la vallée) est de 16,7. Mais la véritable courbure, s'ils pouvaient voir le monde entier, n'est que de 1,11. La carte est quinze fois trop abrupte ! Le conducteur suit cette erreur jusqu'au crash.

La magie de la projection dans le futur

Alors, comment corriger un conducteur qui est trompé par un passager avec une mauvaise carte ? Le papier trouve un « bouton » très spécifique à tourner.

Dans de nombreux algorithmes d'apprentissage, le passager ne regarde pas seulement l'étape suivante ; il regarde un peu plus loin dans le futur pour voir comment le score évolue. C'est ce qu'on appelle l'horizon de bootstrap (ou le paramètre $\lambda$ ).

Si le passager regarde seulement un pas en avant (un horizon court), il obtient une carte erronée et abrupte, et le conducteur s'écrase.
Si le passager regarde suffisamment loin devant lui — spécifiquement, assez loin pour couvrir le temps nécessaire aux nids-de-poule cachés pour agir — la carte se corrige elle-même.

Le papier démontre que si vous réglez ce temps de « projection » pour qu'il corresponde à la « mémoire » des nids-de-poule cachés, le conducteur s'arrête au point parfait. C'est comme dire au passager : « Ne devine pas seulement pourquoi la voiture rebondit en ce moment ; attends de voir si le rebond continue. Si c'est le cas, c'est la route. Si cela s'arrête, c'était juste une secousse. »

La surprise du Deep Learning

L'auteur n'a pas seulement fait des mathématiques sur papier ; il a testé cela avec le Deep Reinforcement Learning moderne (le type d'IA qui joue aux jeux vidéo). Il a donné à l'IA une « mémoire » en lui montrant les 32 dernières images de la vidéo, espérant que cela l'aiderait à voir les nids-de-poule cachés.

Voici le résultat surprenant : Donner de la mémoire à l'IA n'a pas aidé.
Même avec un historique vidéo, si le « bouton » de projection était mal réglé, l'IA s'écrasait quand même. Peu importait que l'IA ait un cerveau sophistiqué ou une banque de mémoire ; si la règle d'apprentissage (la carte du passager) était biaisée, l'IA suivait le biais.
Cependant, lorsqu'ils ont tourné le bouton de projection vers le bon réglage, l'IA a trouvé la bonne solution, même sans la mémoire.

Le papier a également écarté d'autres idées. Ils ont vérifié si l'IA avait peut-être simplement besoin d'« explorer » davantage (essayer des mouvements aléatoires) pour corriger le problème. Ils ont maintenu la quantité de bruit aléatoire constante et ont constaté que cela n'avait aucune importance ; le problème résidait toujours dans le réglage de la projection. Ils ont aussi vérifié si l'IA devait simplement arrêter d'apprendre plus tôt, mais les mathématiques ont montré que le problème était structurel, et non une question de timing.

L'essentiel à retenir

La conclusion principale est un choc par rapport à notre façon habituelle de penser l'IA. Nous blâmons souvent la partialité de l'observation (la cécité) sur le fait que le cerveau de l'IA n'est pas assez complexe pour se souvenir du passé. Ce papier dit : Non, le cerveau est correct. Le problème est que l'algorithme d'apprentissage interprète mal le bruit qu'il voit comme un signal, créant un faux sentiment de danger qui pousse l'IA à sur-réagir.

La solution n'est pas nécessairement de donner à l'IA un cerveau plus gros ou une meilleure mémoire. Il faut régler l'horizon de projection pour que l'IA attende suffisamment longtemps pour distinguer un vrai problème d'un simple incident temporaire. Si vous réglez correctement ce bouton, l'IA peut apprendre de la bonne manière, même si elle est aveugle. Si vous ne le faites pas, même l'IA la plus intelligente se conduira elle-même dans le ravin, convaincue qu'elle est en train de sauver le monde.

Résumé technique : L'apprentissage souffre davantage que la classe de politiques sous observabilité partielle

Énoncé du problème
Dans l'apprentissage par renforcement (RL) partiellement observable, les agents échouent souvent à trouver des politiques optimales. La sagesse conventionnelle attribue cela à l'écart de classe de politique (policy-class gap) : l'incapacité de la capacité de représentation de l'agent (par exemple, des politiques sans mémoire) à capturer une bonne politique car il ne peut pas observer l'état complet. Cet article remet en question cette vision en démontrant qu'un mode de défaillance distinct et plus important existe : l'écart d'apprentissage (learning gap). Il s'agit de la divergence entre la meilleure politique que l'agent peut représenter et la politique vers laquelle l'algorithme d'apprentissage converge réellement. L'auteur soutient que même lorsqu'une bonne politique existe au sein de la classe de représentation de l'agent et que l'approximateur de la fonction de valeur est théoriquement capable d'exprimer exactement la véritable fonction de valeur, les dynamiques d'apprentissage elles-mêmes introduisent un biais qui pousse l'agent vers un équilibre sous-optimal.

Méthodologie
L'auteur analyse un problème de contrôle linéaire-quadratique gaussien (LQG) résolvable et partiellement observé.

Environnement : Un système à deux dimensions où l'agent observe et contrôle la coordonnée $v$ , tandis qu'une coordonnée non observée $z$ pilote $v$ . L'état non observé agit comme un noyau de mémoire.
Algorithme d'apprentissage : Une paire acteur-critique standard.
- Critique : Utilise la différence temporelle (TD(0)) ou les moindres carrés TD (LSTD) avec des caractéristiques quadratiques $(1, v, v^2)$ . Crucialement, les véritables fonctions de valeur de ce problème sont quadratiques, ce qui signifie que la classe de caractéristiques est assez expressive pour représenter exactement la véritable fonction de valeur si l'état complet était observé. La limitation réside uniquement dans le fait que les caractéristiques sont calculées à partir de l'observation incomplète $v$ .
- Acteur : Suit le gradient de politique en utilisant les estimations de valeur du critique comme ligne de base (baseline).
Approche d'analyse : L'auteur dérive des expressions en forme close pour le point fixe du critique et la direction de mise à jour attendue de l'acteur. Il analyse l'équilibre de la mise à jour attendue (les « dynamiques moyennées ») plutôt que de s'appuyer uniquement sur des preuves de convergence stochastique, en vérifiant ces prédictions numériquement et via des expériences de RL profond.

Contributions clés et résultats

Mécanisme exact de défaillance (Le critique de confusion/aliasing) :
La découverte centrale est que l'écart d'apprentissage domine l'écart de classe de politique. Dans la configuration par défaut, la meilleure politique sans mémoire ne coûte que 10,4 % de plus que le contrôleur idéal à état complet. Cependant, l'apprenant acteur-critique converge vers une politique qui est 35 % moins bonne que cette meilleure politique sans mémoire.
- Mécanisme : Dans le régime stationnaire, l'état non observé $z$ équilibre l'entrée de commande en moyenne, faisant apparaître la coordonnée observée $v$ comme fluctuant tel une marche aléatoire. Le critique, restreint à des fonctions de $v$ seul, ne peut pas attribuer cette persistance à l'état caché. Par conséquent, il attribue à tort cette persistance inexpliquée à la courbure de la fonction de valeur.
- Résultat : Le critique rapporte une courbure de valeur (coefficient de $v^2$ ) qui est environ 15 fois plus grande que la véritable courbure conditionnelle. L'acteur, utilisant cette courbure gonflée comme ligne de base, est incité à augmenter le gain de commande indéfiniment jusqu'à ce que la courbure gonflée soit équilibrée par les coûts de commande, se fixant à un gain bien plus élevé que l'optimum.
Loi en forme close pour l'équilibre d'apprentissage :
L'auteur dérive une formule exacte pour le gain $k_{eq}$ auquel la mise à jour attendue s'annule.
- Le gain d'équilibre est inversement proportionnel à la période d'échantillonnage $h$ et dépend du rapport entre le bruit d'exploration et l'intensité de retard nul du noyau de mémoire ( $\sigma = s_e / \Theta K(0)$ ).
- À mesure que l'exploration disparaît, le gain d'équilibre approche la limite de stabilité du système de commande échantillonné.
- Cet emplacement dépend de la distribution de la perturbation (spécifiquement la structure de second ordre de la perturbation au carré), et non seulement de son autocovariance.
Loi en forme close pour le coût déployé :
Malgré l'emplacement incorrect de l'équilibre, le coût subi à ce point fixe est remarquablement robuste.
- Le coût déployé à l'équilibre d'apprentissage converge vers $r C(0)$ (où $r$ est le poids du coût de commande et $C(0)$ est l'autocovariance de retard nul de la perturbation).
- Cette loi de coût est indépendante de la distribution : elle est valable pour toute perturbation stationnaire, ergodique et continue au sens moyen du carré, qu'elle soit gaussienne, à queue lourde ou discrète (par exemple, un bruit de télegraphe).
- L'auteur démontre que si différentes distributions de perturbations déplacent l'emplacement de l'équilibre (le gain) d'un facteur de 3,4, le coût résultant reste presque identique.
L'horizon de bootstrap comme solution :
L'article identifie un choix de conception unique qui élimine la pathologie : l'horizon de bootstrap (contrôlé par le paramètre $\lambda$ dans les $\lambda$ -retours).
- Le TD(0) standard ( $\lambda=0$ ) ne regarde qu'un pas en avant, menant à l'équilibre de confusion (aliased equilibrium).
- À mesure que $\lambda$ augmente, l'horizon s'étend. L'auteur montre que l'équilibre migre continuellement vers l'optimum de la classe de politique lorsque l'horizon correspond à la mémoire de l'environnement.
- La transition est nette : augmenter $\lambda$ de 0,98 à 0,99 réduit le coût excédentaire d'environ 30 % à 1,5 %.
Validation par l'apprentissage par renforcement profond :
Des expériences utilisant PPO avec des MLP confirment les prédictions théoriques.
- Indépendance de l'architecture : L'ajout de mémoire via l'empilement de cadres (frame stacking, observant les 32 cadres passés) n'aide pas. Les agents avec empilement présentent le même comportement de confusion que les agents sans mémoire à bas $\lambda$ et la même récupération à haut $\lambda$ . Cela suggère que avoir l'historique en entrée est insuffisant ; l'algorithme d'apprentissage doit utiliser efficacement cet historique via l'horizon de bootstrap.
- Tests pré-enregistrés : L'auteur a pré-enregistré des expériences pour exclure d'autres explications, telles que l'effondrement du bruit d'exploration appris ou un effet de seuil de l'amplitude d'exploration. Ces hypothèses ont été réfutées ; l'échec persiste même avec un bruit d'exploration fixe, et aucun seuil d'exploration n'empêche le déplacement.

Signification et revendications
L'article prétend fournir la première caractérisation exacte et en forme close de la manière dont l'observabilité partielle biaise l'apprentissage acteur-critique, séparant les limites de la représentation des limites de la règle d'apprentissage.

Portée modeste : L'auteur précise explicitement qu'il ne prouve pas la convergence des itérés stochastiques vers le point fixe, mais seulement que la mise à jour attendue s'annule là, et que les exécutions stochastiques suivent la trajectoire moyennée (avec un retard).
Limitations spécifiques : La loi de localisation est prouvée pour les perturbations gaussiennes ; la loi de coût est indépendante de la distribution. L'auteur conjecture que la loi de localisation dépend de la structure de second ordre de la perturbation au carré pour les cas non-gaussiens, mais ne prétend pas l'avoir prouvé de manière générale.
Implication pratique : La principale conclusion est que dans les contextations partiellement observables, augmenter simplement la capacité du modèle ou ajouter de la mémoire d'entrée (comme le frame stacking) est insuffisant pour corriger les échecs d'apprentissage. Au lieu de cela, les praticiens doivent ajuster l'horizon de bootstrap ( $\lambda$ ) pour qu'il dépasse la mémoire de la dynamique non observée de l'environnement.

L'article conclut que l'« écart d'apprentissage » est une source de sous-optimalité distincte et souvent plus importante que l'« écart de classe de politique », causée par l'incapacité du critique à distinguer la persistance de l'état non observé de la courbure de la fonction de valeur.

Le conducteur aux yeux bandés et la carte erronée

Pourquoi le passager ment

La magie de la projection dans le futur

La surprise du Deep Learning

L'essentiel à retenir

Articles similaires