📊 statistics

Auditing the Risk Claims of Distributional Reinforcement Learning

Cet article présente un cadre d'audit démontrant que les affirmations sensibles au risque des agents d'apprentissage par renforcement distributionnel entraînés sont largement des artefacts structurels de l'entraînement plutôt que des reflets précis de la stochasticité de l'environnement, rendant leurs conseils en matière de risque peu informatifs et souvent préjudiciables à la prise de décision.

Auteurs originaux : Hari Prasad

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hari Prasad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez construit un robot joueur super intelligent qui ne se contente pas de deviner combien de points il obtiendra, mais qui prédit en réalité l'intégralité des futurs possibles. C'est comme un prévisionniste météo qui ne se contenterait pas de dire « il pourrait pleuvoir », mais qui dessinerait une carte détaillée montrant exactement où la pluie tombera, avec quelle intensité elle frappera et où le soleil pourrait pointer le bout de son nez. Ce robot, appelé un agent d'Apprentissage par Renforcement Distributionnel, est censé être le meilleur ami des amateurs de risques. Il est conçu pour repérer quand un mouvement est un pari sûr et ennuyeux et qu'un autre est un pari fou, même s'ils promettent le même score moyen.

Mais voici le rebondissement : la « carte des risques » du robot est principalement une hallucination.

Le Grand Audit

Les auteurs de cet article ont décidé de jouer les détectives. Ils ont posé une question simple : Quand ce robot affirme : « Hé, ce mouvement est risqué et celui-là est sûr », dit-il la vérité ?

Pour le découvrir, ils n'ont pas simplement fait confiance à la parole du robot. Ils ont construit une « machine à vérité ». Ils ont pris des instantanés du monde du jeu, ont figé le temps, puis ont rejoué le même moment des milliers de fois avec différentes graines aléatoires (comme lancer des dés encore et encore) pour voir ce qui se passe réellement. Ils ont comparé les prédictions sophistiquées du robot contre cette montagne de données réelles.

Le résultat choc : de 40 % à 95 % du « risque » est faux

L'audit a révélé un problème massif. Dans les jeux testés (MinAtar, une version miniature des jeux d'arcade classiques), entre 40 % et 95 % des affirmations les plus fortes du robot concernant le risque étaient totalement fausses.

Voyez cela de cette façon : le robot se tient dans un couloir, pointant deux portes. Il hurle : « La porte A est sûre ! La porte B est un piège ! » Mais quand les auditeurs ont ouvert les portes et sont passés à travers 2 000 fois, ils ont découvert que les deux portes menaient exactement à la même pièce. Le robot ne voyait pas de différence ; il en inventait une.

Les affirmations « de pointe » sont les pires : Plus le robot était confiant quant à une différence de risque, plus il était susceptible de mentir. Dans les 2 % de ses moments les plus « risqués », jusqu'à 95 % des affirmations ont été réfutées.
Ce n'est pas qu'un simple glitch : Ce n'est pas un bug qui survient lorsque le robot est fatigué ou en phase d'apprentissage. Les auteurs ont vérifié le robot à différentes étapes de sa vie. Les fausses affirmations de risque étaient déjà pleinement formées après seulement 500 000 étapes d'entraînement et sont restées ainsi même lorsque le robot est devenu deux fois meilleur dans le jeu.
Ce n'est pas la faute du jeu : Le robot n'était pas confus par un jeu difficile. Lorsque les auteurs l'ont testé sur un jeu spécial, fabriqué sur mesure, où les risques étaient réels et clairement définis (un « RISKYGRID »), le robot a réussi 96 à 100 % du temps. Cela prouve que le robot peut voir le risque, mais dans les vrais jeux d'arcade, il voit des fantômes.

Pourquoi cela arrive-t-il ?

L'article écarte plusieurs choses que l'on pourrait supposer :

Ce n'est pas parce que le robot est « mauvais » au jeu. Même un robot presque parfait, pré-entraîné (entraîné sur 10 millions de frames de données), a succombé au même piège.
Ce n'est pas parce que le robot est « mal calibré » (comme un thermomètre qui est toujours décalé de 5 degrés). Si vous aviez essayé de « corriger » le robot par un recalibrage, la seule façon de le faire réussir le test aurait été de lui faire dire absolument rien. Le robot n'est pas seulement légèrement erroné ; il est peu informatif. C'est comme une boussole qui tourne follement ; vous ne pouvez pas simplement l'« ajuster » pour qu'elle pointe le Nord car elle n'a aucun sens magnétique pour commencer.
Ce n'est pas un manque de données. Le robot a vu des milliers d'exemples, mais le « risque » qu'il a appris était un artefact structurel de la manière dont il a été entraîné, et non une caractéristique du jeu lui-même.

Le danger : Agir sur les mensonges

Voici la partie effrayante. Si vous étiez un joueur humain utilisant les conseils de ce robot pour prendre des décisions, vous seriez dans l'embarras.

Dans un jeu (Breakout), les conseils du robot étaient réellement utiles.
Dans un autre (Seaquest), suivre ses conseils vous rendait trois fois pire qu'en ignorant simplement le risque.
Dans un troisième (Asterix), c'était pratiquement pile ou face.

Le pire ? Il est impossible de savoir quel jeu est lequel. Le robot vous donne un « score de risque », mais ce score ne vous dit rien sur le fait que le conseil soit un salut salvateur ou une sentence de mort. C'est comme avoir une application météo qui prédit parfois une tornade et parfois une journée ensoleillée, mais l'application ne vous donne aucun indice sur la véracité de sa prédiction.

L'essentiel

L'article conclut que, pour les robots testés, le « risque » qu'ils voient est un artefact d'entraînement — un fantôme dans la machine. C'est un motif que le robot a appris à dessiner à cause de ses mathématiques, et non parce que le monde est réellement dangereux de cette manière.

Les auteurs sont très clairs : Ne faites pas confiance aux cartes de risque de ces robots à la lettre. Si vous voulez utiliser ces agents pour des tâches critiques en termes de sécurité (comme les voitures autonomes), vous devez d'abord les auditer. D'ici là, le « risque » du robot n'est qu'un mensonge très convaincant et très assuré.

Résumé technique : Auditer les revendications de risque de l'apprentissage par renforcement distributionnel

Énoncé du problème

L'apprentissage par renforcement (RL) distributionnel remplace les fonctions de valeur scalaires par des distributions de rendement complètes ( $Z^\pi(s, a)$ ). Bien que ces distributions aient stimulé les performances de pointe et soient de plus en plus utilisées pour l'interprétabilité, le contrôle sensible au risque (par exemple, via la Valeur à Risque Conditionnelle, CVaR) et la surveillance de la sécurité, elles sont souvent interprétées au « premier degré ». L'hypothèse centrale est que si la distribution apprise pour une action diffère de forme d'une autre (par exemple, promettant un petit rendement sûr contre un pari de moyenne égale), l'environnement contient réellement cette structure de risque spécifique.

Cependant, les travaux théoriques suggèrent que ces distributions ne coïncident pas nécessairement avec la véritable distribution de rendement (par exemple, l'apprentissage de type Quantile Temporal-Difference converge vers des points fixes non uniques). De plus, les méthodes distributionnelles améliorent souvent les performances même lorsque seule la moyenne est utilisée, ce qui suggère que les distributions apprises peuvent être des représentations utiles sans être factuellement exactes. La lacune critique identifiée est l'absence de mesure directe : Les revendications de risque spécifiques faites par un agent distributionnel entraîné sont-elles vraies ? Les métriques de divergence agrégées ne parviennent pas à distinguer les erreurs qui comptent pour la prise de décision de celles qui ne comptent pas. Cet article traite de la question de savoir si le « risque » reflété dans la tête d'un agent entraîné est une caractéristique réelle de l'environnement ou un artefact d'entraînement.

Méthodologie

Les auteurs proposent un cadre d'audit pertinent pour la décision combinant une métrique de filtrage, la génération de vérité de terrain et un harnais statistique pour éviter les conclusions erronées.

1. Métrique d'audit pertinente pour la décision

L'audit se concentre sur l'écart de Wasserstein excédentaire ( $\Delta_x(s)$ ) entre les deux meilleures actions à un état donné $s$ , classées par leurs rendements moyens.
$\Delta_x(s) = W_1(Z(s, a_1), Z(s, a_2)) - |\mu_1(s) - \mu_2(s)|$
Où $W_1$ est la distance de 1-Wasserstein entre les représentations quantiles des deux actions, et $\mu$ représente leurs rendements moyens.

Signification : $\Delta_x(s) > 0$ se produit si et seulement si aucune des deux actions ne domine stochastiquement l'autre au premier ordre. C'est la condition précise sous laquelle une politique sensible au risque dévierait d'une politique gourmande en moyenne. Ainsi, $\Delta_x$ isole les revendications qui portent un contenu décisionnel.

2. Vérité de terrain via Monte Carlo par redémarrage de cliché (Snapshot-Restart)

Pour vérifier les revendications, les auteurs génèrent la vérité de terrain en :

Collectant des états uniques de l'agent entraîné.
Stockant des copies profondes (clichés) de l'environnement à ces états.
Effectuant 2 000 rollouts par action à partir de chaque cliché, forçant l'action spécifique et suivant la politique gourmande jusqu'à la terminaison.
Crucialement, chaque copie redémarrée est re-semée de manière indépendante pour s'assurer que les rollouts capturent la stochasticité environnementale réelle (incertitude aléatoire) plutôt que de rejouer des futurs identiques.

3. Harnais statistique

Pour empêcher l'audit de fabriquer de fausses conclusions, les auteurs emploient :

Nulles de permutation : Établir une base pour le bruit d'estimation en divisant les rollouts d'une seule action.
Réfutation par Bootstrap : Une revendication est réfutée si le $\Delta_x(s)$ appris dépasse le 97,5e percentile de la distribution excédentaire de Monte Carlo (MC).
Contrôle du FDR : Utilisation de la procédure Benjamini-Hochberg pour contrôler le taux de fausses découvertes (False Discovery Rate) à travers les états.
Indice d'aliasing : Une métrique pour signaler les états où l'observabilité partielle pourrait masquer l'état réel de l'environnement.

4. Traitement des pièges silencieux

Le papier documente deux modes de défaillance spécifiques dans les évaluations basées sur le redémarrage qui produisaient auparavant des audits convaincants mais erronés :

P1 (Clonage RNG) : L'utilisation de deepcopy sur les environnements clone souvent le générateur de nombres aléatoires interne, provoquant des rollouts « aléatoires » qui rejouent des futurs identiques. Cela crée un faux sentiment de déterminisme.
P2 (Plancher de bruit de Wasserstein empirique) : Pour des échantillons finis provenant de la même distribution, la distance de Wasserstein empirique converge vers une valeur non nulle ( $O(n^{-1/2})$ ). Un seuillage naïf peut « confirmer » du bruit pur comme étant un arbitrage de risque. L'audit se calibre par rapport aux nulles par état pour tenir compte de cela.

Résultats clés

1. Les revendications les plus fortes sont majoritairement fausses

Sur QR-DQN, C51 et IQN sur MinAtar (Breakout, Seaquest, Asterix) et un QR-DQN pré-entraîné de la SB3-zoo sur l'Atari complet :

Taux de réfutation : Dans les 2 % supérieurs des classements de risque de l'agent lui-même (les états qu'un praticien signalerait en premier), 40 à 95 % des arbitrages de risque revendiqués sont réfutés avec une confiance de 95 %.
Confirmations nulles : À travers 735 états audités dans MinAtar, quasiment aucune revendication n'est confirmable après correction du FDR.
Indistinguabilité aveugle à la vérité : Le placement des revendications les plus fortes est statistiquement indiscernable d'une tête « aveugle à la vérité » (où les magnitudes des revendications sont préservées mais assignées aléatoirement aux états). La corrélation entre l'excès appris et l'excès réel est proche de zéro ( $r \approx 0,02$ ).

2. Nature structurelle de l'artefact

Formation précoce : L'artefact de sur-revendication est pleinement formé dès 500k étapes d'entraînement et persiste même lorsque le score de l'agent double.
Idiosyncrasie de la graine (Seed) : Les revendications fausses spécifiques sont uniques à chaque graine aléatoire et ne sont pas corrélées avec la performance finale.
États condamnés : Dans les états où la balle est irrémédiablement perdue (chaque futur produit le même rendement), la tête de l'agent rapporte toujours des distributions larges et croisées avec un $\Delta_x$ élevé.

3. Impact au niveau de la décision

Agir sur les conseils de CVaR de l'agent dans ses états les plus signalés donne des résultats mixtes et imprévisibles :

Breakout : Le conseil est véritablement informatif (81 % de choix plus sûr contre 44 % pour le greedy en moyenne).
Seaquest : Le conseil est anti-prédictif, choisissant l'action réellement plus sûre seulement 24 à 34 % du temps (pire que le hasard), triplant le regret par rapport à l'ignorance du risque.
Asterix : Le conseil est l'équivalent d'un pile ou face.
Aucun signal observable ne permet de dire au praticien dans quel régime il se trouve.

4. Échec des réparations

Les remèdes standards ne corrigent pas le problème :

Entraînement sensible au risque : Entraîner un agent pour être gourmand en CVaR produit la même signature de sur-revendication.
Ensemble : La moyenne des fonctions quantiles atténue l'artefact mais ne calibre pas les revendications de haut niveau.
Recalibrage : Le recalibrage réussit l'audit uniquement en annulant les revendications (en les faisant s'effondrer vers le bruit), prouvant que la tête est non informative, et non simplement mal calibrée.

5. Contrôles positifs

Pour s'assurer que l'audit lui-même n'est pas défectueux, les auteurs l'ont testé sur RISKYGRID, un environnement avec des arbitrages de risque connus.

L'audit a correctement confirmé 96 à 100 % des revendications réelles avec une forte corrélation ( $r \approx 0,92$ ).
Cela confirme que l'audit mesure l'incapacité des agents à capturer le risque, et non un échec de la méthodologie d'audit ou des tailles d'effet limitées dans MinAtar.

Signification et revendications

Le papier conclut que pour les agents testés (QR-DQN, C51, IQN), le « risque » appris reflète un artefact structurel d'entraînement plutôt qu'une stochasticité de l'environnement.

La « malédiction du vainqueur » du risque : Les états où l'agent est le plus confiant concernant un arbitrage de risque (plus haut $\Delta_x$ ) sont précisément ceux où les revendications sont les moins fiables.
Têtes non informatives : Les têtes distributionnelles ne sont pas seulement mal calibrées ; elles sont non informatives concernant la structure du risque. Elles confondent l'incertitude aléatoire et l'incertitude épistémique d'une manière qui produit des signaux de risque spécieux.
Implications pour la pratique :
1. Interprétabilité : Les distributions de rendement visualisées ne doivent pas être crues sans validation par une vérité de terrain.
2. Sécurité et contrôle : Les politiques sensibles au risque dérivées des fonctions quantiles brutes peuvent agir sur un risque spécieux à des états critiques, menant potentiellement à de pires résultats que les baselines gourmandes en moyenne.
3. Travaux futurs : Toute méthode prétendant estimer l'incertitude ou le risque doit être évaluée par un audit au niveau de la décision. Les auteurs publient un outil et une norme : une tête passant l'audit doit confirmer ses principales revendications.

Les auteurs insistent sur la modestie : leurs affirmations couvrent des algorithmes et environnements spécifiques (MinAtar, graines Atari spécifiques). Ils reconnaissent que d'autres variantes calibrées ou d'autres agents entraînés sous différentes conditions (par exemple, actions collantes à pleine échelle) restent à tester, mais les preuves actuelles suggèrent que le « risque » dans le RL distributionnel standard est largement un artefact du processus d'apprentissage.