🤖 machine learning

Performance Variation in Deep Reinforcement Learning

Cet article aborde le défi de la faible robustesse d'une exécution à l'autre dans l'apprentissage par renforcement profond en critiquant les estimations d'incertitude conventionnelles et en proposant des outils basés sur les percentiles (IPR min-max et mise en évidence des percentiles par exécution) pour mieux caractériser la variation de performance, lesquels sont ensuite utilisés pour démontrer comment des choix architecturaux et des conceptions algorithmiques spécifiques impactent différemment la stabilité à travers les variantes de PPO, SAC, TD-MPC et DQN.

Auteurs originaux : Haruto Tanaka, A. Rupam Mahmood

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haruto Tanaka, A. Rupam Mahmood

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un entraîneur formant une équipe d'athlètes (les algorithmes d'IA) à parcourir un parcours d'obstacles spécifique (la tâche du jeu vidéo ou du robot). Vous leur dites : « Parcourez ce circuit 100 fois, et je vous dirai si vous êtes bons. »

Dans le monde de l'apprentissage par renforcement profond (Deep Reinforcement Learning - RL), il existe un problème frustrant : même si vous donnez exactement les mêmes instructions à 100 athlètes identiques, leurs résultats peuvent être radicalement différents. L'un peut courir une course parfaite, tandis qu'un autre trébuche sur ses propres pieds. C'est ce qu'on appelle la variation de performance.

Cet article soutient que les scientifiques utilisent les mauvais outils pour mesurer cette incohérence, et propose deux nouveaux outils plus simples pour voir ce qui se passe réellement.

Le Problème : Le Mensonge de la « Moyenne »

Pendant longtemps, les chercheurs ont tenté de mesurer la cohérence d'un algorithme en regardant le résultat moyen et en traçant une « bande ombrée » autour de celui-ci (comme une marge d'erreur).

Les auteurs affirment que cela revient à regarder une prévision météorologique qui dit : « La température moyenne cette semaine sera de 21 °C », avec une petite bande ombrée. Cela semble agréable, mais cela cache le fait que lundi il faisait un froid glacial de -2 °C et que vendredi il faisait une chaleur écrasante de 38 °C.

La faille : Ces « bandes ombrées » (incertitude statistique) rétrécissent à mesure que vous réalisez davantage d'expériences, ce qui fait paraître l'algorithme plus cohérent qu'il ne l'est réellement. Elles échouent également à capturer les « valeurs aberrantes » (outliers) — les passages où l'IA échoue complètement.
L'analogie : Imaginez une cible de tir à l'arc. Si vous lancez 100 fléchettes, et que 90 touchent le centre mais que 10 touchent le plafond, la « moyenne » peut sembler excellente. Mais si vous êtes un inspecteur de sécurité, ce qui vous importe, ce sont ces 10 fléchettes qui ont touché le plafond. Les anciennes méthodes ignoreent les impacts au plafond.

La Solution : Deux Nouveaux Outils

Les auteurs proposent deux nouvelles façons de visualiser et de mesurer ce chaos :

1. Le « Min-Max IPR-90 » (Le filet de sécurité à 90 %)

Au lieu de regarder la moyenne, cet outil examine les 90 % centraux des résultats.

Comment ça marche : Imaginez que vous alignez tous les 100 athlètes, du moins bon au meilleur. Vous coupez les 5 % les plus mauvais (les catastrophes totales) et les 5 % les meilleurs (les miracles chanceux). Vous mesurez ensuite la distance entre le moins bon des « bons » coureurs et le meilleur des « bons » coureurs.
Pourquoi c'est meilleur : Ce chiffre vous indique l'« étalement » de la performance. Un petit nombre signifie que les athlètes courent tous à une vitesse similaire. Un grand nombre signifie que l'équipe est imprévisible. C'est un pourcentage simple qui ne se laisse pas tromper par des astuces mathématiques bizarres.

2. RPH (Run-Wise Percentile Highlighting) (Le « Best-of »)

Au lieu de dessiner un nuage de lignes désordonnées ou une bande ombrée, cette méthode met en évidence seulement trois lignes spécifiques sur un graphique :

Le 5e percentile (le « pire » des passages fiables).
Le 50e percentile (la « médiane » ou le passage typique).
Le 95e percentile (le « meilleur » des passages fiables).
Le visuel : Imaginez une piste de course. Au lieu de montrer le parcours de chaque coureur comme un flou grisâtre, vous mettez en évidence le coureur le plus lent mais fiable, le coureur moyen et le coureur le plus rapide et fiable en couleurs vives. Vous voyez instantanément l'ampleur de l'écart entre eux. Si l'écart est énorme, l'algorithme est instable.

Ce qu'ils ont découvert (Les études de cas)

Les auteurs ont testé ces nouveaux outils sur trois scénarios différents pour voir ce qu'ils révélaient :

1. L'expérience de la « Normalisation » (Réparer le moteur)
Ils ont tenté d'ajouter la « LayerNorm » (une technique pour stabiliser les calculs internes de l'IA) à deux algorithmes populaires : PPO et SAC.

Le résultat : Pour PPO, les nouveaux outils ont montré que l'ajout de ces stabilisateurs rendait les coureurs beaucoup plus cohérents (l'écart entre le 5e et le 95e percentile s'est réduit). Pour SAC, les outils ont montré que les stabilisateurs n'ont presque rien fait ; les coureurs étaient toujours éparpillés partout.
La leçon : Ce qui fonctionne pour un moteur ne répare pas nécessairement l'autre.

2. La comparaison des « Superstars » (PPO, SAC, TD-MPC, TD-MPC2)
Ils ont comparé quatre algorithmes différents sur 48 tâches robotiques différentes.

Le résultat : Un algorithme, TD-MPC, était le grand vainqueur. Il ne s'est pas contenté de gagner la course (scores élevés) ; il était aussi le plus cohérent. Son « étalement » était minuscule. Les autres étaient soit plus lents, soit très imprévisibles.
La leçon : Même l'IA moderne la plus performante a encore un taux d'échec élevé (environ 35 % du temps, le top 5 % des passages n'atteint toujours pas un score décent), mais TD-MPC était le plus fiable de la bande.

3. Le duel « Atari » (DQN vs Rainbow)
Ils ont comparé deux algorithmes classiques jouant à de vieux jeux vidéo (comme BattleZone et Qbert*).

Le résultat : Rainbow était bien meilleur pour gagner que DQN. Cependant, les nouveaux outils ont révélé une surprise : les deux algorithmes étaient tout aussi « agités » et imprévisibles l'un que l'autre. Rainbow était simplement un gagnant « agité », tandis que DQN était un perdant « agité ».
La leçon : Gagner plus souvent ne signifie pas que vous êtes plus stable.

L'essentiel

L'article conclut que nous devons arrêter de nous cacher derrière des chiffres de « moyenne » et des « bandes ombrées » qui font paraître l'IA plus stable qu'elle ne l'est. En utilisant le Min-Max IPR-90 (pour mesurer l'étalement) et le RPH (pour visualiser les meilleurs et les pires passages fiables), les chercheurs peuvent enfin voir la véritable « fragilité » de leur IA.

C'est comme passer d'un rapport météo qui ne donne qu'une température moyenne à un rapport qui vous montre clairement : « Cela peut être une journée parfaite, ou cela peut être un désastre. Voici l'étendue de ce à quoi vous devez vous attendre. »

Résumé technique : Variation de la performance en apprentissage par renforcement profond

Énoncé du problème

Les algorithmes d'apprentissage par renforcement profond (Deep RL) sont reconnus pour leur capacité à apprendre des comportements complexes, mais ils sont également réputés pour leur sensibilité de performance de type « loterie » entre des exécutions indépendantes d'agents configurés de manière identique. Cette variation de performance d'une exécution à l'autre entrave la rigueur scientifique en compliquant la reproduction des résultats, la comparaison équitable des algorithmes et le réglage des hyperparamètres. De plus, dans les applications pratiques, une telle variabilité pose des risques de sécurité, car des comportements inefficaces peuvent survenir de manière imprévisible.

Malgré l'importance de ce problème, les études empiriques de Deep RL négligent souvent la variation de performance au profit de mesures de performance agrégées. Les pratiques d'évaluation actuelles reposent lourdement sur :

Les estimations d'incertitude (par exemple, les intervalles de confiance par bootstrap de la moyenne interquartile, l'erreur type), qui mesurent l'écart entre les statistiques d'échantillonnage et les paramètres réels de la population plutôt que l'étalement de la distribution de performance elle-même. Ces métriques s'amenuisent à mesure que le nombre d'exécutions augmente ( $O(1/\sqrt{n})$ ), échouant ainsi à capturer la variabilité intrinsèque des données.
L'écart-type, qui suppose une distribution gaussienne. Cependant, les distributions de performance en Deep RL sont fréquemment non gaussiennes (asymétriques ou bimodales), ce qui conduit à une « sous-déclaration » du risque là où l'écart-type ne parvient pas à couvrir des portions significatives de la distribution, telles que les exécutions ratées ou les queues de distribution lourdes.

Les méthodes rigoureuses existantes, telles que les intervalles de tolérance (TI) ou les profils de performance, sont souvent coûteuses en calcul ou difficiles à interpréter pour une analyse de tâche unique. Il existe un besoin d'outils d'évaluation capables de capturer avec précision la variation de performance d'une tâche unique tout en restant interprétables et évolutifs.

Méthodologie

Les auteurs proposent une suite de méthodes de quantification et de visualisation conçues pour équilibrer précision et interprétabilité :

1. Min-Max IPR-90 (Quantification)

Le papier introduit l'IPR (Inter-Percentile Range) Min-Max du 5e au 95e percentile, normalisé par la plage min-max théorique ou empirique de la tâche.

Définition : $IPR = \frac{U(95) - U(5)}{M_T - m_T} \times 100\%$ , où $U(x)$ est le $x$ -ième percentile de l'ensemble de performance, et $M_T, m_T$ sont le maximum et le minimum de rendement possibles de la tâche.
Raisonnement : Contra contrairement à l'écart-type, les percentiles ne supposent pas de distribution spécifique des données. La plage 5e–95e (couverture de 90 %) est choisie pour évaluer le risque (en capturant l'étalement de la plupart des exécutions) tout en évitant la sensibilité extrême aux valeurs aberrantes que introduirait la plage complète (0–100 %).
Normalisation : La normalisation min-max permet une comparaison directe de la variation entre différents algorithmes et tâches ayant des échelles de récompense différentes.

2. Mise en évidence des percentiles par exécution (RPH) (Visualisation)

Pour visualiser les courbes d'apprentissage sans les risques de mauvaise représentation de l'agrégation temporelle (par exemple, les bandes de moyenne $\pm$ écart-type), les auteurs proposent la Mise en évidence des percentiles par exécution (Run-wise Percentile Highlighting - RPH).

Technique : Au lieu d'agréger les statistiques à chaque pas de temps, la RPH met en évidence les courbes d'apprentissage spécifiques correspondant aux 5e, 50e (médiane) et 95e percentiles de la performance finale.
Implémentation : Les courbes du 5e et du 95e percentile sont mises en évidence (par exemple, avec des lignes pointillées) pour accentuer l'enveloppe de variation, tandis que le 50e percentile représente la tendance centrale. Les autres courbes sont rendues avec de la transparence.
Avantage : Cela préserve la forme des courbes d'apprentissage individuelles et évite la « sous-déclaration » de la variation courante dans les bandes d'erreur ombrées. C'est plus simple à calculer et plus interprétable que les boîtes à moustaches fonctionnelles (Functional Boxplots - FB).

Contributions clés et études de cas

Le papier valide ces méthodes à travers trois études de cas utilisant 100 exécutions indépendantes par tâche :

Étude de cas 1 : Effet de la normalisation sur PPO et SAC

Les auteurs ont analysé l'impact de la LayerNorm et de la normalisation de la couche pénultième (PNorm) sur PPO et SAC.

Résultats : Dans le cas de PPO, l'application de ces techniques de normalisation (individuellement ou conjointement) a considérablement réduit la variation de performance (réduction de l'IPR-90 Min-Max) et a souvent amélioré la performance médiane. En revanche, pour SAC, ces modifications ont généralement laissé la variation de performance inchangée ou l'ont augmentée.
Implication : Les bénéfices de la normalisation sont spécifiques à l'algorithme ; ce qui stabilise PPO ne stabilise pas nécessairement SAC.

Étude de cas 2 : Comparaison d'algorithmes de contrôle continu (PPO, SAC, TD-MPC, TD-MPC2)

Une comparaison systématique a été menée sur 48 tâches du DeepMind Control Suite (DMC).

Résultats : TD-MPC et TD-MPC2 ont démontré une performance supérieure sur tous les indicateurs (moyenne, médiane, 5e/95e percentiles) par rapport à PPO et SAC. Crucialement, TD-MPC a présenté la plus faible variation de performance (IPR-90 Min-Max moyen $\approx$ 10 %) tout en maintenant une haute efficacité des données.
Observation : Malgré la faible variation de TD-MPC, un IPR-90 moyen de 10 % reste nettement supérieur aux $\approx$ 2 % observés pour les bases de l'apprentissage supervisé, indiquant que le Deep RL peine encore à obtenir une performance à faible variation constante.

Étude de cas 3 : Comparaison d'algorithmes de contrôle discret (DQN vs. Rainbow)

L'étude a comparé DQN et Rainbow sur cinq environnements Atari (ALE).

Résultats : Rainbow a nettement surpassé DQN en termes de performance médiane et de percentile. Cependant, les deux algorithmes ont présenté des niveaux de variation de performance similaires et élevés (IPR-90 Min-Max $\approx$ 14–23 %).
Implication : Bien que Rainbow améliore la performance globale par rapport à DQN, il ne résout pas le problème sous-jacent de la haute variabilité d'une exécution à l'autre.

Signification et affirmations

Le papier affirme que l'IPR-90 Min-Max et la RPH apportent un changement nécessaire dans la manière dont la performance en Deep RL est évaluée :

Correction du désalignement : Ils corrigent l'utilisation abusive des estimations d'incertitude (comme les intervalles de confiance) comme substituts de la variation.
Robustesse : En s'appuyant sur les percentiles plutôt que sur des hypothèses paramétriques (comme la gaussianité), ces méthodes fournissent un résumé plus précis de l'étalement de la performance, particulièrement pour les distributions non gaussiennes communes en RL.
Interprétabilité : La RPH offre une représentation visuelle claire du comportement par exécution, plus facile à interpréter que les boîtes à moustaches fonctionnelles et plus informative que les bandes d'erreur standard.
Aperçu pratique : Les outils proposés révèlent que les améliorations algorithmiques (par exemple, dans TD-MPC ou Rainbow) n'équivalent pas automatiquement à une réduction de la variation, soulignant que la « robustesse » demeure un objectif distinct et difficile en recherche de Deep RL.

Les auteurs concluent que, bien que ces méthodes soient efficaces, elles doivent être utilisées aux côtés d'autres outils statistiques pour fournir des informations complémentaires, car s'appuyer sur une seule statistique peut toujours être trompeur. Ce travail vise à aider la recherche future en fournissant un cadre plus rigoureux pour évaluer la fiabilité et la robustesse des agents de Deep RL.