🤖 AI

Ensemble Elastic DQN: A Step Dependent Ensemble Approach for Reducing Overestimation in Deep Value-Based Reinforcement Learning

Cet article introduit l'Ensemble Elastic DQN (EEDQN), un algorithme d'apprentissage par renforcement basé sur la valeur qui combine des retours multi-étapes élastiques adaptatifs avec une agrégation d'ensemble dépendante de l'horizon afin de réduire efficacement le biais de surestimation et d'atteindre une performance supérieure à travers plusieurs environnements MinAtar.

Auteurs originaux : Adrian Ly, Richard Dazeley, Peter Vamplew, Francisco Cruz, Sunil Aryal

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adrian Ly, Richard Dazeley, Peter Vamplew, Francisco Cruz, Sunil Aryal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à jouer à un jeu vidéo. Le robot apprend en essayant des choses, en récoltant des points (récompenses) et en essayant de déterminer quels mouvements lui rapporteront le plus de points sur le long terme. C'est ce qu'on appelle l'Apprentissage par Renforcement (Reinforcement Learning).

La méthode spécifique dont traite cet article est appelée Deep Q-Network (DQN). Considérez le DQN comme un robot doté d'une « boule de cristal » capable de prédire si un futur mouvement sera avantageux. Cependant, cette boule de cristal présente un défaut : elle a tendance à être excessivement optimiste. Parce que le robot doit deviner le futur en se basant sur des données bruitées et imparfaites, il choisit parfois accidentellement la « meilleure » supposition parmi un groupe de mauvaises suppositions. C'est comme un étudiant qui passe un examen à choix multiples et qui, par pure chance, coche le chiffre le plus élevé sur la feuille de réponses, même s'il ne connaît pas vraiment la réponse. Cela conduit le robot à surestimer ses capacités, à prendre de mauvaises décisions et à s'enfermer dans une boucle de mauvaises performances.

Cet article présente une nouvelle solution appelée Ensemble Elastic DQN (EEDQN). Voici comment cela fonctionne, décomposé en concepts simples :

1. Le « Comité » contre le « Loup Solitaire » (Apprentissage d'Ensemble)

Le DQN standard utilise une seule « boule de cristal » (un seul réseau de neurones) pour faire des prédictions. L'EEDQN utilise un comité de cinq boules de cristal différentes (un ensemble de réseaux).

Le Problème : Si vous demandez une prédiction à une seule personne, elle peut se tromper lablement.
La Solution : Si vous demandez à cinq personnes, vous pouvez faire la moyenne de leurs réponses pour obtenir un résultat plus fiable. Cependant, l'article a découvert que le simple fait de faire la moyenne ne suffit pas toujours à empêcher le robot d'être trop optimiste.

2. Le « Élastique Extensible » (Retours Multi-Étapes Élastiques)

Habituellement, les robots apprennent en regardant juste le prochain pas (comme faire un pas en avant et voir si l'on trébuche). Parfois, il est préférable de regarder plus loin, comme planifier tout un itinéraire.

L'Ancienne Méthode : Les méthodes précédentes utilisaient une distance fixe pour regarder vers l'avant (par exemple, toujours regarder 5 étapes en avant). C'est rigide.
La Nouvelle Méthée (Élastique) : L'EEDQN utilise un « élastique extensible ».
- Si le robot se déplace dans une partie sûre et prévisible du jeu, l'élastique s'étire, permettant au robot de regarder loin dans le futur pour apprendre plus vite.
- Si le robot rencontre une partie chaotique ou changeante du jeu, l'élastique se rétracte, afin de ne pas être confus par des prédictions à long terme erronées.
- L'Amélioration de l'Article : La version originale de cet « élastique » était lourde et lente car elle utilisait des mathématiques complexes (clustering) pour décider quand s'étirer. L'EEDQN remplace cela par une règle légère : il vérifie simplement si la valeur prédite de l'endroit actuel est très différente de celle de l'endroit suivant. Si elles sont différentes, il arrête de s'étirer. Cela rend le robot beaucoup plus rapide et facile à exécuter.

3. L'« Agrégation Intelligente » (La Recette Secrète)

C'est la partie la plus créative de l'article. Les auteurs ont réalisé que le comité de boules de cristal devrait s'exprimer différemment selon la distance à laquelle le robot regarde dans le futur.

Regarder l'étape immédiatement suivante (Courte distance) : Le comité doit faire la moyenne de leurs opinions. Cela permet au robot de rester confiant et d'avancer sans être trop craintif.
Regarder loin dans le futur (Longue distance) : Le comité doit prendre l'opinion la plus minimale (la plus pessimiste).
- L'Analogie : Imaginez la planification d'un voyage routier.
  - Pour le prochain tournant, vous faites confiance à la moyenne des conseils du groupe.
  - Mais pour un voyage à 500 miles de là, vous écoutez la personne la plus prudente du groupe. Pourquoi ? Parce que plus on regarde loin, plus il est probable que notre « boule de cristal » soit erronée et excessivement optimiste. En écoutant la personne qui prévoit le « pire scénario » pour les plans à long terme, on empêche le robot de se faire de fausses idées sur des récompenses impossibles.

Qu'ont-ils découvert ?

Les chercheurs ont testé ce nouveau robot sur cinq mini-jeux (environnements MinAtar).

Le Résultat : L'EEDQN a gagné ou a terminé à égalité pour la première place dans quatre des cinq jeux.
Le Diagnostic : Ils ont vérifié les chiffres de la « boule de cristal » du robot et ont constaté que les robots standards prédisaient des scores physiquement impossibles (comme prédire que vous obtiendrez 1 000 points alors que le jeu n'en permet que 100). L'EEDQN a maintenu ces chiffres réalistes et sous contrôle.
La Leçon : Il n'existe pas de règle « taille unique ». Dans certains jeux, être très prudent (écouter le minimum) fonctionnait mieux. Dans d'autres, un mélange était préférable. Mais le point clé est que combiner l'« élastique extensible » avec un « comité intelligent » fonctionne mieux qu'utiliser l'une ou l'autre de ces astuces seule.

Résumé

L'article présente une manière plus intelligente pour l'IA d'apprendre les jeux vidéo. Il corrige le problème de l'excès de confiance de l'IA en :

Utilisant une équipe de cerveaux d'IA au lieu d'un seul.
Utilisant une chronologie extensible pour décider de l'horizon de prédiction.
Faisant en sorte que l'équipe change sa façon de voter en fonction de la distance regardée (faire la moyenne pour le court terme, choisir la prédiction la plus prudente pour le long terme).

Cela permet à l'IA d'apprendre plus vite, de rester plus stable et d'éviter le piège de la surestimation de ses propres capacités.

Résumé Technique : Ensemble Elastic DQN (EEDQN)

Énoncé du Problème

Les réseaux de Deep Q-Networks (DQN) et d'autres algorithmes d'apprentissage par renforcement basés sur la valeur souffrent fréquemment d'un biais de surestimation. Cela se produit car les cibles de bootstrap utilisent une opération de maximisation sur des estimations de valeurs bruitées, permettant aux erreurs positives d'être sélectionnées et propagées à travers les mises à jour successives. Cette inflation des valeurs Q peut induire l'agent en erreur lors de la sélection d'actions, l'inciter à revisiter des régions de l'espace état-action surestimées et contribuer à une convergence vers des politiques sous-optimales.

Bien que les méthodes basées sur des ensembles (ex. : Averaged DQN, MaxMin DQN) et les méthodes multi-étapes (ex. : Rainbow, Elastic Step DQN) aient indépendamment montré des promesses pour améliorer la stabilité et l'efficacité d'échantillonnage, leur interaction reste peu explorée. Combiner ces approches est non trivial ; si l'agrégation par ensemble peut réduire la surestimation, l'application d'une agrégation conservatrice de manière uniforme sur toutes les cibles risque d'introduire un biais de sous-estimation. De plus, les méthodes multi-étapes adaptatives existantes, comme Elastic Step DQN, reposent sur des tests de similitude par partitionnement (clustering) coûteux en calcul, ce qui limite leur scalabilité.

Méthodologie

Le papier propose l'Ensemble Elastic DQN (EEDQN), un algorithme basé sur la valeur qui intègre des retours multi-étapes élastiques adaptatifs avec une agrégation d'ensemble dépendante de l'horizon.

1. Mécanisme d'Étape Élastique Scalable

EEDQN modifie l'original Elastic Step DQN pour éliminer la surcharge de calcul liée au clustering. Au lieu d'utiliser le clustering de représentation pour déterminer la similitude d'état, EEDQN emploie une règle de différence de valeurs Q légère :

Il maintient un ensemble de $N$ réseaux cibles $\{\hat{Q}_i\}$ .
Il calcule le vecteur cible de la moyenne de l'ensemble $\bar{Q}^-(s, \cdot)$ .
Il calcule la différence $L_1$ ( $z$ ) entre les vecteurs cibles moyens de l'état de départ ( $s_0$ ) et de l'état suivant actuel ( $s'$ ).
Un seuil adaptatif ( $h$ ) est dérivé d'un tampon historique de valeurs $z$ récentes ( $h = \text{moyenne}(B) + \text{écart-type}(B)/\sqrt{|B|}$ ).
Si $z > h$ , la trajectoire est considérée comme ayant pénétré dans une nouvelle région de valeur, déclenchant le stockage du retour accumulé et la réinitialisation de l'accumulation. Sinon, les récompenses continuent de s'accumuler.

2. Agrégation d'Ensemble Dépendante de l'Horizon

Une innovation centrale de EEDQN est l'utilisation de différentes règles d'agrégation basées sur la longueur du retour accumulé (horizon $k$ ) :

Cibles à une étape ( $k=1$ ) : La valeur de bootstrap est calculée en utilisant la moyenne de l'ensemble. Cela empêche les cibles de devenir trop conservatrices, ce qui pourrait entraver l'apprentissage dans les régions où le bootstrapping est nécessaire.
Retours élastiques multi-étapes ( $k > 1$ ) : La valeur de bootstrap est calculée en utilisant le minimum de l'ensemble. Puisque les retours plus longs accumulent déjà une information de récompense significative avant le terme de bootstrap, l'utilisation du minimum réduit l'extrapolation optimiste extrême sans dominer la valeur cible complète.

La valeur cible $y$ est définie par :
$y = \begin{cases} R(k) & \text{si terminal} \\ R(1) + \gamma G_{\text{mean}}(s', a^*) & \text{si } k=1 \\ R(k) + \gamma^k G_{\text{min}}(s', a^*) & \text{si } k>1 \end{cases}$
où $a^*$ est l'action gourmande sélectionnée sur la base de la moyenne de l'ensemble.

Principales Contributions

Proposition d'Algorithme : Introduction de EEDQN, qui combine des retours multi-étapes élastiques adaptatifs avec une agrégation de cible basée sur des ensembles.
Amélioration de la Scalabilité : Remplacement du test de similitude par clustering de Elastic Step DQN par une règle de différence de valeurs Q légère, rendant la construction de retours adaptatifs plus applicable aux contextes de contrôle discrets.
Agrégation Dépendante de l'Horizon : Proposition d'une règle où les cibles à une étape utilisent la moyenne de l'ensemble tandis que les retours élastiques plus longs utilisent le minimum de l'ensemble, visant à équilibrer la réduction du biais optimiste avec la préservation de l'efficacité d'échantillonnage.
Évaluation Empirique : Évaluation complète par rapport à DQN, Double DQN, Averaged DQN, MaxMin DQN et Elastic Step DQN sur cinq environnements MinAtar.
Analyse d'Ablation : Investigation de diverses règles d'agrégation (moyenne, minimum, inversion et combinaisons convexes) pour analyser l'interaction entre le conservatisme de l'ensemble et la longueur du retour adaptatif.

Résultats Expérimentaux

EEDQN a été évalué sur cinq environnements MinAtar (Seaquest, SpaceInvaders, Asterix, Breakout, Freeway) en utilisant 10 graines aléatoires appariées.

Performance : EEDQN a obtenu le rendement final le plus élevé dans quatre des cinq environnements (SpaceInvaders, Asterix, Breakout, Freeway). Dans Seaquest, MaxMin DQN a été le plus performant, EEDQN arrivant en deuxième position.
Contrôle de l'Inflation de Valeur : Une métrique de diagnostic comparant les valeurs Q maximales observées par rapport à la borne supérieure du rendement actualisé théorique a montré que EEDQN et MaxMin DQN sont restés en dessous du seuil d'inflation dans tous les environnements. En revanche, DQN, DDQN, Averaged DQN et Elastic Step DQN ont dépassé cette borne dans au moins un environnement.
Résultats d'Ablation : Aucune règle d'agrégation unique n'a dominé tous les environnements.
- EEDQN (Moyenne pour $k=1$ , Minimum pour $k>1$ ) a été le plus performant dans Asterix, Breakout et Freeway.
- MinEEDQN (Minimum pour tous) a été le plus performant dans Seaquest, un environnement présentant de graves problèmes de surestimation.
- ConvexEEDQN2 (mélange 50/50) a été le plus performant dans SpaceInvaders.
- Cela suggère que le degré de conservatisme optimal dépend de l'environnement.

Signification et Revendications

Le papier affirme que EEDQN démontre avec succès que les retours multi-étapes adaptatifs et l'agrégation d'ensemble sont des mécanismes complémentaires pour réduire le biais de surestimation. Cependant, les résultats indiquent également qu'une stratégie d'agrégation "taille unique" est sous-optimale ; le degré de conservatisme optimal dépend des caractéristiques spécifiques de l'environnement.

Les auteurs positionnent EEDQN comme une approche basée sur la valeur légère qui étudie comment les règles d'agrégation doivent s'adapter à l'horizon de retour. Ils stipulent explicitement que la contribution ne réside pas simplement dans l'utilisation isolée d'ensembles ou de retours multi-étapes, mais dans l'étude d'une règle dépendante de l'horizon qui modifie l'opérateur d'agrégation en fonction de la longueur du retour adaptatif. Le papier conclut que bien que EEDQN améliore les lignes de base standards, des travaux futurs sont nécessaires pour étudier des règles d'agrégation adaptatives qui ajustent le compromis moyenne-minimum en ligne et pour évaluer la méthode sur des benchmarks plus larges comme le plein environnement d'apprentissage Atari.