Résumé technique : Apprentissage par renforcement profond cohérent sur le plan comportemental

Énoncé du problème

Les algorithmes d'apprentissage par renforcement (RL) présentent fréquemment une variance élevée entre différentes exécutions indépendantes d'entraînement. Bien que les métriques de performance finale (revenus) puissent sembler similaires, les politiques sous-jacentes divergent souvent considérablement dans leurs distributions comportementales. Ce manque de cohérence pose des défis pour l'évaluation scientifique, qui nécessite une moyenne sur de nombreuses graines, et pour le déploiement pratique, où des processus itératifs tels que la conception de récompenses, le débogage et la validation de la sécurité deviennent peu fiables si des conditions identiques produisent des comportements qualitativement différents. Les travaux existants ont largement traité cette variabilité comme du bruit à moyenner, plutôt que comme une propriété à contrôler explicitement.

Méthodologie

Fondement théorique

Les auteurs formalisent le RL cohérent sur le plan comportemental (BRL), un objectif visant à apprendre des politiques à la fois performantes et distribuées de manière similaire entre différentes exécutions indépendantes. L'insight théorique central repose sur le RL à entropie maximale (MaxEnt). En régularisant les politiques vers une prior commun (spécifiquement, une prior uniforme dans MaxEnt), l'espace des politiques est contraint.

L'article établit un lien théorique entre la divergence des politiques et le désaccord de la fonction Q :

1. Théorème 4.1 : Pour les politiques de Boltzmann, si le paramètre de température $\alpha(s)$ est défini proportionnellement au désaccord ponctuel entre deux vecteurs de valeurs Q ($\|Q^{(1)} - Q^{(2)}\|_\infty$), la divergence de Kullback-Leibler (KL) entre les politiques induites est bornée. Plus précisément, le réglage $\alpha(s) = \max(\alpha_{min}, \frac{\|Q^{(1)} - Q^{(2)}\|_\infty}{\kappa})$ garantit $D_{KL}(\pi^{(1)} \|\pi^{(2)}) \leq 2\kappa$.
2. Théorème 4.2 : L'utilisation de cette température échelonnée par le désaccord dans l'itération de valeur douce permet à des exécutions couplées de converger vers un voisinage de la fonction Q optimale non régularisée, la borne d'erreur étant contrôlée par le plancher de température $\alpha_{min}$ et le désaccord initial.

Algorithme pratique : Désaccord d'espérance des valeurs Q (QED)

Accéder directement aux fonctions Q d'autres exécutions indépendantes est peu pratique. Pour y remédier, les auteurs proposent le Désaccord d'espérance des valeurs Q (QED), qui utilise un proxy d'une seule exécution pour le désaccord inter-exécutions.

• Proxy à double critique : QED exploite l'astuce du « double Q », utilisant deux réseaux de neurones critiques ($Q_{\theta_1}, Q_{\theta_2}$) entraînés en parallèle. Les auteurs émettent l'hypothèse que le désaccord entre ces deux critiques au sein d'une seule exécution sert de proxy représentatif du désaccord qui existerait entre deux exécutions indépendantes.
• Agrégation par espérance : Pour éviter la nature adversariale de la maximisation sur toutes les actions (qui pourrait mettre en évidence des erreurs d'extrapolation sur des actions hors distribution), QED calcule une espérance supérieure des différences absolues entre les deux critiques sur des actions échantillonnées à partir de la politique actuelle.
• Température adaptative : La température $\alpha_{QED}(s)$ est ajustée dynamiquement en fonction de ce désaccord d'espérance :
  $$\alpha_{QED}(s) = \text{clip}\left( \frac{e\Delta(s)}{k \cdot d}, \alpha_{min}, \alpha_{max} \right)$$
  où $e\Delta(s)$ est le désaccord d'espérance, $k$ est un hyperparamètre contrôlant le compromis, et $d$ est la dimension de l'action.
• Gestion de l'instabilité hors politique : L'article note que l'augmentation naïve de l'entropie peut amplifier les erreurs d'extrapolation hors politique, conduisant à un effondrement de l'entraînement. Pour atténuer cela, QED est évalué sur des algorithmes spécifiquement conçus pour gérer les décalages de distribution : SAC-LN (Soft Actor-Critic avec normalisation de couche) et MAD-SAC (SAC augmenté par modèle de données).

Contributions clés

1. Formalisation du BRL : Introduction du cadre de l'apprentissage par renforcement cohérent sur le plan comportemental, présentant la cohérence comportementale comme un objectif central parallèlement à la maximisation du revenu.
2. Lien théorique : Démonstration d'une relation entre la divergence des politiques et le désaccord des critiques dans le RL MaxEnt, montrant que l'échelonnement de la température par le désaccord borne la divergence KL entre les politiques.
3. Identification des défis hors politique : Illustration de la manière dont le RL MaxEnt à haute entropie peut exacerber les erreurs d'extrapolation hors politique, conduisant à un effondrement fonctionnel de la politique si cela n'est pas géré par des algorithmes de base stables.
4. Algorithme QED : Proposition de QED, une méthode pratique pour le réglage adaptatif de l'entropie qui utilise le désaccord des critiques d'une seule exécution pour induire une cohérence comportementale inter-exécutions.

Résultats expérimentaux

Les auteurs ont évalué QED sur 18 tâches de contrôle continu issues de la suite dm_control, en utilisant 10 graines aléatoires par tâche.

• Réduction de la divergence : QED a réduit la divergence paire des politiques (mesurée par la KL symétrique) de deux ordres de grandeur par rapport au réglage d'entropie standard (par exemple, SAC avec entropie cible).
• Préservation de la performance : Dans la plupart des cas, QED a maintenu des revenus normalisés compétitifs. Pour des divergences KL très faibles, une légère réduction du revenu (au maximum 5 %) a été observée, attribuée à une perte temporaire d'efficacité d'échantillonnage alors que l'algorithme explore plus longtemps pour réduire l'incertitude de la fonction Q.
• Réduction de la variance : Sur la base MAD-SAC, QED a réduit la variance des revenus (mesurée par la largeur des intervalles de confiance bootstrap à 95 %) d'environ 50 %.
• Cohérence comportementale : Des visualisations qualitatives (par exemple, cheetah_run) et des métriques quantitatives (distance cumulative L2 des actions) ont confirmé que QED produit des politiques avec des comportements visiblement et statistiquement similaires entre les exécutions, tandis que l'entraînement standard produit des modes comportementaux distincts (par exemple, différents schémas de saut ou de marche).
• Tâches à haute variance : Sur la tâche notoirement instable hopper_hop, QED a non seulement amélioré la performance, mais a aligné toutes les exécutions d'entraînement pour converger vers un niveau de performance identique, alors que la base présentait une variance élevée.

Importance et affirmations

L'article soutient que le contrôle de la cohérence comportementale est à la fois réalisable et bénéfique pour la stabilité et la reproductibilité des systèmes RL. En traitant la variabilité comme une propriété explicite à contrôler plutôt que comme du bruit à moyenner, les auteurs suggèrent que la cohérence comportementale est un ingrédient manquant pour un RL évolutif et fiable.

L'importance réside dans la possibilité de rendre plus fiables :

• L'évaluation scientifique : Réduire le besoin d'un moyennage massif sur les graines pour détecter de véritables améliorations algorithmiques.
• Le déploiement : S'assurer que les processus itératifs tels que le réglage des récompenses et la validation de la sécurité ne sont pas confondus par des idiosyncrasies stochastiques.
• Le débogage : Faciliter la distinction entre les échecs algorithmiques et la variance aléatoire.

Les auteurs notent modestement des limitations, en particulier que la méthode repose sur des estimations ponctuelles de Q qui peuvent prendre du temps à converger, et qu'un compromis entre performance et similarité devient plus prononcé dans les tâches de haute dimension. Ils concluent que, bien que QED offre une approche fondée sur des principes pour la stabilité, des travaux futurs sont nécessaires pour aborder la cohérence à long horizon et l'équilibre entre diversité et uniformité dans les stratégies de comportement valides.