When (and How) to Trust the Expert: Diagnosing Query-Time Expert-Guided Reinforcement Learning

Résumé technique : Diagnostic de l'apprentissage par renforcement guidé par expert au moment de la requête

Énoncé du problème
De nombreux domaines de contrôle continu (commande industrielle, locomotion, suivi de trajectoire) déploient des contrôleurs compétents mais sous-optimaux, tels que des boucles PID réglées, des allures conçues à la main ou des systèmes de commande prédictive par modèle (MPC). Ces contrôleurs servent souvent de « plancher » que les agents d'apprentissage par renforcement (RL) sont censés surpasser. Cependant, la littérature sur le RL guidé par expert au moment de la requête — où un agent peut interroger un contrôleur expert préexistant durant l'entraînement — manque d'un cadre d'évaluation unifié. Les méthodes existantes (par exemple, IBRL, JSRL, Residual SAC) ont été proposées de manière isolée sur différents benchmarks, avec des qualités d'experts variables et des budgets d'optimisation des hyperparamètres (HPO) différents. Par conséquent, les praticiens n'ont pas une compréhension claire de quel mécanisme d'intégration extrait le plus de valeur d'un expert, ni des modes de défaillance spécifiques qui surviennent lorsque les experts sont imparfaits (par exemple, sous-réglés, biaisés ou bruyants).

Méthodologie et protocole expérimental
Les auteurs harmonisent la comparaison de cinq méthodes guidées par expert (IBRL, deux variantes de JSRL, Residual SAC et une nouvelle méthode appelée EDGE) sur une architecture de base SAC (Soft Actor-Critic) partagée. Le protocole d'évaluation est rigoureux et standardisé :

• Benchmarks : Quatre tâches de contrôle continu : FourTank (suivi de consigne MIMO), Plane3DCircle (suivi d'aéronef 3D avec défaillance catastrophique), GlassFurnace (contrôle thermique à long horizon) et CheetahRun (locomotion). Deux de ces tâches (Plane3DCircle et GlassFurnace) sont publiées comme nouveaux benchmarks.
• Graines et budget : 100 graines pour les tâches de contrôle et 50 pour la locomotion, entraînées sur 1 million d'étapes d'environnement.
• Qualité de l'expert : Un « balayage de dégradation » teste la robustesse face au sous-réglage de l'expert, aux biais d'action et au bruit d'observation.
• Métrique : La performance est mesurée à l'aide de l'Avantage Normalisé par Expert (ENA), qui normalise les retours par rapport à la performance de l'expert et à un plafond physique théorique.

Contributions clés

1. Un benchmark à protocole commun : L'article établit une comparaison directe des méthodes de RL guidé par expert dans des conditions identiques d'HPO et d'évaluation, révélant qu'aucune méthode unique ne domine sur toutes les structures de tâches.
2. Taxonomie des modes de défaillance (F1–F3) : La comparaison harmonisée met en lumière trois modes de défaillance spécifiques que les évaluations d'un seul article manquent :
   • F1 (Point aveugle du critique) : Dans les méthodes utilisant une sélection d'action par argmax (comme IBRL), le critique devient « ancré » à l'action de l'expert sur les états où l'expert gagne. Cela empêche le critique de recevoir de nouvelles cibles de Bellman pour les actions propres de la politique sur ces états, entraînant une sous-performance de la méthode, même par rapport à une base SAC sans expert, lorsque l'expert est très fort (près du plafond du RL).
   • F2 (Saturation résiduelle) : Les méthodes de correction additive (Residual SAC) sont limitées par l'espace d'action. Sur des tâches avec des experts faibles, la correction nécessaire pour surmonter les erreurs structurelles de l'expert dépasse cette borne, plafonnant la performance bien en dessous d'autres méthodes. À l'inverse, sur des experts quasi-optimaux, cette borne permet à Residual SAC d'hériter immédiatement de la performance de l'expert.
   • F3 (Empoisonnement du tampon de démarrage à chaud) : Les méthodes utilisant un transfert au moment de l'entraînement (exécutant l'expert pendant une période fixe de démarrage à chaud avant de basculer vers la politique) souffrent lorsque l'expert est imparfait. Le tampon de rejeu collecté pendant le démarrage à chaud reflète l'état spécifique (potentiellement défectueux) de l'expert, et la politique échoue à récupérer lorsqu'elle est déployée sur un système différent ou perturbé.
3. Règle de décision : Les auteurs dérivent une règle de décision testable reliant trois observables (qualité de l'expert, terminaison de la tâche et type de perturbation attendu) à une méthode recommandée. Par exemple, si l'expert est proche du plafond et non terminant, IBRL est prédit pour échouer (F1) ; si l'expert est faible et que la tâche est terminante, Residual SAC est prédit pour échouer (F2).
4. EDGE (Exploration guidée pilotée par l'expert) : L'article introduit EDGE, une nouvelle méthode conçue pour éviter les modes de défaillance identifiés. EDGE remplace la porte déterministe argmax par un mécanisme de mélange stochastique à porte pessimiste consciente de la qualité. Il utilise un ensemble de critiques pour calculer une borne inférieure de confiance (LCB) et applique une porte softmax pour sélectionner probabilistiquement entre l'expert et la politique. Crucialement, il enrichit l'état avec l'état interne du contrôleur de l'expert (par exemple, l'état de l'intégrateur PID) pour garantir que le critique dispose d'une visibilité complète.

Résultats

• Aucune méthode dominante : Chaque méthode excelle dans un régime spécifique mais échoue de manière prévisible ailleurs. Par exemple, Residual SAC partage la première place sur FourTank (expert proche du plafond) mais s'effondre sur Plane3DCircle (expert faible). IBRL est dominé par une SAC sans expert sur FourTank en raison de F1.
• Robustesse : Sous les perturbations de l'expert (sous-réglage, biais, bruit), les classements clairs s'inversent. Les méthodes qui maintiennent une bascule vers l'expert à chaque étape (JSRL-curriculum, EDGE) sont plus robustes à la dégradation de l'expert au moment de l'entraînement, tandis que Residual SAC est plus robuste au biais d'action au moment du déploiement grâce à sa correction bornée.
• Performance d'EDGE : EDGE est compétitif sur toutes les tâches. Sur Plane3DCircle, il surpasse nettement l'échantillonnage de Thompson littéral et d'autres bases, démontrant que la combinaison d'une porte stochastique et d'un score LCB est efficace.
• Le mur « RL-proche-du-plafond » : Sur les tâches où l'expert est déjà très proche de la performance d'un agent RL sans expert (par exemple, FourTank à 98 % du retour RL sans expert), aucune méthode guidée par expert au moment de la requête ne dépasse l'expert dans le budget de 1 million d'étapes. Les auteurs notent que cela peut être une limitation fondamentale ou un effet de budget, mais cela suggère que pour des experts hautement compétents, la surcharge du mélange au moment de la requête peut ne pas générer de gains dans les horizons d'entraînement standards.

Signification et affirmations
La contribution principale de l'article est le benchmark, la taxonomie et la règle de décision, qui fournissent aux praticiens un cadre pour sélectionner une méthode guidée par expert en fonction des caractéristiques spécifiques de leur expert et de leur tâche. Les auteurs déclarent explicitement que EDGE est proposé comme une « sonde de conception » pour démontrer que les axes identifiés (forme de la porte et règle de score) sont individuellement exploitables, plutôt que comme une affirmation de domination de l'état de l'art (SOTA).

Ce travail met en évidence que le mécanisme d'intégration est critique : une méthode qui fonctionne bien avec un expert parfait peut échouer de manière catastrophique avec un expert légèrement imparfait. En identifiant F1, F2 et F3, l'article fait passer le domaine des propositions de méthodes isolées à une compréhension systématique des moments et des raisons pour lesquels le RL guidé par expert réussit ou échoue. Les auteurs concluent que pour des experts déjà proches du plafond physique ou du RL, la solution la plus pratique dans les budgets actuels peut être de déployer directement l'expert, car le gain marginal de l'intégration RL est actuellement négligeable.