Résumé technique : Optimisation de politique par incitation réflexive (R2PO)

Énoncé du problème

Les optimiseurs de politique basés sur les grands modèles de langage (LLM) existants fonctionnent comme des chercheurs en boîte noire qui reposent exclusivement sur des retours de récompense scalaires. Bien que ces méthodes puissent proposer de nouveaux paramètres de politique basés sur les scores de récompense historiques, elles manquent de perspicacité diagnostique pour comprendre pourquoi une politique a échoué. Un optimiseur voit un score de 0,45 mais ne peut pas distinguer une politique qui sous-performe systématiquement, une qui reste bloquée dans une boucle, ou une qui réussit dans 19 des 20 déroulements mais échoue de manière catastrophique au 20e. Cette limitation force les optimiseurs basés sur les LLM à recourir au réglage par essais et erreurs plutôt qu'à une correction ciblée, entraînant souvent un entraînement instable et une convergence inefficace.

Méthodologie : Cadre R2PO

Les auteurs proposent l'Optimisation de politique par incitation réflexive (R2PO), un cadre à deux étapes basé sur les LLM conçu pour enrichir les récompenses scalaires par des preuves comportementales au niveau des trajectoires. R2PO opère sur des classes de politiques compactes (politiques linéaires pour le contrôle continu et politiques tabulaires pour les tâches discrètes) et se compose des éléments suivants :

1. Search-LLM (Optimiseur global) : Cette étape fonctionne de manière similaire aux optimiseurs LLM précédents (par exemple ProPS). Étant donné un historique de politiques évaluées et leurs récompenses moyennes scalaires, le Search-LLM propose un vecteur de paramètres candidat initial ($\theta_{init}$).
2. Évaluation de l'environnement : La politique candidate est exécutée dans l'environnement pour $K$ déroulements indépendants, générant un ensemble de trajectoires $T$ contenant des états, des actions et des récompenses.
3. Critic-LLM (Réviseur local) : Cette étape introduit l'innovation centrale. Au lieu de recevoir uniquement la récompense moyenne scalaire, le Critic-LLM examine un « paquet de preuves de trajectoire calibré » dérivé des $K$ déroulements. Il analyse ce qui a mal tourné et propose une révision ciblée des paramètres ($\theta_{rev}$).
4. Mécanisme de sélection : Le candidat original ($\theta_{init}$) et le candidat révisé ($\theta_{rev}$) sont réévalués. Le système conserve celui qui atteint la récompense moyenne la plus élevée, filtrant ainsi les modifications destructrices ou les hallucinations du LLM.

Preuves de trajectoire calibrées

Pour empêcher le Critic-LLM de surajuster aux valeurs aberrantes, R2PO construit le paquet de preuves en utilisant trois composants spécifiques :

• Trajectoire médiane : Un seul déroulement dont le retour est le plus proche de la médiane des $K$ retours, représentant un comportement typique plutôt que des valeurs aberrantes de cas optimal ou de pire cas.
• Statistiques agrégées des déroulements : Un rapport structuré résumant les récompenses moyennes, minimales et maximales, les longueurs d'épisodes et les taux de succès/échec sur l'ensemble des $K$ déroulements. Cela communique la fréquence des échecs sans mettre en avant une trace d'échec spécifique.
• Règle de révision : Une instruction explicite au Critic-LLM de s'abstenir de changements majeurs si la récompense moyenne initiale dépasse un seuil ($\tau_c$) et que les statistiques n'indiquent pas un motif d'échec cohérent. Cela prévient la « sur-correction » de politiques déjà performantes.

Résultats clés et analyse

1. Biais de saillance

L'article identifie un mode de défaillance dominant appelé biais de saillance. Lorsqu'il est confronté à plusieurs trajectoires (par exemple, la meilleure, la pire et la médiane), le Critic-LLM a tendance à se fixer sur la trajectoire de pire cas comme représentative, même lorsque la majorité des déroulements indiquent un comportement réussi. Dans une variante à trois trajectoires sur l'environnement CartPole, ce biais a représenté 76,6 % des régressions de performance. Le LLM diagnostiquait un problème sur la base d'un seul échec malheureux et proposait des modifications qui détruisaient la performance de la politique dans les 19 autres déroulements réussis.

2. Études d'ablation

Des ablations systématiques sur dix environnements démontrent que le succès de R2PO repose sur la combinaison de trois facteurs, aucun d'entre eux n'étant suffisant seul :

• Architecture à deux étapes : Séparer la proposition globale de la révision locale, ancrée dans le comportement, est essentiel. Une seule incitation riche (CriticOnly) ou une recherche séquentielle uniquement scalaire (ActorSecondPass) ne parviennent pas à égaler les performances de R2PO.
• Révision ancrée dans la trajectoire : L'utilisation de preuves réelles de déroulement (trajectoire médiane + statistiques) surpasse nettement les retours uniquement scalaires.
• Mécanisme de sélection : Une étape de sélection « garde-le-meilleur » est cruciale. Sans elle (AlwaysCritic), la forte variance des modifications conditionnées par la trajectoire conduit à des régressions fréquentes.

3. Résultats empiriques

En utilisant un modèle de 20 milliards de paramètres relativement petit et à poids ouverts (gpt-oss:20b), R2PO a été évalué sur dix environnements (incluant CartPole, InvertedPendulum, Pong et des tâches personnalisées Maze/Nim) par rapport à des bases de référence solides (ProPS, ProPS+, et les algorithmes Stable-Baselines3 les plus performants comme PPO, SAC, TRPO).

• Performance : R2PO a obtenu la récompense moyenne la plus élevée sur 9 des 10 environnements et a égalé le score sur le 10e (MountainCarContinuous). Il a atteint la récompense maximale possible sur CartPole (500), InvertedPendulum (1000), Pong (3,0) et Nim (1,0).
• Efficacité : R2PO a atteint une performance quasi optimale bien plus tôt que les bases de référence (par exemple, une récompense CartPole proche du maximum en ~500 épisodes, contre ~4 000 pour ProPS+ et SB3).
• Stabilité : R2PO a maintenu des politiques solides une fois trouvées, présentant un écart beaucoup plus faible entre les récompenses moyennes et les meilleures par rapport aux méthodes LLM précédentes, qui montraient souvent une forte variance et des pics isolés.
• Efficacité des ressources : Même comparé aux résultats de ProPS obtenus avec un budget d'interaction double (8 000 épisodes) et un modèle propriétaire plus grand (GPT-4o), R2PO (entraîné sur 4 000 épisodes avec un modèle ouvert de 20 milliards de paramètres) a égalé ou dépassé les bases de référence sur 9 des 10 environnements.

Importance et revendications

L'article affirme que traiter les trajectoires comme des preuves de premier ordre dans le contexte, plutôt que de les réduire à des retours scalaires, change fondamentalement la façon dont les LLM peuvent explorer les espaces de politiques. Les contributions clés sont :

1. Précision diagnostique : R2PO permet aux LLM d'apprendre plus vite et de diagnostiquer les échecs plus précisément en exploitant des preuves comportementales, dépassant ainsi le réglage par essais et erreurs.
2. Atténuation des biais des LLM : Le cadre atténue avec succès le « biais de saillance » inhérent au raisonnement des LPM sur plusieurs sources de preuves en utilisant des statistiques agrégées et des trajectoires médianes, plutôt que des traces brutes de pire cas.
3. Accessibilité : Les résultats démontrent que ces avantages ne sont pas limités aux grands modèles propriétaires ; un modèle ouvert de 20 milliards de paramètres suffit pour surpasser les bases de référence d'apprentissage par renforcement profond et les méthodes antérieures basées sur les LLM lorsque l'architecture est correctement conçue.

Les auteurs notent des limites, spécifiquement que la méthode se concentre actuellement sur des classes de politiques compactes (linéaires et tabulaires) et nécessite un calibrage manuel grossier du seuil de révision $\tau_c$. Un travail futur est proposé pour étendre R2PO aux politiques neuronales de haute dimension et pour développer des mécanismes de calibrage adaptatif.