RHyVE: Competence-Aware Verification and Phase-Aware Deployment for LLM-Generated Reward Hypotheses

1. Énoncé du problème

L'apprentissage par renforcement (RL) repose fortement sur la conception de récompenses. Bien que les grands modèles de langage (LLM) aient rendu la génération de récompenses évolutive (par exemple, en synthétisant du code ou en façonnant des fonctions), un écart critique subsiste : les récompenses générées ne sont pas automatiquement des objectifs d'apprentissage fiables.

La littérature existante se concentre sur la génération ou la sélection de candidats de récompense, mais ignore largement le moment du déploiement. Les auteurs soutiennent que l'utilité d'une récompense n'est pas une propriété intrinsèque du candidat seul ; elle dépend plutôt de :

1. La compétence de la politique : Une récompense utile pour l'optimisation en phase tardive peut être trop sparse ou trop abrupte pour amorcer l'apprentissage à partir d'une politique faible. Inversement, une récompense dense en phase précoce peut devenir désalignée à mesure que la politique s'améliore.
2. La phase d'entraînement : Changer de récompense en cours d'entraînement peut provoquer des cibles non stationnaires, des chocs d'échelle de récompense et une instabilité de l'estimation de la valeur.

Le problème central consiste à déterminer quand une hypothèse de récompense générée est suffisamment fiable pour être comparée et déployée, et comment effectuer la transition entre les récompenses sans déstabiliser l'entraînement.

2. Méthodologie : RHYVE

Les auteurs proposent RHYVE, un protocole qui traite les récompenses générées comme des hypothèses plutôt que comme des objectifs immédiats. Il sépare la génération de récompense de la vérification et du déploiement.

Composants principaux :

• Hypothèses de récompense ($H$) : Un petit ensemble de fonctions de récompense candidates $\{h_1, ..., h_K\}$ générées par un processus amont (par exemple, un LLM).
• Vérification par fourche sur point de contrôle partagé :
  • Au lieu d'entraîner des agents séparés à partir de zéro, RHYVE clone l'état actuel de l'apprenant (politique $\pi_t$, critique $V_t$, état de l'optimiseur $\Omega_t$) à des points de contrôle spécifiques.
  • Chaque clone est entraîné pendant un court horizon de fourche ($L$) en utilisant une hypothèse de récompense différente.
  • Les politiques fourchées résultantes sont évaluées à l'aide d'une métrique aval commune pour déterminer un "gagnant local".
  • Cela évite de confondre la qualité de la récompense avec une initialisation indépendante ou un historique d'exploration.
• Construction du profil de phase :
  • RHYVE suit le "gagnant" de la vérification par fourche à travers les étapes d'entraînement.
  • Il identifie les points de contrôle informatifs pour la vérification où la marge du gagnant est stable et significative (distinguant la véritable structure de phase du bruit).
  • Il détecte si le "meilleur" récompense change à mesure que la politique devient plus compétente (par exemple, une récompense dense d'amorçage gagne au début, mais une récompense fidèle à la tâche, plus sparse, gagne plus tard).
• Règles de déploiement conscientes de la phase :
  Sur la base du profil de phase, RHYVE sélectionne l'une des trois stratégies suivantes :
  1. Récompense unique : Si une hypothèse est stable dès le premier point de contrôle informatif.
  2. Calendrier en deux étapes : Si un gagnant précoce est plus tard dépassé par un gagnant stable de phase tardive (par exemple, Échauffement $t < t_s$ avec $h_{early}$, puis $h_{late}$ pour $t \ge t_s$).
  3. Repli conservateur : Si le profil est ambigu ou si les marges sont négligeables, il évite les changements agressifs pour prévenir l'instabilité.
• Opérateurs de commutation : L'article évalue comment exécuter la commutation :
  • Commutation dure : Remplacement direct (défaut pratique).
  • Façonnage de récompense basé sur le potentiel (PBRS) : Utilise l'ancien critique pour lisser la transition.
  • Réinitialisation du critique : Réinitialise le critique au point de commutation.

3. Contributions clés

1. Changement conceptuel : Le recadrage des récompenses générées comme des hypothèses dépendantes des compétences. L'article soutient que la vérification est un processus dynamique lié à la capacité de l'apprenant, et non une évaluation statique.
2. Protocole RHYVE : Une méthode novatrice pour la vérification par fourche à partir de points de contrôle partagés afin de déterminer le calendrier de déploiement optimal (unique vs deux étapes) sans nécessiter de planificateur universel.
3. Validation empirique :
   • Démontré sur FRANKACABINET (une tâche de manipulation sparse et sensible aux phases), montrant que le déploiement conscient des phases améliore significativement à la fois la performance de pointe et la performance terminale conservée par rapport au déploiement direct ou en un seul tir.
   • Étendu aux candidats de récompense générés par LLM, prouvant que des changements de gagnant dépendants de la phase se produisent même avec une génération automatisée, mais que le calendrier optimal est dépendant de la famille de candidats (aucun calendrier d'échauffement unique n'est universellement optimal).
4. Contrôles rigoureux : L'étude inclut des contrôles étendus (baselines appariées en calcul, sélecteurs en ligne conservateurs, appariement d'échelle et tâches limites d'oracle dense) pour isoler les avantages de la conscience de phase des facteurs confondants tels que le calcul supplémentaire ou l'échelle de récompense.

4. Résultats expérimentaux

• Vérification limitée par la compétence : Les classements de récompenses sont instables à des niveaux de compétence faibles. La vérification par fourche ne devient informative qu'après que la politique a atteint des seuils de compétence dépendants de la tâche.
• Gains de performance : Sur la tâche FRANKACABINET, un échauffement fixe de 50 étapes suivi d'une commutation dure vers la récompense fidèle à la tâche a atteint le plus haut taux de succès de pointe (0,389) et la meilleure performance terminale recalculée (0,163), surpassant le déploiement direct d'oracle (0,215) et le déploiement en un seul tir.
• Candidats LLM : Les expériences avec des pools générés par LLM (légèrement curatés vs minimalement filtrés) ont montré que, bien qu'un comportement dépendant de la phase existe, la règle de déploiement "meilleure" varie selon le pool de candidats spécifique. Cela réfute l'idée d'un calendrier d'échauffement universel.
• Conditions limites :
  • BALLBALANCE (Oracle dense) : Dans les tâches où la récompense d'oracle est déjà dense, l'échauffement n'apporte aucun avantage, confirmant que la méthode est spécifique aux régimes sparse/sensibles aux phases.
  • FRANKACUBESTACK (Échec total) : Dans les tâches où la configuration est inapprenable sous le budget, RHYVE échoue à produire des classements significatifs, clarifiant la portée de la méthode.
• Comparaison des sélecteurs : Les sélecteurs en ligne réactifs (par exemple, moyenne mobile, périodique) ont sous-performé par rapport au calendrier stable conscient de la phase dans les régimes sparse et à petit nombre de candidats, échouant souvent à commuter ou commutant trop tard en raison de signaux précoces bruyants.

5. Importance et conclusion

• Déploiement informé par la vérification : RHYVE est positionné non pas comme un nouveau générateur de récompenses ou un planificateur universel, mais comme un protocole de déploiement. Il répond à la question : "Étant donné un ensemble de candidats, quand l'apprenant est-il assez compétent pour faire confiance à la comparaison ?"
• Problèmes couplés : L'article établit que la génération de récompenses et le déploiement de récompenses doivent être étudiés comme des problèmes couplés. Une récompense qui est "bonne" isolément peut être "mauvaise" pour une phase d'entraînement spécifique.
• Implication pratique : Pour les praticiens utilisant des LLM pour générer des récompenses, l'article suggère un flux de travail :
  1. Générer un petit ensemble de candidats.
  2. Utiliser la vérification par fourche sur des points de contrôle partagés pour cartographier le "profil de phase".
  3. Déployer un calendrier (unique ou deux étapes) basé sur la stabilité du profil, plutôt que d'appliquer aveuglément un échauffement fixe ou de commuter de manière réactive.

En résumé, RHYVE fournit un cadre robuste pour intégrer en toute sécurité les récompenses générées par LLM dans les pipelines de RL en s'assurant que la commutation de récompense ne se produit que lorsque la politique est suffisamment compétente pour vérifier l'utilité du nouvel objectif.