SELAUR: Self Evolving LLM Agent via Uncertainty-aware Rewards

1. Problématique

Les grands modèles de langage (LLM) sont de plus en plus utilisés comme agents capables de prise de décision multi-étapes dans des environnements interactifs (ex: ALFWorld, WebShop). Bien que l'apprentissage par renforcement (RL) soit la méthode privilégiée pour optimiser ces agents, les approches actuelles souffrent de deux limitations majeures :

• Récompenses clairsemées : La plupart des méthodes attribuent une récompense uniquement basée sur le résultat final (succès/échec), ignorant la qualité des étapes intermédiaires.
• Négligence de l'incertitude intrinsèque : Les travaux récents sur l'attribution de crédit au niveau de l'étape existent, mais ils ignorent souvent le signal crucial de l'incertitude du modèle. Or, l'incertitude reflète la confiance du modèle, indique où l'exploration est nécessaire et fournit des signaux d'apprentissage précieux même dans les trajectoires échouées.

Le défi consiste donc à concevoir un mécanisme de récompense qui intègre l'incertitude du modèle pour guider l'agent vers une exploration plus efficace et une stabilité d'apprentissage accrue, sans dépendre uniquement des retours d'environnement externes.

2. Méthodologie : SELAUR

Le framework SELAUR propose une approche d'apprentissage par renforcement qui intègre directement l'incertitude dans la conception des récompenses. L'architecture se compose de trois modules principaux :

A. Estimation de l'Incertitude (Token-level)

Au lieu de se fier à une seule métrique, SELAUR agrège trois mesures complémentaires d'incertitude au niveau de chaque token généré :

1. Entropie : Mesure la dispersion de la distribution de probabilité sur le vocabulaire (plus l'entropie est élevée, plus le modèle est incertain).
2. Moindre Confiance (Least Confidence) : Se base sur la probabilité du token sélectionné (une probabilité faible indique une forte incertitude).
3. Marge (Margin) : Calcule l'écart entre les probabilités des deux tokens les plus probables (une petite marge indique une ambiguïté).
   Ces trois métriques sont combinées en une estimation d'incertitude unifiée pondérée.

B. Agrégation Hiérarchique

Les incertitudes au niveau des tokens sont agrégées à deux niveaux pour fournir des signaux de récompense :

• Niveau Étape : Moyenne des incertitudes des tokens d'une étape de décision.
• Niveau Trajectoire : Agrégation exponentielle des incertitudes d'étape, donnant un poids plus important aux étapes tardives qui déterminent souvent le succès final.

C. Reformulation de la Récompense Consciente de l'Échec (Failure-aware Reward Reshaping)

C'est le cœur de l'innovation de SELAUR. Au lieu de rejeter les trajectoires échouées :

• Cas de succès : L'agent reçoit la récompense standard.
• Cas d'échec : La récompense est remodelée en intégrant le signal d'incertitude.
  • Pour chaque étape d'une trajectoire échouée, la récompense est augmentée par l'incertitude normalisée de cette étape.
  • Cela transforme l'échec en un signal d'apprentissage dense : les étapes où le modèle était très incertain reçoivent un feedback spécifique pour encourager l'exploration de stratégies alternatives, tandis que les étapes confiantes mais erronées sont traitées différemment.

3. Contributions Clés

1. Cadre unifié d'incertitude : Intégration de multiples métriques (entropie, moindre confiance, marge) pour une caractérisation précise de la confiance du modèle, fournissant une supervision dense dérivée directement de ces estimations.
2. Mécanisme de reformulation des récompenses : Introduction d'un mécanisme qui injecte les signaux d'incertitude dans les récompenses au niveau de l'étape et de la trajectoire, améliorant ainsi l'efficacité de l'exploration et la stabilité de l'apprentissage.
3. Valorisation des échecs : Démontration empirique que l'incorporation d'informations provenant de trajectoires échouées (via l'incertitude) fournit des signaux d'entraînement précieux, permettant à l'agent d'apprendre même sans succès final.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks interactifs majeurs : ALFWorld (raisonnement dans des tâches ménagères) et WebShop (prise de décision dans le e-commerce).

• Performance Globale : SELAUR surpasse systématiquement les bases de référence (baselines) fortes incluant PPO, RLOO, GRPO et GiGPO (qui utilise déjà l'attribution de crédit par étape).
  • Sur ALFWorld, SELAUR atteint un taux de réussite moyen de 89,06 % (modèle 1.5B) et 96,87 % (modèle 7B), surpassant le meilleur concurrent (GiGPO).
  • Sur WebShop, SELAUR obtient le meilleur score de tâche (0,8812) et un taux de réussite de 76,56 %.
• Études d'ablation :
  • L'utilisation combinée des trois métriques d'incertitude (Entropie + Confiance + Marge) s'avère supérieure à l'utilisation d'une seule métrique, prouvant leur complémentarité.
  • La formulation de la récompense proposée (SELAUR) est supérieure aux variantes "Négative" (pénalisation de l'incertitude) ou "Exponentielle" (découpage des récompenses de succès), confirmant que l'encouragement à l'exploration contrôlée est plus efficace.
• Analyse de l'exploration : Les visualisations montrent que SELAUR maintient un niveau d'entropie plus élevé en fin d'entraînement, indiquant une capacité à éviter les boucles d'exploration locales et à découvrir des solutions optimales là où d'autres méthodes (comme GiGPO) stagnent dans des comportements répétitifs.

5. Signification et Impact

Le travail SELAUR représente une avancée significative dans l'entraînement d'agents LLM par renforcement. En exploitant l'incertitude intrinsèque du modèle comme signal d'apprentissage interne, il résout le problème de la rareté des récompenses et de la difficulté à apprendre à partir de l'échec.

• Robustesse : L'agent devient capable de récupérer de ses erreurs et d'ajuster dynamiquement son comportement en fonction de son niveau de confiance.
• Efficacité de l'apprentissage : La supervision dense fournie par l'incertitude accélère la convergence et stabilise l'optimisation de la politique.
• Généralité : Cette approche ouvre la voie à des agents plus autonomes capables de naviguer dans des environnements complexes sans dépendre excessivement de retours externes coûteux ou de trajectoires de démonstration parfaites.

En résumé, SELAUR démontre que l'incertitude n'est pas un bruit à éliminer, mais une ressource précieuse pour guider l'évolution autonome des agents intelligents.