DORA Explorer: Improving the Exploration Ability of LLMs Without Training

Titre : DORA Explorer : Amélioration des capacités d'exploration des LLM sans entraînement

1. Le Problème : L'Exploration Insuffisante des Agents LLM

Malgré leurs progrès rapides dans la prise de décision séquentielle, les agents basés sur les Grands Modèles de Langage (LLM) souffrent d'une capacité d'exploration limitée.

• Convergence prématurée : Les agents tendent à converger vers des solutions sous-optimales ou à rester piégés dans des boucles d'actions répétitives.
• Limites des méthodes actuelles :
  • Le sampling par température introduit de l'aléatoire au niveau des tokens, mais ne garantit pas une diversité au niveau des séquences d'actions. Des études montrent une faible corrélation entre la température et la nouveauté réelle du texte généré.
  • Les méthodes de prompting avancées (Chain-of-Thought, Tree-of-Thought) améliorent le raisonnement mais ne résolvent pas fondamentalement le problème de l'exploration sous incertitude.
• Conséquence : Dans des environnements nécessitant une exploration active (comme les jeux d'aventure textuelle ou les bandits manchots), les agents manquent d'informations critiques, échouent à découvrir des états cachés et obtiennent des récompenses suboptimales.

2. Méthodologie : DORA Explorer

Les auteurs proposent DORA Explorer (Diversity-Oriented Ranking of Actions), un cadre d'inférence sans entraînement (training-free) conçu pour contrôler explicitement le compromis exploration/exploitation.

Le processus se déroule en quatre étapes clés (Algorithm 1) :

1. Décision d'Exploration : À chaque étape, l'agent décide s'il doit agir de manière "gourmande" (greedy) ou "exploratrice" en fonction d'un paramètre $\lambda$ (fixe via un planning ou dynamique via le modèle).
2. Génération de Candidats (Candidate Generation) : Si l'agent choisit d'explorer, il est invité à générer une liste de $N_C$ actions candidates simultanément. Cette approche force le modèle à explorer la largeur de sa distribution de probabilité plutôt que de retomber sur le mode le plus probable.
3. Notation et Scoring (Scoring) : Chaque action candidate est notée selon une métrique combinant :
   • La moyenne des log-probabilités (indiquant la vraisemblance globale).
   • La variance des log-probabilités (indiquant la cohérence interne).
   • Le score final est calculé comme : $s = \alpha \cdot \tilde{\mu} - (1-\alpha) \cdot \tilde{\sigma}^2$, où $\alpha$ est un hyperparamètre de pondération.
4. Échantillonnage Pondéré : Une distribution de probabilité est générée sur les candidats en utilisant le paramètre d'exploration $\lambda$ : $P_\lambda(a) = \text{Softmax}(\lambda \cdot s)$.
   • Un $\lambda$ faible favorise l'exploration (distribution plus plate).
   • Un $\lambda$ élevé favorise l'exploitation (concentration sur les actions les mieux notées).

Innovation clé : Contrairement au simple échantillonnage de tokens, DORA opère au niveau de la séquence d'actions, permettant une exploration structurée et contrôlée sans modifier les poids du modèle.

3. Contributions Clés

• Cadre sans entraînement : DORA s'intègre de manière modulaire ("plug-and-play") dans n'importe quel pipeline LLM existant sans nécessiter de fine-tuning ni de classifier supplémentaire.
• Contrôle explicite du compromis : Introduction d'un paramètre $\lambda$ permettant de moduler dynamiquement le niveau d'exploration, surpassant les approches basées uniquement sur la température.
• Génération de diversité structurée : Utilisation de l'incitation à générer des listes d'actions pour révéler la diversité latente du modèle, suivie d'un filtrage basé sur la cohérence et la probabilité.
• Généralisation : Méthode applicable à divers modèles (Llama, Qwen, Mistral) et environnements (Bandits Manchots, Text Adventure).

4. Résultats Expérimentaux

Les performances ont été évaluées sur deux benchmarks principaux :

A. Bandits Manchots Multiples (MAB) :

• Contexte : Tâche de décision simple pour tester l'équilibre exploration/exploitation.
• Résultats : DORA atteint des performances compétitives avec l'algorithme classique UCB (Upper Confidence Bound).
  • Il surpasse les stratégies de température fixe et adaptative.
  • Il réduit le regret cumulatif et élimine presque totalement les échecs de sélection d'actions optimales (Suffix Failure Frequency à 0% contre 95% pour certaines températures fixes).
  • Il dépasse même le Thompson Sampling, un algorithme de référence.

B. Suite d'Environnements d'Aventure Textuelle (TALES) :

• Environnements : TextWorld, AlfWorld, ScienceWorld, Jericho, etc.
• Améliorations de performance :
  • TextWorld (Qwen2.5-7B) : La réussite passe de 29,2 % (Zero-shot) à 45,5 % avec DORA.
  • Gains globaux : DORA améliore systématiquement les scores par rapport aux baselines (CoT, ToT, ReAct) sur tous les modèles testés.
• Analyse qualitative :
  • Couverture de l'environnement : DORA visite plus de 2 fois plus d'états uniques que les méthodes de base.
  • Récupération des boucles : Les agents DORA sortent des boucles d'actions répétitives avec un taux de récupération 5 à 20 fois supérieur aux méthodes classiques.
  • Efficacité : Malgré une utilisation accrue de tokens pour générer des candidats, le gain en performance justifie ce coût, et l'overhead reste faible par rapport aux gains obtenus.

5. Signification et Conclusion

Ce travail démontre que l'incapacité des LLM à explorer efficacement ne provient pas d'un manque de capacités de raisonnement, mais d'une inadéquation entre les stratégies de décodage standard (axées sur les tokens) et les besoins de l'exploration séquentielle.

DORA Explorer prouve qu'il est possible d'améliorer radicalement le comportement des agents autonomes en introduisant une mécanique d'inférence structurée qui sépare la génération de candidats de leur sélection. Cela permet aux agents de :

1. Découvrir des états cachés et des informations critiques.
2. Éviter les pièges locaux et les boucles infinies.
3. S'adapter rapidement à de nouveaux environnements sans entraînement coûteux.

Cette approche ouvre la voie à des agents LLM plus robustes pour des applications réelles complexes (robotique, découverte scientifique, jeux) où l'exploration active est cruciale.