Résumé technique : Devez-vous utiliser votre grand modèle de langage pour l'exploration ou l'exploitation ?

Énoncé du problème

L'article traite de l'application des grands modèles de langage (LLM) aux problèmes de prise de décision caractérisés par le compromis exploration-exploitation, spécifiquement dans le cadre des bandits multi-bras (MAB) et des bandits contextuels (CB). Alors que les recherches antérieures se sont largement concentrées sur l'évaluation de la capacité des LLM à résoudre ces tâches de bout en bout via l'apprentissage en contexte (fournir l'historique brut et les paramètres dans un seul prompt), ce travail soutient que de telles approches monolithiques échouent souvent. Au lieu de cela, les auteurs proposent une évaluation systématique des LLM dans des « silos » : évaluer leurs capacités distinctes en tant qu'oracles d'exploitation (sélectionner la meilleure action compte tenu d'un historique et d'un contexte actuel) et oracles d'exploration (suggérer un sous-ensemble restreint et de haute qualité de candidats à partir d'un vaste espace d'actions pour être traité par un algorithme de bandit standard).

Méthodologie

1. Les LLM comme oracles d'exploitation

Les auteurs évaluent la capacité de divers LLM (incluant GPT-3.5, GPT-4, GPT-4O, la famille de modèles GPT-5, Qwen-2.5, Gemma-3, Mistral-7B et DeepSeek-R1) à identifier l'action optimale compte tenu d'un historique de tuples (contexte, action, récompense).

• Tâches :
  • Exploitation MAB : Sélectionner le bras ayant la récompense empirique la plus élevée à partir d'un ensemble fixe de bras basé sur des récompenses de Bernoulli historiques.
  • Exploitation de Bandit Contextuel (CB) : Sélectionner le meilleur bras pour un nouveau contexte $z_{T+1}$ compte tenu d'un historique de contextes et de récompenses. Cela inclut à la fois les CB linéaires (où la récompense attendue est une fonction linéaire du contexte) et les CB non linéaires/textuels (où les contextes sont des descriptions sémantiques et les récompenses sont des fonctions non linéaires).
• Atténuations : Pour remédier aux limitations de la fenêtre de contexte et aux déficits de raisonnement, les auteurs testent :
  • L'utilisation d'outils (Tool Use) : Fournir au LLM l'accès à un interprète de code Python pour effectuer des calculs.
  • La résumé en contexte (In-Context Summarization) : Réduire la taille de l'historique via des méthodes de $k$-plus proches voisins ou de regroupement $k$-means des contextes avant de les transmettre au LLM.
• Lignes de base (Baselines) : La performance est comparée à une régression linéaire simple (pour les tâches linéaires) et à un choix aléatoire.

2. Les LLM comme oracles d'exploration

Les auteurs évaluent la capacité des LLM à « discrétiser » de grands espaces d'actions sémantiquement riches en un ensemble gérable de candidats pour un algorithme de bandit standard (UCB1).

• Tâches :
  • MovieLens : Recommander un sous-ensemble de films à partir d'un vaste catalogue basé sur les évaluations des utilisateurs.
  • arXiv : Suggérer des titres pour un article donné son résumé (abstract).
  • Q/A Philosophique : Générer des réponses diverses à des questions ouvertes.
• Évaluation : Le LLM génère $K$ actions candidates. Un algorithme UCB1 standard est exécuté pendant $T$ tours sur ces $K$ candidats. La performance est mesurée par la récompense cumulative (débruitée) obtenue.
• Lignes de base : Sélection aléatoire des bras et, pour la tâche arXiv, une ligne de base de type Maximal Marginal Relevance (MMR).

Contributions clés et résultats

1. Performance d'exploitation

• Capacité des modèles : Les modèles de raisonnement de pointe (spécifiquement la famille GPT-5) montrent des promesses pour les tâches d'exploitation, atteignant une performance quasi parfaite sur des puzzles MAB à petite échelle. Cependant, les modèles sans raisonnement (GPT-3.5, GPT-4) éprouvent des difficultés importantes, la performance se dégradant à mesure que la taille de l'historique ($T$) et la dimensionnalité du problème ($d, K$) augmentent.
• Impact des atténuations :
  • Utilisation d'outils : L'accès à un interprète de code améliore considérablement les performances sur les tâches de CB linéaires, permettant parfois à GPT-4 de surpasser GPT-5. Cependant, cela s'accompagne d'un coût élevé en latence et en dépenses.
  • Résumé : Le résumé en contexte ($k$-plus proches, $k$-means) aide à gérer les historiques volumineux mais ne comble pas entièrement l'écart de performance.
• La ligne de base linéaire : Une conclusion critique est que même avec les atténuations, tous les LLM étudiés sont moins performants qu'une simple régression linéaire sur les tâches linéaires. Dans les tâches textuelles non linéaires, les LLM sont nettement surpassés par la régression linéaire, malgré la nature non linéaire de la fonction de récompense.
• Coût/Latence : L'article note que l'exploitation basée sur les LLM est de plusieurs ordres de grandeur plus lente et plus coûteuse que les solveurs de régression traditionnels. Par exemple, une seule exécution avec un interprète de code a pris plus de 6 heures et a coûté environ 70 $, alors que les solveurs de régression s'exécutent en millisecondes.

2. Performance d'exploration

• Avantage sémantique : Les LLM démontrent un succès robuste en tant qu'oracles d'exploration. Ils surpassent significativement les lignes de base non-LLM (sélection aléatoire et, dans le cas de MovieLens, la discrétisation par genre) à travers tous les types de tâches.
• Mécanisme : Les LLM exploitent leur « biais inductif » pré-entraîné et leur compréhension sémantique pour proposer des candidats issus de régions à haute récompense de l'espace d'actions, agissant ainsi comme un mécanisme de « discrétisation intelligente ».
• Stratégies de prompting : Diverses stratégies de prompting (tout d'un coup vs un par un, avec ou sans encouragement à la diversité) ont produit des résultats similaires, suggérant que la capacité fondamentale réside dans la connaissance intrinsèque du modèle plutôt que dans l'ingénierie de prompt spécifique.

Signification et affirmations

L'article affirme fournir une évaluation systématique des LLM isolés des autres composants de prise de décision, offrant une vue nuancée de leurs limites et forces actuelles :

1. Limites de l'exploitation : Les LLM de pointe actuels ne sont pas encore fiables en tant qu'oracles d'exploitation généralistes pour des prises de décision complexes ou à grande échelle. Ils ne parviennent pas à égaler l'efficacité et la précision de méthodes statistiques simples (comme la régression linéaire) et souffrent d'une latence et d'un coût prohibitifs. Les auteurs suggèrent que l'intelligence « généraliste » des LLM ne se traduit pas encore en une prise de décision statistique optimale sans entraînement personnalisé ou augmentation lourde par des outils.
2. Forces de l'exploration : À l'inverse, les LLM sont très efficaces en tant qu'oracles d'exploration. Leur capacité à comprendre le sens sémantique leur permet de naviguer dans de grands espaces d'actions non structurés là où les algorithmes standards échouent. Cela soutient l'utilisation des LLM comme « priors d'action » ou « générateurs de propositions » au sein d'un cadre d'agent plus large, plutôt que comme décideurs uniques.
3. Perspectives d'avenir : Les auteurs mettent en garde contre « l'optimisme extrême » concernant la maîtrise des tâches simples de prise de décision par les LLM. Leurs résultats indiquent que les difficultés liées à l'exploitation persistent plus longtemps que prévu. La voie proposée consiste à exploiter les LLM pour une discrétisation intelligente dans des espaces d'actions riches et textuels, tout en s'appuyant sur des algorithmes traditionnels pour la phase d'exploitation proprement dite.

En résumé, l'article soutient que si les LLM sont actuellement médiocres pour le travail statistique lourd requis pour l'exploitation, ils sont uniques par leur valeur pour le travail sémantique lourd requis pour l'exploration dans des espaces d'actions larges et complexes.