💬 NLP

Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments

Cette étude compare les stratégies d'exploration-exploitation des grands modèles de langage, des humains et des algorithmes dans des tâches de bandit manchot à plusieurs bras, révélant que si l'activation de la « réflexion » rend les LLM plus semblables aux humains dans des environnements stationnaires, ils peinent toujours à égaler l'adaptabilité humaine et l'exploration dirigée dans des environnements complexes et non stationnaires.

Auteurs originaux : Ziyuan Zhang, Darcy Wang, Ningyuan Chen, Rodrigo Mansur, Vahid Sarhangian

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyuan Zhang, Darcy Wang, Ningyuan Chen, Rodrigo Mansur, Vahid Sarhangian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous marchez dans une forêt géante et mystérieuse comportant quatre chemins différents. Vous ne savez pas quel chemin mène à un coffre au trésor (une récompense élevée) et lequel mène à une impasse (une récompense faible). Pour trouver le meilleur chemin, vous devez faire un choix toutes les quelques minutes :

Exploiter : Restez sur le chemin que vous avez déjà emprunté et qui semblait correct, en espérant qu'il soit le meilleur.
Explorer : Essayez un nouveau chemin inconnu pour voir s'il pourrait être meilleur.

C'est le compromis « Exploration-Exploitation ». C'est un puzzle fondamental de la prise de décision que les humains résolvent intuitivement, souvent en mélangeant des hypothèses aléatoires avec des risques intelligents et calculés.

Cet article pose une question simple : Les Grands Modèles de Langage (LLM)—les cerveaux d'IA derrière des outils comme ChatGPT—peuvent-ils résoudre ce puzzle de la forêt de la même manière que les humains ?

L'Expérience : Un Machine à Sous Numérique

Les chercheurs n'ont pas simplement demandé à l'IA de deviner ; ils l'ont placée dans un jeu de « Bandit à plusieurs bras ». Imaginez cela comme une rangée de machines à sous.

Le Jeu Simple : Deux machines. L'une rapporte un peu plus que l'autre, mais les montants sont aléatoires. Vous tirez le levier 10 fois.
Le Jeu Difficile : Quatre machines. La « meilleure » machine change au fil du temps (comme une machine à sous qui réinitialise ses cotes toutes les quelques minutes). Vous tirez le levier 300 fois.

Ils ont testé trois groupes :

Humains : De vraies personnes jouant dans un laboratoire.
IA Standard : Les versions « de base » des meilleurs modèles (comme GPT-4o-mini ou Gemini) qui se contentent de donner une réponse.
IA « Réfléchie » : Les versions « intelligentes » (comme GPT-o3-mini ou DeepSeek-R1) qui sont contraintes d'écrire leurs étapes de raisonnement avant de répondre, ou qui ont un mode « réflexion » spécial activé.

Les Résultats : Comment l'IA se Compare

1. L'IA « De Base » est un Joueur Nervieux

Lorsque les modèles d'IA standards ont joué, ils ont agi un peu comme un joueur nerveux.

Trop de devinettes aléatoires : Ils sautaient d'une machine à l'autre de manière sauvage, sans plan clair.
Trop peu de recherche intelligente : Ils utilisaient rarement l'« exploration dirigée ». C'est lorsque un humain pense : « Je n'ai pas essayé la Machine C depuis un moment, et je ne suis pas sûr de ses performances, alors je vais l'essayer pour obtenir plus d'informations. » L'IA de base se contentait surtout de deviner au hasard ou de s'en tenir à ce qu'elle connaissait.
Le Résultat : Dans le jeu simple, ils s'en sont bien sortis. Mais dans le jeu complexe et changeant, ils se sont perdus, ont continué à faire des erreurs et ont fini avec beaucoup moins de « trésor » (un regret plus élevé) que les humains.

2. L'IA « Réfléchie » est un Meilleur Détective

Lorsque les chercheurs ont activé les fonctionnalités de « réflexion » (en obligeant l'IA à écrire ses pensées ou à utiliser un moteur de raisonnement), le comportement a changé de manière spectaculaire.

Le Changement : L'IA a commencé à agir plus comme un humain. Elle a arrêté de deviner au hasard et a commencé à utiliser l'« exploration dirigée ». Elle a commencé à dire des choses comme : « Je ne suis pas sûr de cette machine, alors je vais la tester pour en apprendre davantage. »
Le Jeu Simple : Dans le jeu facile à deux machines, l'IA « réfléchie » est devenue presque indiscernable des humains. Elle a identifié la meilleure machine rapidement et s'y est tenue.
Le Jeu Difficile : Dans le jeu complexe à quatre machines, l'IA « réfléchie » s'est considérablement améliorée et s'est rapprochée des performances humaines, mais elle n'était toujours pas parfaite. Elle avait du mal à s'adapter aussi rapidement que les humains lorsque les règles du jeu changeaient.

3. Le Score de « Regret »

Les chercheurs ont mesuré le « regret », qui est simplement la somme d'argent (ou de points) que le joueur a perdue en ne choisissant pas la meilleure machine à chaque fois.

Humains : Ont constamment eu le regret le plus faible. Ils étaient les meilleurs pour équilibrer l'essai de nouvelles choses et le maintien du gagnant.
IA de Base : Ont eu un regret élevé dans le jeu complexe. Ils ont perdu beaucoup de temps sur de mauvaises machines.
IA Réfléchie : Ont eu un regret beaucoup plus faible. En « réfléchissant » avant d'agir, ils ont fait moins d'erreurs et se sont rapprochés du niveau de performance humain.

La Grande Conclusion

L'article conclut que l'IA n'est pas naturellement humaine dans sa manière d'explorer. Par défaut, elle a tendance à être soit trop aléatoire, soit trop rigide.

Cependant, donner à l'IA une « trace de réflexion » (en l'obligeant à raisonner à voix haute) agit comme un super-pouvoir. Cela force l'IA à ralentir, à calculer l'incertitude et à explorer d'une manière plus intelligente et plus humaine.

Dans des situations simples et stables : L'IA réfléchie peut imiter parfaitement les humains.
Dans des situations complexes et changeantes : L'IA réfléchie s'améliore considérablement, mais les humains conservent toujours un léger avantage en matière d'adaptabilité.

Les chercheurs soulignent que cela ne signifie pas que l'IA est prête à remplacer les humains dans chaque décision complexe, mais cela montre que inciter une IA à « réfléchir » est un moyen puissant de rendre ses stratégies de prise de décision plus fiables et plus humaines.

1. Énoncé du problème

L'article comble une lacune critique dans la compréhension de la capacité des modèles de langage de grande taille (LLM) à simuler de manière fiable la prise de décision humaine dans des environnements complexes, séquentiels et incertains. Plus précisément, il examine le compromis Exploration-Exploitation (E&E), un défi cognitif fondamental où les agents doivent équilibrer l'exploitation d'options connues et gratifiantes contre la recherche de nouvelles possibilités susceptibles de produire de meilleurs résultats (exploration).

Bien que les LLM soient de plus en plus utilisés comme « jumeaux numériques » pour simuler le comportement humain, il reste incertain qu'ils adoptent les mêmes stratégies adaptatives, orientées vers un but et ancrées cognitivement que les humains, en particulier dans des environnements non stationnaires. Les auteurs se demandent : Les LLM peuvent-ils simuler de manière fiable le comportement humain en matière d'E&E, et comment les capacités de « réflexion » (par exemple, la chaîne de pensée, les traces de raisonnement interne) influencent-elles ces stratégies ?

2. Méthodologie

Conception expérimentale

Les auteurs ont employé deux expériences canoniques de bandit à plusieurs bras (MAB) largement utilisées en sciences cognitives et en psychiatrie pour assurer la comparabilité avec les données humaines :

Bandit à 2 bras stationnaire : Un cadre simple avec 20 essais de 10 tours chacun. Les récompenses sont stochastiques mais stationnaires (moyenne fixe).
Bandit à 4 bras non stationnaire : Un cadre complexe avec 300 tours où les moyennes de récompense suivent une marche aléatoire gaussienne décroissante (processus de diffusion). Cela teste l'adaptabilité à des environnements changeants.

Agents et conditions

L'étude a comparé trois catégories d'agents :

Participants humains : Données provenant d'expériences de laboratoire contrôlées (Gershman 2018 ; Chakroun et al. 2020a) impliquant respectivement 45 et 31 participants.
Agents LLM : Trois familles de modèles commerciaux (ChatGPT, Gemini, DeepSeek) testées dans deux configurations :
- Modèles de base : Inférence standard (par exemple, GPT-4o-mini, Gemini-2.0-flash, DeepSeek-V3).
- Modèles de réflexion : Modèles dotés de capacités de raisonnement explicites (par exemple, GPT-o3-mini, Gemini-2.5-flash, DeepSeek-R1).
- Variations de prompt : Pour les modèles de base, les auteurs ont testé le prompting Chain-of-Thought (CoT) (« penser à voix haute ») par rapport à une réponse directe. Pour les modèles de réflexion, ils ont activé ou désactivé les modes de réflexion interne ou ajusté les budgets de réflexion.
Bases de référence algorithmiques : Algorithmes MAB standards incluant la borne de confiance supérieure (UCB), l'échantillonnage de Thompson (TS) et la stratégie $\epsilon$ -gloutonne.

Modélisation comportementale et estimation

Pour caractériser les stratégies de décision, les auteurs ont utilisé des modèles de choix interprétables issus des sciences cognitives :

Règle d'apprentissage : Un apprenant bayésien (filtre de Kalman) pour estimer les récompenses attendues ( $Q$ ) et l'incertitude ( $S$ ) pour chaque bras.
Règles de choix :
- Modèles basés sur Softmax (SM-1, SM-2, SM-3) : Intégrant des paramètres pour l'exploration aléatoire ( $\beta$ ), l'exploration dirigée / bonus d'incertitude ( $\phi$ ) et la persévérance de choix ( $\rho$ ).
- Régression Probit : Utilisée pour la tâche à 2 bras pour modéliser les différences de valeur et l'incertitude.
Estimation : Une approche bayésienne hiérarchique a été utilisée pour estimer les paramètres au niveau de la population tout en tenant compte de l'hétérogénéité individuelle. La sélection de modèle a été effectuée via la validation croisée Leave-One-Out (LOO-CV).

3. Contributions clés

Comparaison directe Humain-LLM dans des contextes complexes : Contrairement aux études antérieures limitées à des cadres à 2 bras simples ou à des benchmarks algorithmiques, ce travail fournit la première comparaison directe de LLM et d'humains dans des tâches de bandit à 4 bras stationnaires et non stationnaires utilisant des conditions expérimentales appariées.
Démêlage des capacités de « réflexion » : L'étude isole systématiquement l'impact du raisonnement en comparant les modèles de base avec un prompting CoT aux modèles de réflexion natifs avec un raisonnement interne activé. Cela va au-delà des simples métriques de performance pour analyser le mécanisme de la prise de décision.
Paramétrisation comportementale : Au lieu de simplement mesurer le regret, les auteurs projettent le comportement des LLM sur des paramètres cognitifs établis ( $\beta, \phi, \rho$ ), permettant une analyse nuancée de comment les LLM explorent (aléatoirement ou de manière dirigée) plutôt que simplement de combien bien ils performent.
Analyse de la mauvaise spécification du modèle : Les auteurs démontrent que même lorsqu'ils sont appliqués à des agents non humains (algorithmes/LLM), ces modèles cognitifs servent de « cadre de projection » valide pour extraire des signatures comportementales interprétables.

4. Résultats clés

Stratégies d'exploration

LLM de base : Présentent une exploration aléatoire significativement plus élevée et une exploration dirigée plus faible que les humains. Ils manquent de la « persévérance de choix » (répétition d'un choix) cohérente observée chez les humains.
Impact de la réflexion : L'activation de la réflexion (via CoT ou raisonnement interne) déplace le comportement des LLM vers des schémas similaires à ceux des humains :
- Cadre stationnaire : Les LLM activés à la réflexion augmentent significativement l'exploration dirigée ( $\phi$ ) et réduisent l'exploration aléatoire ( $\beta$ ), correspondant souvent ou dépassant les niveaux humains.
- Cadre non stationnaire : Bien que la réflexion améliore les performances, les LLM peinent toujours à égaler l'adaptabilité humaine. Ils échouent à engager une exploration dirigée efficace dans des environnements complexes et changeants, affichant des valeurs de $\phi$ négatives ou proches de zéro, alors que les humains maintiennent une exploration dirigée positive.

Métriques de performance (Regret et exploitation)

Stationnaire (2 bras) : Les LLM de base atteignent des niveaux de regret comparables à ceux des humains et des algorithmes. Les modèles de réflexion performent de manière similaire ou légèrement meilleure.
Non stationnaire (4 bras) :
- Humains : Atteignent le regret cumulatif le plus bas, démontrant une adaptabilité supérieure aux structures de récompense changeantes.
- LLM de base : Accumulent le regret beaucoup plus rapidement que les humains, affichant des taux d'exploitation volatils (s'engageant excessivement sur les premiers bras).
- Modèles de réflexion : Réduisent considérablement le regret par rapport aux modèles de base, rapprochant les performances des niveaux humains (par exemple, Gemini-2.5-flash et DeepSeek-R1), mais ils restent en retrait derrière l'adaptabilité humaine dans les scénarios les plus complexes.

Dynamiques à long terme

Dans des tâches stationnaires prolongées (300 tours), les modèles de réflexion stabilisent leurs paramètres comportementaux au fil du temps, tandis que les modèles de base montrent une variance élevée.
L'analyse utilisant le cadre QCARE révèle que les modèles de base souffrent souvent d'une « sur-exploration » (aucun déclin du bruit structurel), tandis que les modèles de réflexion atteignent un meilleur compromis plus proche de l'optimum théorique ( $\alpha \approx 0.5$ ).

5. Signification et implications

Limites de la simulation humaine : Bien que les LLM puissent imiter les stratégies d'E&E humaines dans des environnements simples et statiques lorsqu'ils sont incités à « réfléchir », ils manquent actuellement de l'adaptabilité robuste requise pour des scénarios réels complexes et non stationnaires. Ils peinent à maintenir une exploration orientée vers un but lorsque l'environnement change.
Rôle du raisonnement : L'étude fournit des preuves empiriques que les capacités de raisonnement (et non seulement le hasard de la génération) sont le moteur principal des stratégies d'E&E améliorées dans les LLM. Activer les traces de réflexion est une méthode peu coûteuse et efficace pour aligner le comportement des LLM sur une prise de décision de type humain sans modifications architecturales.
Applications pratiques : Pour les systèmes de prise de décision automatisée (par exemple, découverte scientifique, allocation dynamique de ressources), compter sur des LLM de base dans des environnements non stationnaires peut conduire à des résultats sous-optimaux. Cependant, l'intégration de modules de raisonnement explicites ou l'ingénierie de prompts peut atténuer considérablement ces risques.
Voies futures : L'article suggère que les travaux futurs devraient se concentrer sur le fine-tuning des LLM pour mieux gérer la non-stationnarité et l'intégration de la variabilité démographique/individuelle dans les prompts de simulation pour améliorer la fidélité des « jumeaux numériques ».

En résumé, l'article établit que si les LLM sont de puissants simulateurs de comportement humain, leurs capacités actuelles de « réflexion » sont une arme à double tranchant : elles comblent l'écart dans les tâches simples mais révèlent une limitation fondamentale dans l'adaptation à l'incertitude complexe et dynamique par rapport à l'intuition humaine.