Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments

1. Probleemstelling

Het artikel adresseert een kritieke lacune in het begrijpen of Large Language Models (LLM's) menselijke besluitvorming betrouwbaar kunnen simuleren in complexe, sequentiële omgevingen onder onzekerheid. Specifiek onderzoekt het de Exploration-Exploitation (E&E)-afweging, een fundamentele cognitieve uitdaging waarbij agenten moeten balanceren tussen het benutten van bekende belonende opties (exploitatie) en het zoeken naar nieuwe mogelijkheden die betere uitkomsten kunnen opleveren (exploratie).

Hoewel LLM's steeds vaker worden gebruikt als "digitale tweelingen" om menselijk gedrag te simuleren, is het onduidelijk of ze dezelfde adaptieve, doelgerichte en cognitief onderbouwde strategieën vertonen als mensen, vooral in niet-stationaire omgevingen. De auteurs vragen zich af: Kunnen LLM's menselijk E&E-gedrag betrouwbaar simuleren, en hoe beïnvloeden "denk"-capaciteiten (bijv. Chain-of-Thought, interne redeneersporen) deze strategieën?

2. Methodologie

Experimenteel Ontwerp

De auteurs gebruikten twee canonieke Multi-Armed Bandit (MAB)-experimenten die wijdverbreid zijn in de cognitiewetenschap en psychiatrie om vergelijkbaarheid met menselijke data te waarborgen:

1. Stationaire 2-Armed Bandit: Een eenvoudige setting met 20 trials van elk 10 rondes. Beloningen zijn stochastisch maar stationair (vaste gemiddelden).
2. Niet-stationaire 4-Armed Bandit: Een complexe setting met 300 rondes waarbij de gemiddelde beloningen een vervagende Gaussische random walk volgen (diffusieproces). Dit test aanpassingsvermogen aan veranderende omgevingen.

Agenten en Condities

De studie vergeleek drie categorieën agenten:

• Menselijke Deelnemers: Data uit gecontroleerde labexperimenten (Gershman 2018; Chakroun et al. 2020a) met respectievelijk 45 en 31 deelnemers.
• LLM-agenten: Drie commerciële modelfamilies (ChatGPT, Gemini, DeepSeek) getest in twee configuraties:
  • Basismodellen: Standaard inferentie (bijv. GPT-4o-mini, Gemini-2.0-flash, DeepSeek-V3).
  • Denkmodellen: Modellen met expliciete redeneercapaciteiten (bijv. GPT-o3-mini, Gemini-2.5-flash, DeepSeek-R1).
  • Promptvariaties: Voor basismodellen testten de auteurs Chain-of-Thought (CoT) prompting ("hardop denken") versus direct antwoorden. Voor denkmodellen schakelden ze interne denkmodi in of pasden ze denkbudgetten aan.
• Algoritmische Baselines: Standaard MAB-algoritmen, waaronder Upper Confidence Bound (UCB), Thompson Sampling (TS) en $\epsilon$-greedy.

Gedragsmodellering en Schatting

Om besluitstrategieën te karakteriseren, gebruikten de auteurs interpreteerbare keuzemodellen uit de cognitiewetenschap:

• Leerrule: Een Bayesiaanse leraar (Kalman-filter) om verwachte beloningen ($Q$) en onzekerheid ($S$) voor elke arm te schatten.
• Keuzeregels:
  • Op Softmax gebaseerde modellen (SM-1, SM-2, SM-3): Met parameters voor willekeurige exploratie ($\beta$), gerichte exploratie/onzekerheidsbonus ($\phi$) en keuzepersistatie ($\rho$).
  • Probit-regressie: Gebruikt voor de 2-armtaak om waardeverschillen en onzekerheid te modelleren.
• Schatting: Een Hiërarchisch Bayesiaanse aanpak werd gebruikt om parameters op populatieniveau te schatten, rekening houdend met individuele heterogeniteit. Modelselectie werd uitgevoerd via Leave-One-Out Cross-Validation (LOO-CV).

3. Belangrijkste Bijdragen

1. Directe Mens-LLM-vergelijking in Complexe Settings: In tegenstelling tot eerdere studies die beperkt waren tot eenvoudige 2-armsettings of algoritmische benchmarks, biedt dit werk de eerste directe vergelijking van LLM's en mensen in zowel stationaire als niet-stationaire 4-arm bandit-taken met gebruik van gelijkgestemde experimentele condities.
2. Ontwarren van "Denk"-capaciteiten: De studie isoleert systematisch de impact van redeneren door basismodellen met CoT-prompting te vergelijken met native "denk"-modellen met ingeschakelde interne redenering. Dit gaat verder dan simpele prestatie-metrics om het mechanisme van besluitvorming te analyseren.
3. Gedragsparametrisatie: In plaats van alleen regret te meten, projecteren de auteurs LLM-gedrag op gevestigde cognitieve parameters ($\beta, \phi, \rho$), wat een genuanceerde analyse mogelijk maakt van hoe LLM's exploreren (willekeurig versus gericht) in plaats van alleen hoe goed ze presteren.
4. Analyse van Modelmisspecificatie: De auteurs demonstreren dat zelfs wanneer toegepast op niet-menselijke agenten (algoritmen/LLM's), deze cognitieve modellen dienen als een geldig "projectieframework" om interpreteerbare gedragskenmerken te extraheren.

4. Belangrijkste Resultaten

Exploratiestrategieën

• Basis-LLM's: Vertonen significant hogere willekeurige exploratie en lagere gerichte exploratie in vergelijking met mensen. Ze missen de consistente "keuzepersistatie" (herhalen van een keuze) die bij mensen wordt waargenomen.
• Impact van Denken: Het inschakelen van denken (via CoT of interne redenering) verschuift LLM-gedrag naar menselijke patronen:
  • Stationaire Setting: Denk-geactiveerde LLM's verhogen gerichte exploratie ($\phi$) significant en verminderen willekeurige exploratie ($\beta$), vaak overeenkomend met of zelfs overtreffend menselijke niveaus.
  • Niet-stationaire Setting: Hoewel denken de prestaties verbetert, worstelen LLM's nog steeds om menselijk aanpassingsvermogen te evenaren. Ze slagen er niet in om effectieve gerichte exploratie aan te gaan in complexe, veranderende omgevingen, met negatieve of bijna-null $\phi$-waarden, terwijl mensen positieve gerichte exploratie handhaven.

Prestatiemetrics (Regret en Exploitatie)

• Stationair (2-Armed): Basis-LLM's bereiken regretniveaus vergelijkbaar met mensen en algoritmen. Denkmodellen presteren vergelijkbaar of iets beter.
• Niet-stationair (4-Armed):
  • Mensen: Bereiken het laagste cumulatieve regret, wat superieur aanpassingsvermogen aan veranderende beloningsstructuren aantoont.
  • Basis-LLM's: Accumuleren veel sneller regret dan mensen, met volatiel exploitatieratio's (te vroeg vastzitten aan vroege armen).
  • Denkmodellen: Verminderen regret aanzienlijk in vergelijking met basismodellen, waardoor de prestaties dichter bij menselijke niveaus komen (bijv. Gemini-2.5-flash en DeepSeek-R1), maar ze blijven achter bij menselijk aanpassingsvermogen in de meest complexe scenario's.

Langetermijndynamiek

• In uitgebreide stationaire taken (300 rondes) stabiliseren denkmodellen hun gedragsparameters in de loop van de tijd, terwijl basismodellen hoge variantie vertonen.
• Analyse met het QCARE-framework onthult dat basismodellen vaak lijden aan "over-exploratie" (geen afname in structurele ruis), terwijl denkmodellen een betere afweging bereiken die dichter bij het theoretische optimum ligt ($\alpha \approx 0.5$).

5. Betekenis en Implicaties

• Grenzen van Menselijke Simulatie: Hoewel LLM's menselijke E&E-strategieën kunnen nabootsen in eenvoudige, statische omgevingen wanneer ze worden geprompt om te "denken", missen ze momenteel het robuuste aanpassingsvermogen dat nodig is voor complexe, niet-stationaire real-world scenario's. Ze worstelen om doelgerichte exploratie te handhaven wanneer de omgeving verandert.
• Rol van Redeneren: De studie levert empirisch bewijs dat redeneercapaciteiten (niet alleen generatierandomiteit) de primaire drijver zijn van verbeterde E&E-strategieën in LLM's. Het inschakelen van denksporen is een kosteneffectieve methode om LLM-gedrag af te stemmen op menselijke besluitvorming zonder architecturale wijzigingen.
• Praktische Toepassingen: Voor geautomatiseerde besluitvormingssystemen (bijv. wetenschappelijke ontdekking, dynamische resourceallocatie) kan het vertrouwen op basis-LLM's in niet-stationaire omgevingen leiden tot suboptimale uitkomsten. Het integreren van expliciete redeneermodules of prompt engineering kan deze risico's echter aanzienlijk mitigeren.
• Toekomstige Richtingen: Het artikel suggereert dat toekomstig werk zich moet richten op het fine-tunen van LLM's om beter om te gaan met niet-stationariteit en het incorporeren van demografische/individuele variabiliteit in simulatieprompts om de fideliteit van "digitale tweelingen" te verbeteren.

Kortom, het artikel stelt vast dat hoewel LLM's krachtige simulators van menselijk gedrag zijn, hun huidige "denk"-capaciteiten een tweesnijdend zwaard zijn: ze overbruggen de kloof in eenvoudige taken, maar onthullen een fundamentele beperking in het aanpassen aan complexe, dynamische onzekerheid in vergelijking met menselijke intuïtie.