Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments

1. Declaração do Problema

O artigo aborda uma lacuna crítica na compreensão de se os Modelos de Linguagem de Grande Escala (LLMs) podem simular de forma confiável a tomada de decisão humana em ambientes complexos, sequenciais e sob incerteza. Especificamente, investiga o tradeoff Exploração-Exploração (E&E), um desafio cognitivo fundamental onde os agentes devem equilibrar a exploração de opções recompensadoras conhecidas (exploração) contra a busca por novas possibilidades que possam gerar melhores resultados (exploração).

Embora os LLMs sejam cada vez mais utilizados como "gêmeos digitais" para simular o comportamento humano, permanece incerto se eles exibem as mesmas estratégias adaptativas, orientadas a objetivos e fundamentadas cognitivamente que os humanos, particularmente em ambientes não estacionários. Os autores perguntam: Os LLMs podem simular de forma confiável o comportamento humano de E&E, e como as capacidades de "pensamento" (por exemplo, Cadeia de Pensamento, traços de raciocínio interno) influenciam essas estratégias?

2. Metodologia

Design Experimental

Os autores empregaram dois experimentos canônicos de Bandit Multi-Braço (MAB) amplamente utilizados na ciência cognitiva e psiquiatria para garantir comparabilidade com dados humanos:

1. Bandit de 2 Braços Estacionário: Um cenário simples com 20 tentativas de 10 rodadas cada. As recompensas são estocásticas, mas estacionárias (média fixa).
2. Bandit de 4 Braços Não Estacionário: Um cenário complexo com 300 rodadas onde as médias de recompensa seguem um passeio aleatório Gaussiano decrescente (processo de difusão). Isso testa a adaptabilidade a ambientes em mudança.

Agentes e Condições

O estudo comparou três categorias de agentes:

• Participantes Humanos: Dados de experimentos de laboratório controlados (Gershman 2018; Chakroun et al. 2020a) envolvendo 45 e 31 participantes, respectivamente.
• Agentes LLM: Três famílias de modelos comerciais (ChatGPT, Gemini, DeepSeek) testadas em duas configurações:
  • Modelos Básicos: Inferência padrão (por exemplo, GPT-4o-mini, Gemini-2.0-flash, DeepSeek-V3).
  • Modelos de Pensamento: Modelos com capacidades explícitas de raciocínio (por exemplo, GPT-o3-mini, Gemini-2.5-flash, DeepSeek-R1).
  • Variações de Prompting: Para modelos básicos, os autores testaram o prompting de Cadeia de Pensamento (CoT) ("pensar em voz alta") versus respostas diretas. Para modelos de pensamento, eles alternaram modos de pensamento interno ou ajustaram orçamentos de pensamento.
• Baselines Algorítmicas: Algoritmos MAB padrão, incluindo Upper Confidence Bound (UCB), Thompson Sampling (TS) e $\epsilon$-greedy.

Modelagem Comportamental e Estimação

Para caracterizar estratégias de decisão, os autores utilizaram modelos de escolha interpretáveis da ciência cognitiva:

• Regra de Aprendizado: Um aprendiz Bayesiano (filtro de Kalman) para estimar recompensas esperadas ($Q$) e incerteza ($S$) para cada braço.
• Regras de Escolha:
  • Modelos baseados em Softmax (SM-1, SM-2, SM-3): Incorporando parâmetros para exploração aleatória ($\beta$), exploração direcionada/bônus de incerteza ($\phi$) e perseverança de escolha ($\rho$).
  • Regressão Probit: Utilizada para a tarefa de 2 braços para modelar diferenças de valor e incerteza.
• Estimação: Uma abordagem Bayesiana Hierárquica foi utilizada para estimar parâmetros em nível populacional, levando em conta a heterogeneidade individual. A seleção de modelos foi realizada via Validação Cruzada Leave-One-Out (LOO-CV).

3. Principais Contribuições

1. Comparação Direta Humano-LLM em Cenários Complexos: Ao contrário de estudos anteriores limitados a cenários simples de 2 braços ou benchmarks algorítmicos, este trabalho fornece a primeira comparação direta de LLMs e humanos em tarefas de bandit de 4 braços, tanto estacionárias quanto não estacionárias, usando condições experimentais correspondentes.
2. Desvendar Capacidades de "Pensamento": O estudo isola sistematicamente o impacto do raciocínio comparando modelos básicos com prompting CoT contra modelos nativos de "pensamento" com raciocínio interno alternado. Isso vai além de métricas simples de desempenho para analisar o mecanismo da tomada de decisão.
3. Parametrização Comportamental: Em vez de apenas medir o arrependimento, os autores mapeiam o comportamento dos LLMs em parâmetros cognitivos estabelecidos ($\beta, \phi, \rho$), permitindo uma análise nuances de como os LLMs exploram (aleatoriamente vs. direcionalmente) em vez de apenas quão bem eles performam.
4. Análise de Especificação de Modelo Incorreta: Os autores demonstram que, mesmo quando aplicados a agentes não humanos (algoritmos/LLMs), esses modelos cognitivos servem como um "framework de projeção" válido para extrair assinaturas comportamentais interpretáveis.

4. Principais Resultados

Estratégias de Exploração

• LLMs Básicos: Exibem exploração aleatória significativamente maior e exploração direcionada menor em comparação com humanos. Eles carecem da "perseverança de escolha" consistente (repetir uma escolha) observada em humanos.
• Impacto do Pensamento: Habilitar o pensamento (via CoT ou raciocínio interno) desloca o comportamento dos LLMs para padrões semelhantes aos humanos:
  • Cenário Estacionário: LLMs habilitados para pensamento aumentam significativamente a exploração direcionada ($\phi$) e reduzem a exploração aleatória ($\beta$), frequentemente igualando ou superando os níveis humanos.
  • Cenário Não Estacionário: Embora o pensamento melhore o desempenho, os LLMs ainda lutam para igualar a adaptabilidade humana. Eles falham em engajar em exploração direcionada eficaz em ambientes complexos e em mudança, mostrando valores de $\phi$ negativos ou próximos de zero, enquanto os humanos mantêm exploração direcionada positiva.

Métricas de Desempenho (Arrependimento e Exploração)

• Estacionário (2 Braços): LLMs básicos alcançam níveis de arrependimento comparáveis a humanos e algoritmos. Modelos de pensamento performam de forma similar ou ligeiramente melhor.
• Não Estacionário (4 Braços):
  • Humanos: Alcançam o menor arrependimento cumulativo, demonstrando adaptabilidade superior a estruturas de recompensa em mudança.
  • LLMs Básicos: Acumulam arrependimento muito mais rápido que humanos, exibindo taxas de exploração voláteis (comprometimento excessivo com braços iniciais).
  • Modelos de Pensamento: Reduzem significativamente o arrependimento em comparação com modelos básicos, aproximando o desempenho dos níveis humanos (por exemplo, Gemini-2.5-flash e DeepSeek-R1), mas ainda ficam atrás da adaptabilidade humana nos cenários mais complexos.

Dinâmicas de Longo Prazo

• Em tarefas estacionárias estendidas (300 rodadas), modelos de pensamento estabilizam seus parâmetros comportamentais ao longo do tempo, enquanto modelos básicos mostram alta variância.
• Análise usando o framework QCARE revela que modelos básicos frequentemente sofrem de "superexploração" (sem decaimento no ruído estrutural), enquanto modelos de pensamento alcançam um melhor trade-off, mais próximo do ótimo teórico ($\alpha \approx 0.5$).

5. Significado e Implicações

• Limites da Simulação Humana: Embora os LLMs possam imitar estratégias humanas de E&E em ambientes simples e estáticos quando solicitados a "pensar", eles atualmente carecem da adaptabilidade robusta necessária para cenários reais complexos e não estacionários. Eles lutam para manter a exploração orientada a objetivos quando o ambiente muda.
• Papel do Raciocínio: O estudo fornece evidências empíricas de que as capacidades de raciocínio (não apenas a aleatoriedade de geração) são o principal motor de estratégias de E&E aprimoradas em LLMs. Habilitar traços de pensamento é um método de baixo custo e eficaz para alinhar o comportamento dos LLMs com a tomada de decisão semelhante à humana, sem alterações arquitetônicas.
• Aplicações Práticas: Para sistemas de tomada de decisão automatizada (por exemplo, descoberta científica, alocação dinâmica de recursos), confiar em LLMs básicos em ambientes não estacionários pode levar a resultados subótimos. No entanto, integrar módulos de raciocínio explícito ou engenharia de prompts pode mitigar significativamente esses riscos.
• Direções Futuras: O artigo sugere que trabalhos futuros devem focar no ajuste fino de LLMs para lidar melhor com não estacionariedade e incorporar variabilidade demográfica/individual em prompts de simulação para melhorar a fidelidade dos "gêmeos digitais".

Em resumo, o artigo estabelece que, embora os LLMs sejam simuladores poderosos do comportamento humano, suas atuais capacidades de "pensamento" são uma faca de dois gumes: eles fecham a lacuna em tarefas simples, mas revelam uma limitação fundamental na adaptação a incertezas complexas e dinâmicas em comparação com a intuição humana.