Resumo Técnico: Você deve usar seu Large Language Model para Explorar ou Explotar?

Declaração do Problema

O artigo aborda a aplicação de Large Language Models (LLMs) a problemas de tomada de decisão caracterizados pelo tradeoff entre exploração e explotação (exploration-exploitation), especificamente dentro da estrutura de multi-armed bandits (MAB) e contextual bandits (CB). Enquanto pesquisas anteriores focaram amplamente em avaliar a capacidade dos LLMs de resolver essas tarefas de ponta a ponta via in-context learning (fornecendo o histórico bruto e os parâmetros em um único prompt), este trabalho argumenta que tais abordagens monolíticas frequentemente falham. Em vez disso, os autores propõem uma avaliação sistemática de LLMs em "silos": avaliando suas capacidades distintas como oráculos de explotação (selecionando a melhor ação dado um histórico e contexto atual) e oráculos de exploração (sugerindo um subconjunto pequeno e de alta qualidade de candidatos de um vasto espaço de ações para ser processado por um algoritmo de bandit padrão).

Metodologia

1. LLMs como Oráculos de Explotação

Os autores avaliam a capacidade de vários LLMs (incluindo GPT-3.5, GPT-4, GPT-4O, modelos da família GPT-5, Qwen-2.5, Gemma-3, Mistral-7B e DeepSeek-R1) de identificar a ação ótima dado um histórico de tuplas (contexto, ação, recompensa).

• Tarefas:
  • MAB Exploitation: Selecionar o braço com a maior recompensa empírica de um conjunto fixo de braços baseado em recompensas de Bernoulli históricas.
  • Contextual Bandit (CB) Exploitation: Selecionar o melhor braço para um novo contexto $z_{T+1}$ dado um histórico de contextos e recompensas. Isso inclui tanto CBs lineares (onde a recompensa esperada é uma função linear do contexto) quanto CBs não lineares/baseados em texto (onde os contextos são descrições semânticas e as recompensas são funções não lineares).
• Mitigações: Para lidar com limitações de janela de contexto e déficits de raciocínio, os autores testam:
  • Uso de Ferramentas (Tool Use): Fornecer ao LLM acesso a um interpretador de código Python para realizar cálculos.
  • Sumarização In-Context: Reduzir o tamanho do histórico via $k$-nearest neighbors ou $k$-means clustering de contextos antes de alimentar o LLM.
• Baselines: O desempenho é comparado contra regressão linear simples (para tarefas lineares) e o acaso (random guessing).

2. LLMs como Oráculos de Exploração

Os autores avaliam a capacidade dos LLMs de "discretizar" grandes espaços de ação semanticamente ricos em um conjunto gerenciável de candidatos para um algoritmo de bandit padrão (UCB1).

• Tarefas:
  • MovieLens: Recomendar um subconjunto de filmes de um grande catálogo com base em avaliações de usuários.
  • arXiv: Sugerir títulos para um artigo dado o seu resumo (abstract).
  • Philosophical Q/A: Gerar respostas diversas para perguntas abertas.
• Avaliação: O LLM gera $K$ ações candidatas. Um algoritmo UCB1 padrão roda por $T$ rodadas nestes $K$ candidatos. O desempenho é medido pela recompensa cumulativa (denoised) alcançada.
• Baselines: Seleção aleatória de braços e, para a tarefa do arXiv, um baseline de Maximal Marginal Relevance (MMR).

Contribuições Principais e Resultados

1. Desempenho de Explotação

• Capacidade do Modelo: Modelos de raciocínio de fronteira (especificamente a família GPT-5) mostram promessa para tarefas de explotação, alcançando um desempenho quase perfeito em puzzles de MAB de pequena escala. No entanto, modelos de não-raciocínio (GPT-3.5, GPT-4) lutam significativamente, com o desempenho degradando conforme o tamanho do histórico ($T$) e a dimensionalidade do problema ($d, K$) aumentam.
• Impacto das Mitigações:
  • Uso de Ferramentas: O acesso a um interpretador de código melhora significativamente o desempenho em tarefas de CB linear, às vezes permitindo que o GPT-4 supere o GPT-5. No entanto, isso ocorre a um alto custo de latência e despesa.
  • Sumarização: A sumarização in-context ($k$-nearest, $k$-means) ajuda a lidar com históricos grandes, mas não preenche totalmente a lacuna de desempenho.
• O Baseline Linear: Uma descoberta crítica é que, mesmo com mitigações, todos os LLMs estudados performam pior do que um simples baseline de regressão linear em tarefas lineares. Em tarefas baseadas em texto e não lineares, os LLMs são significativamente superados pela regressão linear, apesar da natureza não linear da função de recompensa.
• Custo/Latência: O artigo nota que a explotação baseada em LLM é ordens de magnitude mais lenta e cara que solvers de regressão tradicionais. Por exemplo, uma única execução com um interpretador de código levou mais de 6 horas e custou ~$70, enquanto solvers de regressão rodam em milissegundos.

2. Desempenho de Exploração

• Vantagem Semântica: Os LLMs demonstram sucesso robusto como oráculos de exploração. Eles superam significativamente os baselines não-LLM (seleção aleatória e, no caso do MovieLens, discretização baseada em gênero) em todos os tipos de tarefas.
• Mecanismo: Os LLMs aproveitam seu "viés indutivo" pré-treinado e compreensão semântica para propor candidatos de regiões de alta recompensa no espaço de ações, atuando efetivamente como um mecanismo de "discretização inteligente".
• Estratégias de Prompting: Várias estratégias de prompting (all-at-once vs 1-by-1, com/sem incentivo à diversidade) produziram resultados semelhantes, sugerindo que a capacidade central reside no conhecimento inerente do modelo, e não em engenharia de prompt específica.

Significância e Alegações

O artigo afirma fornecer uma avaliação sistemática de LLMs isolados de outros componentes de tomada de decisão, oferecendo uma visão matizada de suas limitações e forças atuais:

1. Limitações de Explotação: Os atuais LLMs de fronteira ainda não são confiáveis como oráculos de explotação de propósito geral para tomada de decisão complexa ou de larga escala. Eles falham em igualar a eficiência e precisão de métodos estatísticos simples (como regressão linear) e sofrem com latência e custo proibitivos. Os autores sugerem que a inteligência "generalista" dos LLMs ainda não se traduz em tomada de decisão estatística ótima sem treinamento customizado ou forte aumento de ferramentas.
2. Forças de Exploração: Por outro lado, os LLMs são altamente eficazes como oráculos de exploração. Sua capacidade de entender o significado semântico permite que naveguem em espaços de ação grandes e não estruturados onde algoritmos padrão falham. Isso apoia o uso de LLMs como "priors de ação" ou "geradores de propostas" dentro de um framework de agente maior, em vez de serem o único tomador de decisão.
3. Perspectiva Futura: Os autores alertam contra o "otimismo extremo" de que os LLMs dominariam tarefas simples de tomada de decisão. Seus resultados indicam que as dificuldades na explotação persistem por mais tempo do que o antecipado. O caminho proposto é utilizar LLMs para discretização inteligente em espaços de ação ricos e baseados em texto, enquanto se confia em algoritmos tradicionais para a fase de explotação real.

Em resumo, o artigo argumenta que, embora os LLMs sejam atualmente ruins no trabalho pesado estatístico exigido pela explotação, eles são unicamente valiosos para o trabalho pesado semântico exigido pela exploração em espaços de ação grandes e complexos.