RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments

O artigo apresenta o RetailBench, um benchmark de alta fidelidade e o framework Evolving Strategy & Execution para avaliar a tomada de decisão autônoma de longo prazo de agentes baseados em LLMs em ambientes de varejo realistas, revelando que, embora a abordagem proposta melhore a estabilidade operacional, os modelos atuais ainda apresentam limitações fundamentais em tarefas complexas e de múltiplos fatores.

O essencial

🛒 O Desafio: Gerenciar um Supermercado com um "Cérebro" de IA

Imagine que você contrata um gerente de supermercado que é um gênio da matemática e da leitura, mas que nunca trabalhou na vida real. Ele é uma Inteligência Artificial (IA) baseada em Grandes Modelos de Linguagem (LLM).

O problema é que, embora essa IA seja ótima para tarefas rápidas (como "calcular o troco" ou "escrever um e-mail"), ela tende a perder o foco quando precisa gerenciar o negócio por meses ou anos. Ela esquece o plano, toma decisões estranhas e, eventualmente, a loja finge falência.

Os autores deste artigo criaram um campo de provas chamado RetailBench para testar exatamente isso: até onde essas IAs conseguem aguentar o tranco em um ambiente realista e caótico.

🧪 O Laboratório: O "Simulador de Supermercado"

Para testar a IA, eles criaram um mundo virtual muito detalhado, como um jogo de simulação, mas com regras econômicas reais:

1. O Cenário: Uma loja de supermercado que precisa sobreviver por 180 dias.
2. Os Inimigos:
   • Clientes imprevisíveis: Às vezes a loja está cheia, às vezes vazia.
   • Notícias do mundo: Uma crise econômica ou um viral na internet pode mudar o que as pessoas compram.
   • Produtos vencendo: Se você não vender iogurte a tempo, ele estraga e você perde dinheiro.
   • Aluguel diário: A loja precisa pagar um aluguel fixo todo dia. Se o dinheiro acabar, o jogo termina.
3. A Tarefa da IA: Ela precisa decidir o preço dos produtos, pedir reposição de estoque, ler avaliações de clientes e gerenciar o caixa, tudo isso sozinho, dia após dia.

🛠️ A Solução Proposta: "Planejador vs. Executor"

O artigo propõe uma nova maneira de fazer a IA trabalhar, chamada Evolving Strategy & Execution (Estratégia Evolutiva e Execução).

A Analogia do Capitão e do Marinheiro:
Imagine um navio no meio do oceano (o mercado).

• O Método Antigo (Reflexão): O capitão (a IA) tenta navegar, ajustar a vela, olhar o mapa e corrigir o leme ao mesmo tempo, a cada segundo. Isso causa confusão. Ele muda de ideia a cada minuto, o navio balança e ele se perde.
• O Novo Método (Evolving Strategy): Eles separam as funções:
  1. O Capitão (Fase de Estratégia): No início do dia, ele analisa o mapa, o clima e o histórico. Ele traça um plano claro para o dia todo (ex: "Hoje vamos focar em vender frutas e não gastar muito com peixes"). Ele não mexe no leme ainda.
  2. O Marinheiro (Fase de Execução): O marinheiro recebe o plano do capitão e apenas segue as instruções. Ele não muda o plano no meio do caminho, a menos que algo muito grave aconteça.

Essa separação evita que a IA fique "alucinando" e mudando de ideia a cada minuto, mantendo a estabilidade da loja.

📊 O Que Eles Descobriram? (Os Resultados)

Eles testaram 8 IAs diferentes (como GPT-5, Kimi, Gemini, etc.) nesse simulador. Os resultados foram mistos:

1. O Método Funciona (Mas não é mágica): A nova forma de organizar a IA (Capitão + Marinheiro) fez as lojas sobreviverem mais tempo e lucrarem mais do que os métodos antigos.
2. O "Parede de Teto" da Complexidade:
   • Em cenários fáceis (poucos produtos, sem notícias), as IAs vão bem.
   • Em cenários difíceis (20 categorias de produtos, notícias diárias, fornecedores mudando de preço), o desempenho cai drasticamente.
   • Mesmo as IAs mais inteligentes do mundo hoje não conseguem gerenciar um supermercado complexo por muito tempo. Elas começam a cometer erros bobos, como:
     • Alucinações: Criar produtos que não existem na prateleira.
     • Decisões Irracionais: Pedir 18.000 unidades de um único item (o que lotaria o armazém) ou colocar um preço de R$ 999,00 em um item que custa R$ 0,25.
     • Esquecimento: Ignorar que o aluguel precisa ser pago e falir.

🎯 A Conclusão em Uma Frase

Embora tenhamos IAs incríveis que podem escrever poemas ou codificar programas, elas ainda não são "gerentes de negócios" autônomos. Elas têm dificuldade em manter um plano de longo prazo quando o mundo ao redor muda rápido e é cheio de detalhes.

O RetailBench é como um "exame de direção" para IAs: mostra que, embora elas saibam dirigir em uma pista vazia, elas ainda tropeçam no trânsito pesado e nas curvas fechadas da economia real.

💡 Por que isso importa?

Para que as IAs possam realmente gerenciar empresas, hospitais ou cidades no futuro, precisamos resolver esses problemas de estabilidade e racionalidade econômica. Este artigo nos diz: "Não estamos prontos para entregar o controle total a uma IA ainda, mas estamos aprendendo como organizá-las para que não causem desastres."

Resumo técnico

Resumo Técnico: RetailBench

1. O Problema

Embora os Agentes baseados em Grandes Modelos de Linguagem (LLMs) tenham demonstrado sucesso notável em tarefas de curto horizonte e altamente estruturadas (como edição de código ou resolução de problemas matemáticos), sua capacidade de manter tomada de decisão coerente em horizontes longos dentro de ambientes realistas e dinâmicos permanece um desafio aberto.

A literatura atual carece de benchmarks que exijam:

• Planejamento de longo prazo em ambientes não estacionários.
• Alinhamento persistente de objetivos econômicos.
• Consistência comportamental sob condições estocásticas (demanda variável, eventos externos).
• A integração de informações heterogêneas ao longo do tempo.

O artigo identifica que os agentes atuais frequentemente falham em manter estratégias estáveis, sofrendo de "drift" de objetivos, acumulação de erros e comportamentos economicamente irracionais quando submetidos a simulações comerciais contínuas.

2. Metodologia

2.1. RetailBench (O Ambiente)
Os autores introduzem o RetailBench, um benchmark de alta fidelidade baseado em dados comerciais reais (conjunto de dados Dominick's) e princípios de modelagem econômica.

• Cenário: Operação de um supermercado simulado onde um agente autônomo gerencia uma loja por um horizonte de mais de 1.000 dias.
• Processo de Decisão (MDP): O ambiente é modelado como um Processo de Decisão de Markov (MDP). A cada dia, o agente observa o estado (estoque, finanças, histórico de vendas, notícias) e executa uma sequência de ações intra-diárias antes de finalizar o dia.
• Estados e Ações:
  • Estado: Inclui atributos de produtos, status de estoque (com rastreamento de validade), cadeia de suprimentos (preços e qualidade dos fornecedores), sinais de demanda (tráfego, reviews) e estado financeiro.
  • Ações: Ajuste de preços, pedidos de reposição, consultas de informação, operações de memória e término do dia.
• Condições de Falha: O episódio termina se a loja não conseguir pagar o aluguel diário por 5 dias consecutivos.
• Configurações de Dificuldade:
  • Fácil: 5 categorias, sem notícias dinâmicas.
  • Médio: 20 categorias, sem notícias dinâmicas.
  • Difícil: 20 categorias, com eventos de notícias dinâmicos e relações preço-qualidade de fornecedores variáveis no tempo.

2.2. Framework: Evolving Strategy & Execution (Evolução de Estratégia e Execução)
Para abordar a instabilidade em horizontes longos, os autores propõem um novo framework que separa explicitamente o raciocínio estratégico da execução de ações:

1. Fase de Estratégia Evolutiva (Diária): O agente analisa o feedback ambiental e histórico para revisar ou manter uma estratégia global persistente. Nesta fase, o agente pode ler/escrever memória e consultar ferramentas, mas não pode executar ações que alterem o ambiente diretamente. A estratégia é atualizada apenas uma vez por dia.
2. Fase de Execução (Intra-diária): A estratégia definida na fase anterior é tratada como imutável. O agente gera ações concretas (pedidos, ajustes de preço) estritamente alinhadas a essa estratégia, sem revisões de alto nível durante o dia.

• Objetivo: Prevenir a oscilação excessiva e o drift de objetivos, permitindo que a estratégia evolua em uma escala temporal diferente (diária) da execução (intra-diária).

2.3. Avaliação

• Modelos: 8 LLMs de última geração (incluindo GPT-5.2, Kimi-K2, GLM-4.6, DeepSeek-V3.2, etc.).
• Comparação: O framework proposto foi comparado com Reflection (em nível de passo e diário) e Plan-and-Act.
• Métricas: Dias operados, vendas diárias médias, receita diária, taxa de validade (produtos expirados) e taxa de devolução.

3. Contribuições Principais

1. RetailBench: Um novo benchmark de alta fidelidade para avaliar a tomada de decisão autônoma de longo prazo em ambientes de varejo realistas, superando as limitações de benchmarks anteriores focados em tarefas de curto prazo.
2. Framework Evolving Strategy & Execution: Uma arquitetura inovadora que desacopla a evolução estratégica da execução tática, demonstrando maior estabilidade operacional e interpretabilidade.
3. Análise de Falhas Sistemáticas: Identificação de modos de falha recorrentes em agentes LLMs, incluindo:
   • Incapacidade de escalar a tomada de decisão conforme a complexidade do ambiente aumenta.
   • Cobertura incompleta de informações (ignorar reviews recentes ou taxas de devolução).
   • Instabilidade temporal na execução (mudanças frequentes de estratégia de um dia para o outro).
   • Alucinações (referir-se a SKUs inexistentes) e ações inválidas (quantidades de pedido absurdas, preços negativos).

4. Resultados Experimentais

• Desempenho do Framework: O framework Evolving Strategy & Execution superou consistentemente as abordagens baseadas em Reflection e Plan-and-Act. Ele resultou em:
  • Maior número de dias operados (estabilidade).
  • Maiores vendas e receitas diárias.
  • Redução significativa nas taxas de produtos expirados e devoluções.
• Limitações dos Modelos Atuais:
  • Degradação com Complexidade: À medida que a dificuldade aumentava (de Easy para Hard), o desempenho de todos os modelos caiu drasticamente. A capacidade de decisão não escalou proporcionalmente ao aumento do espaço de decisão (número de SKUs e categorias).
  • Gap em Relação ao Ótimo: Mesmo os melhores modelos (como GPT-5.2) ficaram muito abaixo de uma política heurística manual (que tem acesso privilegiado ao estado interno), indicando que os LLMs ainda não alcançam autonomia robusta em cenários complexos.
  • Instabilidade Temporal: Os agentes frequentemente revisavam suas estratégias de execução diariamente, levando a trajetórias inconsistentes, mesmo em ambientes relativamente estáveis.
  • Alucinações e IRR: Ocorreram erros frequentes, como inventar IDs de produtos, datas ou realizar pedidos com quantidades economicamente impossíveis (ex: 18.000 unidades de um único item), o que frequentemente levava ao colapso da simulação.

5. Significância e Conclusão

O trabalho demonstra que, embora os LLMs sejam poderosos, eles ainda carecem de mecanismos internos robustos para autonomia estratégica de longo prazo em ambientes econômicos dinâmicos.

• Implicações: A simples adição de ferramentas de raciocínio não é suficiente; é necessária uma arquitetura que gerencie explicitamente a estabilidade temporal e a separação entre planejamento e execução.
• Futuro: O RetailBench serve como um testbed principial para avançar a pesquisa em raciocínio agêntico, destacando a necessidade de abordagens que integrem aprendizado por reforço, ajuste fino (fine-tuning) ou mecanismos de controle de restrições econômicas para mitigar alucinações e instabilidade.

Em resumo, o artigo estabelece que a "autonomia" real em sistemas econômicos complexos ainda está distante da capacidade atual dos agentes LLMs, exigindo novas arquiteturas de framework e melhorias fundamentais na estabilidade de decisão de longo prazo.