Resumo Técnico: RetailBench

Declaração do Problema

Embora os agentes de Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência em tarefas de curto horizonte e bem delimitadas (ex: edição de código, recuperação de informações), sua capacidade de sustentar uma tomada de decisão coerente em ambientes dinâmicos e de longo horizonte permanece incerta. Os benchmarks existentes frequentemente isolam subproblemas individuais ou carecem da dinâmica acoplada de ciclo fechado das operações comerciais do mundo real. Consequentemente, a comunidade carece de um benchmark aberto e fundamentado em dados para avaliar se agentes de LLM que utilizam ferramentas podem manter o alinhamento persistente de objetivos e a consistência comportamental estável ao longo de períodos estendidos, particularmente quando erros locais se acumulam em consequências tardias que remodelam as distribuições de estados futuros.

Metodologia: RetailBench

Os autores introduzem o RetailBench, um benchmark de simulação fundamentado em dados, projetado para avaliar agentes de LLM que utilizam ferramentas no contexto de operações de supermercados de loja única. O ambiente é modelado como um Processo de Decisão de Markov Parcialmente Observável (POMDP), $M = (S, A, O, T, \Omega, R)$, onde o agente interage com um simulador através de um conjunto específico de ferramentas.

Construção do Ambiente

• Fundamentação de Dados: O simulador é ancorado em dados reais de varejo do conjunto de dados Dominick's (University of Chicago Booth School of Business) para definir o universo de produtos (96 produtos em 20 categorias), trajetórias de preços históricos e custos de aquisição.
• Feedback Dinâmico: Textos de avaliações são amostrados do corpus Amazon Reviews 2023, e eventos de notícias são adaptados de artigos de notícias financeiras. Estes introduzem dinâmicas baseadas em corpus onde metadados ocultos impulsionam efeitos de demanda e oferta.
• Módulos: O ambiente acopla sete módulos: Inventário, Fornecedores & Pedidos, Prateleira, Demanda do Cliente, Avaliações & Devoluções, Eventos de Notícias, e Finanças & Registros.
• Estado e Ações:
  • Estado ($S$): Inclui atributos de produtos, inventário (com envelhecimento), sortimento de prateleira, candidatos a fornecedores, fatores de demanda, notícias externas e contabilidade financeira.
  • Ações ($A$): Os agentes selecionam entre três grupos de ferramentas:
    1. Apenas leitura ($A_{read}$): Consulta de fundos, inventário, preços, histórico de vendas, cotações de fornecedores e avaliações.
    2. Auxiliar ($A_{other}$): Análise restrita, gerenciamento de memória e execução de código (em ambiente isolado/sandbox).
    3. Mudança de estado ($A_{act}$): Atualização de preços, realização de pedidos de reposição, gerenciamento de sortimento de prateleira, escrita de notas e encerramento do dia.
• Horizonte de Simulação: O benchmark suporta simulações na escala de mil dias. O protocolo de avaliação utiliza um horizonte de 180 dias.

Protocolo de Avaliação

• Modelos: Sete LLMs contemporâneos foram avaliados utilizando três frameworks baseados em prompting: ReAct, Reflection e Plan-and-Act.
• Regra de Seleção: Devido à variância no desempenho de longo horizonte, os autores empregam uma regra de seleção "sobrevivência em primeiro lugar": para cada modelo, a execução com o maior horizonte de sobrevivência é selecionada, com o patrimônio líquido final e as vendas totais como critérios de desempate.
• Baseline: Um política de oráculo privilegiado é incluído como uma referência não-agente. Esta política tem acesso direto aos campos estruturados do simulador (ex: pontuações ocultas de qualidade de fornecedor) e segue regras operacionais especificadas manualmente e conscientes da qualidade.

Métricas

O desempenho é medido em cinco categorias:

1. Viabilidade Operacional: Patrimônio Líquido Final e Dias de Sobrevivência.
2. Efetividade de Vendas: Vendas Totais, Produtos Vendidos Diários e Razão de Devolução.
3. Controle de Inventário: Dias de Ruptura de Estoque (Stockout) e Razão de Expiração.
4. Comportamento de Uso de Ferramentas: Chamadas de Ferramenta Diretas e Totais por Dia.
5. Uso de Tokens: Consumo médio diário de tokens.

Principais Contribuições

1. Um Ambiente de Varejo de Longo Horizonte: O RetailBench fornece um ambiente de teste controlado e fundamentado em dados que acopla preços, inventário, seleção de fornecedores, feedback do cliente, eventos externos e restrições financeiras ao longo de episódios estendidos.
2. Avaliação de Sistemas Atuais: O benchmark revela que os atuais frameworks de agentes e LLMs de última geração lutam para alcançar políticas operacionais estáveis e de alto desempenho ao longo de longos horizontes.
3. Análise Sistemática de Falhas: Os autores identificam três modos de falha recorrentes através de métricas diagnósticas:
   • Aquisição de Evidências Incompleta: Agentes frequentemente agem sem consultar informações críticas (ex: proxies de qualidade de fornecedor, envelhecimento de inventário).
   • Tomada de Decisão Superficial: Agentes dependem de sinais imediatamente visíveis (ex: preço) enquanto subestimam fatores consequentes, porém menos visíveis (ex: qualidade do fornecedor, riscos de devolução).
   • Falta de Política Consistente de Longo Horizonte: Agentes falham em manter a atenção em produtos importantes e não revisitam consistentemente as consequências tardias de ações anteriores.

Resultados

• Sobrevivência: Sob o protocolo de sobrevivência em primeiro lugar, a sobrevivência variou de 58 a 180 dias. Apenas o DeepSeek-V4-Pro e o GPT-5.5 completaram o horizonte total de 180 dias. A maioria dos outros modelos terminou entre 58 e 73 dias.
• Lacuna de Desempenho: Mesmo as melhores execuções de LLM ficaram substancialmente abaixo da política de oráculo.
  • Patrimônio Líquido: A política de oráculo alcançou 131.510,42, enquanto o melhor LLM (GPT-5.5) alcançou 24.350,98.
  • Vendas: A política de oráculo alcançou 267.998 unidades, enquanto o melhor LLM (DeepSeek-V4-Pro) alcançou 164.417.
• Diagnósticos Comportamentais:
  • Aquisição de Evidências: O GPT-5.5 mostrou a maior completude de evidências (0,9689), enquanto outros como o Grok-4.3 mostraram completude quase nula.
  • Qualidade de Decisão: Os LLMs exibiram um forte viés para "PreçoPrimeiro" (escolher o fornecedor mais barato) em vez de "QualidadePrimeiro". A política de oráculo priorizou a qualidade, enquanto os LLMs escolheram o fornecedor mais barato em 55,6% dos pedidos, comparado a apenas 21,5% para a escolha de melhor qualidade.
  • Acompanhamento Temporal: Os LLMs perderam de 32,86% a 88,18% das oportunidades de alta demanda e falharam em acompanhar consistentemente as consequências tardias (ex: rupturas de estoque, devoluções) dentro de uma janela de sete dias.

Significância e Alegações

O artigo posiciona o RetailBench não meramente como um benchmark de desempenho, mas como um testbed diagnóstico para estudar a autonomia confiável em tomadas de decisão economicamente fundamentadas e de longo horizonte. Os autores alegam que os resultados demonstram uma lacuna crítica entre as capacidades atuais de LLM e os requisitos para continuidade operacional sustentada.

A significância reside na identificação de que melhorar agentes de LLM de longo horizonte requer mais do que apenas o aumento do uso de ferramentas; exige avanços em:

1. Seleção de Evidências: A capacidade de identificar e adquirir todas as informações críticas para a decisão.
2. Raciocínio de Evidência-para-Ação: A capacidade de traduzir evidências adquiridas em decisões que considerem resultados de longo prazo (ex: equilibrar custo vs. qualidade).
3. Manutenção de Política com Estado: A capacidade de manter atenção persistente em entidades críticas e revisar consequências tardias para alinhar chamadas de ferramentas locais com resultados de negócios de longo prazo.

Os autores concluem que, antes que os agentes de LLM possam operar confiavelmente em ambientes complexos de longo horizonte, eles devem superar esses gargalos específicos de aquisição de evidências, profundidade de raciocínio e consistência de política.