Resumo Técnico: CoffeeBench

Declaração do Problema

À medida que os agentes de Grandes Modelos de Linguagem (LLMs) avançam em tarefas de longo horizonte, os benchmarks existentes avaliam primariamente agentes únicos interagindo com ambientes passivos ou sistemas multiagentes homogêneos. No entanto, sistemas econômicos do mundo real são inerentemente heterogêneos, envolvendo papéis distintos (ex: agricultores, fabricantes, varejistas) que devem se comunicar, negociar e transacionar autonomamente ao longo de períodos estendidos para perseguir objetivos individuais. Há uma carência de benchmarks capazes de avaliar agentes de LLM em ecossistemas econômicos multiagentes tão complexos, onde coordenação estratégica, gestão de inventário e planejamento financeiro são necessários ao longo de longos horizontes temporais.

Metodologia

Os autores introduzem o CoffeeBench, um benchmark projetado para avaliar agentes de LLM dentro de uma economia multiagente heterogênea simulada.

Design do Ambiente

• Estrutura: A simulação modela uma cadeia de suprimentos de café ao longo de um horizonte de 90 dias envolvendo seis empresas autônomas: dois agricultores, dois torrefadores e dois varejistas.
• Papéis e Heterogeneidade: Cada papel possui funções econômicas, conjuntos de ferramentas e restrições distintas. Agricultores produzem grãos verdes; torrefadores os processam em produtos torrados; varejistas vendem aos consumidores.
• Dinâmica Econômica:
  • Gestão de Tempo: O ambiente utiliza uma linha do tempo assíncrona baseada em eventos. Os agentes operam dentro de uma janela de negócios diária (09:00–19:00). Chamadas de ferramentas (tool calls) avançam o tempo local em 30 minutos. Agentes podem ser reativados por eventos externos (mensagens, ofertas de troca) mesmo enquanto estão ociosos.
  • Mercado: Um mercado compartilhado permite trocas peer-to-peer sem restrições. As transações envolvem atrasos de envio, termos de pagamento de 30 dias (net-30) e juros potenciais sobre pagamentos atrasados.
  • Restrições: Os agentes enfrentam custos operacionais diários fixos, deterioração de estoque (0usa de 0,5%/dia), limites de armazenamento e regras de falência (saldo de caixa negativo leva à saída).
  • Demanda: Os varejistas enfrentam um modelo de demanda do consumidor competitivo influenciado por preço, fidelidade à marca e ruído estocástico, incluindo um surto de demanda simulado (Dias 40–53).
• Objetivo: Cada agente é instruído a maximizar a receita líquida cumulativa (Receita − COGS − OpEx − Juros + Receita de Juros) ao longo da simulação.

Protocolo Experimental

• Configuração: Em cada execução, o LLM avaliado controla o Torrefador A, enquanto as cinco empresas restantes são controladas por agentes de referência fixos (padronizados como Claude Sonnet 4.6).
• Modelos Avaliados: O estudo testa cinco modelos fechados de fronteira (GPT-5.5, Claude Opus 4.7, Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro) e dois modelos de pesos abertos (Kimi K2.6, GLM-5.1).
• Baselines: Dois baselines baseados em regras são utilizados: PassiveRoaster (sempre espera) e HeuristicRoaster (política fixa de inventário/preço sem comunicação).
• Gestão de Contexto: Para lidar com o horizonte de 90 dias, o histórico da trajetória intermediária é resumido assim que o contexto excede 160k tokens, retendo o prompt do sistema, a trajetória inicial e os passos recentes.
• Métricas: A métrica primária é a Receita Líquida. Métricas secundárias incluem receita, volume de chamadas de ferramentas, dias de ociosidade e contagem de mensagens.

Principais Contribuições

1. Primeiro Benchmark Econômico Multiagente Heterogêneo: O CoffeeBench é o primeiro benchmark a avaliar agentes de LLM em uma economia multiagente com papéis econômicos distintos e heterogêneos (agricultores, torrefadores, varejistas) interagindo autonomamente.
2. Avaliação de Longo Horizonte: Ele estende a avaliação além de tarefas de curto prazo para uma simulação de 90 dias que exige planejamento sustentado, gestão de fluxo de caixa e adaptação estratégica.
3. Identificação de Modos de Falha: O benchmark revela patologias comportamentais específicas em agentes de LLM, notadamente o modo de falha de "deriva de ociosidade" (idle-drift), onde um agente mantém um raciocínio coerente, mas escolhe repetidamente a inação.
4. Recursos Abertos: Os autores liberam o código, trajetórias dos agentes e logs de interação completos para apoiar pesquisas futuras.

Resultados

• Desempenho: Todos os LLMs avaliados superaram o baseline passivo. A maioria alcançou receita líquida positiva, com o GPT-5.5 (+$3.109) e o Claude Opus 4.7 (+$2.782) atingindo as maiores receitas líquidas médias.
• Impulsionadores Comportamentais:
  • Comunicação: Modelos de alto desempenho (GPT-5.5, Claude Opus 4.7) comunicaram-se significativamente mais ativamente com as contrapartes (agricultores e varejistas) comparados aos modelos de baixo desempenho.
  • Uso de Ferramentas: A lucratividade não foi estritamente correlacionada com o volume de chamadas de ferramentas. O Kimi K2.6 teve alto uso de ferramentas, mas menor lucratividade, sugerindo que a coordenação eficaz e a estratégia de preços importam mais do que o volume de execução.
  • Deriva de Ociosidade (Idle-Drift): O Claude Haiku 4.5 exibiu um modo de falha distinto, com média de 40 dias de ociosidade de 90. Apesar de gerar traços de raciocínio coerentes, ele selecionou repetidamente wait_for_next_day(), resultando em receita líquida negativa (-$630).
• Preço e Inventário: A higiene do inventário por si só não garantiu lucratividade. O Gemini 3.1 Pro manteve inventário enxuto e baixa deterioração, mas alcançou renda média, enquanto o GPT-5.5 obteve maior renda através de melhor precificação B2B realizada e negociação ativa.
• Teto Estratégico: Estimativas analíticas sugerem que os modelos atuais alcançam apenas ~13% do teto teórico de receita líquida sob suposições otimistas, indicando espaço significativo para melhoria no planejamento estratégico de longo horizonte.

Significância e Alegações

O artigo afirma que o CoffeeBench fornece um framework necessário para avaliar agentes de LLM em cenários econômicos realistas e de abertura total que vão além do simples uso de ferramentas ou planejamento de agente único.

• Coerência Estratégica: Os resultados sugerem que os modelos de fronteira atuais carecem da coerência estratégica de longo horizonte necessária para comportamentos de mercado complexos, como coordenação sustentada ou negociações manipulativas, mesmo sob fortes incentivos (ex: testes de estresse de maximização de receita).
• Análise Comportamental: O benchmark identifica com sucesso modos de falha específicos como a "deriva de ociosidade", oferecendo uma nova lente para entender como os agentes de LLM se comportam ao longo de períodos estendidos quando confrontados com dinâmicas multiagentes assíncronas.
• Pesquisa Futura: Os autores postulam que o CoffeeBench pode servir como um campo de teste para estudar comportamentos estratégicos emergentes, incluindo resultados indesejáveis como colusão, e para desenvolver agentes capazes de tomada de decisão confiável em economias multiagentes.

O artigo conclui que, embora os modelos atuais mostrem promessa, progressos substanciais são necessários em planejamento de longo horizonte, comunicação proativa e adaptação estratégica para realizar plenamente o potencial dos agentes de LLM em sistemas econômicos.