Resumo Técnico: EcoGym – Avaliando LLMs para Planejamento e Execução de Longo Prazo em Economias Interativas

Declaração do Problema

O planejamento de longo prazo é uma capacidade central reconhecida de agentes autônomos baseados em Modelos de Linguagem de Grande Escala (LLMs). No entanto, os atuais frameworks de avaliação sofrem limitações significativas: são amplamente episódicos, confinados a domínios específicos ou insuficientemente fundamentados em dinâmicas econômicas persistentes. Benchmarks existentes frequentemente dependem de pipelines fechados e proprietários (por exemplo, Vending Bench) ou falham em refletir a natureza heterogênea e interdependente da atividade econômica aberta. Além disso, há uma lacuna entre o desempenho em benchmarks virtuais controlados e a robustez sob implantação prática contínua e de alto risco, onde os agentes frequentemente exibem fragilidade apesar de resultados de curto prazo fortes. O campo carece de um framework transparente e impulsionado pela comunidade para avaliar agentes quanto à coerência estratégica sustentada em horizontes temporais efetivamente ilimitados.

Metodologia

Para abordar essas lacunas, os autores introduzem o EcoGym, um benchmark de código aberto e generalizável para tomada de decisão contínua de planejamento e execução em economias interativas.

Princípios de Design

O EcoGym é construído sobre três princípios centrais de design:

1. Espaço de Ação Simples, Horizonte Ilimitado: Diferentemente de benchmarks com espaços de ação complexos e de alta dimensão, o EcoGym restringe os agentes a um pequeno conjunto de ações discretas (tipicamente 4–5 primitivas). No entanto, o horizonte de interação é efetivamente infinito (1000+ passos, simulando ciclos de 365 dias), deslocando o foco da avaliação para o planejamento estratégico de longo prazo, estabilidade e otimização cumulativa, em vez da conclusão de tarefas de curto prazo.
2. Ambientes Econômicos como Base de Avaliação: O benchmark fundamenta a avaliação em atividades econômicas diárias, indo além da geração de código ou raciocínio simples para avaliar como os LLMs funcionam como atores econômicos. O sucesso é medido por resultados tangíveis de mercado (por exemplo, Patrimônio Líquido, Renda, DAU) em vez de recompensas simples.
3. Mecânicas Latentes para Descoberta Exploratória: As regras matemáticas subjacentes que governam a dinâmica do sistema (por exemplo, sazonalidade, elasticidade, taxas de decaimento) são ocultadas do agente. Os agentes devem explorar ativamente, formular hipóteses e descobrir essas mecânicas por meio de interação e feedback para maximizar a utilidade.

Ambientes

O EcoGym compreende três ambientes distintos unificados sob um único processo de tomada de decisão:

• Vending (Venda Automática): Um desafio de gestão de varejo adaptado do Vending-Bench de código fechado (agora de código aberto). Os agentes atuam como proprietários únicos maximizando o Patrimônio Líquido por meio de aquisição estratégica e precificação dinâmica. O ambiente apresenta parâmetros de mercado ocultos, como sazonalidade e elasticidade de preços.
• Freelance (Trabalho Autônomo): Um desafio da economia de gig onde os agentes maximizam a Renda enquanto equilibram trabalho, desenvolvimento de habilidades e gestão de saúde (energia/estresse). Os agentes devem evitar o esgotamento (um limiar fisiológico oculto) e navegar em um pool de tarefas derivado de conjuntos de dados diversos (programação, finanças, direito, STEM).
• Operation (Operação): Um desafio de crescimento de plataforma onde os agentes atuam como operadores maximizando os Usuários Ativos Diários (DAU). O sistema exibe dinâmicas de "Atrator Zero", onde a atividade do usuário decai para zero sem intervenção. Os agentes devem gerenciar a qualidade do conteúdo, incentivos para criadores e aquisição de usuários sob coeficientes de sistema ocultos.

Configuração Experimental

Os autores avaliaram 11 LLMs líderes (incluindo GPT-5.2, Gemini-3-Pro/Flash, Claude-Sonnet-4.5, Kimi-k2.6, Qwen3.5, DeepSeek-v3.2 e GLM-5) nesses ambientes. A avaliação incluiu:

• Métricas Padrão: Patrimônio Líquido, Renda e DAU ao longo de simulações de 365 dias.
• Estudos Diagnósticos: Oito análises específicas cobrindo comprimento da janela de contexto, modos de falha, evolução comportamental temporal, baselines humanas, módulos de memória (de trabalho, simbólica, episódica, Mem0), "pensar com ação" e escalabilidade da complexidade do ambiente.

Resultados Chave

Os experimentos revelam uma tensão sistemática nas capacidades atuais dos LLMs: nenhum modelo único domina em todos os três cenários.

• Variância de Desempenho: No ambiente Vending, a série Gemini-3 (particularmente o Pro) demonstrou apreciação dominante de ativos. Em Freelance, o Gemini-3-Pro manteve a liderança, embora a margem fosse mais estreita. Em Operation, o Claude-Sonnet-4.5 ficou em primeiro lugar.
• Subotimalidade: Os modelos exibiram subotimalidade significativa tanto em estratégias de alto nível quanto na execução eficiente de ações. Por exemplo, os principais modelos em Operation priorizaram a escala (quantidade) em vez do refinamento (qualidade), identificando corretamente a variável dominante para o rendimento, enquanto outros falharam em alinhar-se ao mecanismo de recompensa.
• Sensibilidade à Janela de Contexto: Estender a janela de contexto além do padrão (128 passos) não produziu ganhos consistentes. O Gemini-3-Flash mostrou desempenho volátil com contextos mais longos, enquanto o desempenho do Gemini-3-Pro degradou-se à medida que a janela se estendia para 1024 passos, destacando instabilidade no processamento de contextos superlongos.
• Memória e Raciocínio:
  • Memória: Adicionar módulos de memória externa (de trabalho, simbólica, episódica) geralmente melhorou o desempenho, mas não foi universalmente benéfico; a eficácia foi altamente dependente do modelo e específica da tarefa.
  • Modo de Pensamento: Habilitar o "Pensamento" (gerando conteúdo de raciocínio integrado ao contexto) catalisou uma elevação universal de desempenho entre os modelos, reduzindo significativamente a lacuna entre as variantes Flash e Pro na tarefa Operation.
• Baseline Humana: No ambiente Operation, especialistas humanos alcançaram um DAU médio de 1.404. Notavelmente, o Claude-Sonnet-4.5 superou essa baseline humana, sugerindo que os LLMs de última geração têm o potencial de desempenho super-humano em cenários específicos de planejamento econômico de longo prazo.
• Escalabilidade da Complexidade: Quando a complexidade do ambiente Vending foi aumentada (mais SKUs), o Gemini-3-Flash mostrou adaptabilidade robusta com lucros escalando positivamente, enquanto o Gemini-3-Pro estagnou, falhando em capturar valor adicional em espaços de estado maiores.

Contribuições Chave

1. Avaliação de Planejamento de Horizonte Infinito: O EcoGym fornece um framework aberto e generalizável para avaliar agentes LLM sob interação contínua e não episódica com um espaço de ação compacto e horizonte temporal ilimitado. Ele isola a coerência estratégica de longo prazo e a estabilidade como alvos de avaliação de primeira classe.
2. Avaliação Econômica Guiada por Utilidade: O benchmark estabelece um paradigma orientado a resultados fundamentado em retornos econômicos (Patrimônio Líquido, Renda, DAU) em três configurações econômicas amplamente existentes, movendo a avaliação além de recompensas simples para impacto tangível de mercado.
3. Análise Empírica Multidimensional: Através da avaliação rigorosa de LLMs de última geração e de oito estudos diagnósticos, os autores descobrem lacunas críticas de desempenho e gargalos no planejamento de longo prazo, como a falta de um vencedor universal, instabilidade da janela de contexto e os benefícios específicos dos modos de "pensamento" e arquiteturas de memória.

Significado e Alegações

O artigo alega que o EcoGym aborda uma lacuna crítica nos benchmarks existentes quanto à avaliação da viabilidade econômica de longo prazo dos agentes. Ao forçar os agentes a navegar pela escassez de recursos e dinâmicas estocásticas ao longo de períodos sustentados, o framework revela que, embora os modelos de ponta demonstrem raciocínio impressionante de curto prazo, eles lutam para manter a coerência estratégica ao longo de decisões de longo tempo.

Os autores modestamente reconhecem que o framework atual depende de abstrações baseadas em regras e pode não capturar totalmente a imprevisibilidade do comportamento humano irracional. Eles posicionam o EcoGym como um campo de testes aberto e extensível para avaliação transparente de agentes de longo prazo e para estudar compensações entre controlabilidade e utilidade em configurações econômicas. O trabalho visa orientar a comunidade no desenvolvimento de agentes de propósito geral que não sejam apenas capazes de raciocínio, mas também robustos e estrategicamente alinhados a longo prazo.