Resumo Técnico: ODYSSEYARENA

Definição do Problema

As avaliações atuais de agentes de Grandes Modelos de Linguagem (LLMs) dependem predominantemente de um paradigma dedutivo. Nesses cenários, os agentes recebem regras explícitas, objetivos estáticos e, frequentemente, instruções de padrão ouro ou documentação detalhada de APIs. Embora eficaz para avaliar o seguimento de instruções e o planejamento de curto horizonte, essa abordagem negligencia a necessidade indutiva de que os agentes descubram autonomamente leis de transição latentes através da experiência. O implantação no mundo real exige que os agentes probe ativamente os ambientes, reajam ao feedback e ajustem iterativamente as ações por meio de autoaperfeiçoamento sem regras pré-especificadas. Além disso, os benchmarks existentes frequentemente restringem os horizontes de interação a menos de 50 passos, falhando em capturar os desafios do acúmulo de erros e a necessidade de coerência estratégica ao longo de milhares de passos. Existe uma lacuna crítica na avaliação da capacidade de um agente de inferir regras ocultas e dinâmicas de transição a partir da experiência interativa em tempo real.

Metodologia

Para abordar essas lacunas, os autores introduzem o ODYSSEYARENA, um conjunto de ambientes interativos projetados para recentralizar a avaliação de agentes na interação de longo horizonte, ativa e indutiva.

Estrutura Teórica

Os autores formalizam ambientes interativos como funções generativas de transição de estado: $(s_{t+1}, r_t) = T(s_t, a_t)$, onde $s_t$ é um estado latente e $a_t$ é uma ação do agente. A função de transição $T$ codifica implicitamente as regras do ambiente. Os agentes devem induzir a forma funcional de $T$ por meio de interação estratégica. Os autores decompõem a dinâmica do ambiente em quatro primitivas estruturais ortogonais:

1. Regras Simbólicas Discretas: Lógica booleana sobre $N$ bits que requer a descoberta de dependências causais latentes.
2. Dinâmica Estocástica Contínua: Evolução em um espaço de estado contínuo governada por fatores latentes obscurecidos por ruído, exigindo inferência estatística.
3. Padrões Temporais Periódicos: Regularidades cíclicas que exigem a identificação de dependências temporais de longo alcance para otimizar trade-offs multiobjetivo.
4. Estruturas de Grafo Relacional: Interações não locais definidas por um grafo oculto $G$, exigindo raciocínio relacional sobre restrições topológicas.

Instanciação do Ambiente

Essas primitivas são materializadas em quatro ambientes diversos (Figura 2):

• Turn On Lights (Ligar Luzes): Instancia regras simbólicas discretas. Agentes alternam luzes interdependentes para atingir uma configuração alvo. Acoplamentos Booleanos ocultos ditam as mudanças de estado, exigindo exploração ativa para inferir a rede lógica.
• AI Trading (Negociação de IA): Instancia dinâmica estocástica contínua. Agentes gerenciam um portfólio de múltiplos ativos onde as transições de preço são impulsionadas por fatores de mercado latentes ($z_t$) e uma matriz de dependência oculta ($W$). O sucesso requer a separação do sinal do ruído para executar estratégias de negociação de longo horizonte.
• Energy Dispatch (Despacho de Energia): Instancia padrões temporais periódicos. Agentes alocam recursos térmicos, eólicos, solares e de bateria sob restrições de orçamento e demanda. O sistema apresenta ciclos de eficiência variáveis no tempo para fontes renováveis, exigindo que o agente antecipe flutuações periódicas para evitar o colapso do sistema.
• Repo System (Sistema de Repositório): Instancia estruturas de grafo relacional. Agentes configuram um projeto Python instalando/desinstalando pacotes. O ambiente contém um grafo de dependência oculto onde as ações induzem efeitos colaterais não monotônicos (ex: upgrades/downgrades automáticos), exigindo diagnóstico sistemático e raciocínio relacional.

Protocolos de Benchmark

Os autores estabelecem dois conjuntos de benchmarking padronizados:

1. ODYSSEYARENA-LITE: Um conjunto padronizado de 120 tarefas curadas (30 por ambiente) otimizado para avaliação eficiente. Os horizontes de interação são computacionalmente tratáveis (ex: 120–200 passos), mas suficientes para necessitar de planejamento de longo horizonte e indução ativa.
2. ODYSSEYARENA-CHALLENGE: Um conjunto de teste de estresse com mais de 1.000 passos por tarefa, projetado para sondar os limites da persistência do agente, estabilidade de raciocínio e manutenção de estratégia sobre horizontes extremos.

Para garantir a reprodutibilidade e a comparação justa, todos os elementos estocásticos (ex: fatores de mercado, curvas de eficiência) são pré-determinados como sequências fixas dentro dos metadados das tarefas, removendo a aleatoriedade em tempo de execução enquanto preservam o desafio indutivo.

Principais Contribuições

1. Novo Paradigma de Avaliação: O artigo propõe uma mudança do seguimento de instruções dedutivo para a descoberta autônoma, focando na indução de dinâmicas de mundo latentes através de interação de longo horizonte e ativa.
2. Benchmark Confiável e Escalável: A instanciação do paradigma indutivo no ODYSSEYARENA, fornecendo o ODYSSEYARENA-LITE como um conjunto padrão para avaliação eficiente e o ODYSSEYARENA-CHALLENGE para testes de estresse.
3. Avaliações e Insights Extensos: Uma avaliação abrangente de mais de 15 LLMs líderes (proprietários e de código aberto) que caracteriza o gargalo indutivo como uma barreira fundamental para a descoberta autônoma.

Resultados Experimentais

Os autores avaliaram mais de 15 modelos, incluindo Gemini 3 Pro Preview, GPT-5, DeepSeek-V3.2 e várias séries Llama e Qwen.

• Lacuna de Desempenho: Mesmo modelos comerciais de fronteira (ex: Gemini 3 Pro Preview) alcançam uma taxa de sucesso máxima de 44,17% no ODYSSEYARENA-LITE, significativamente abaixo do desempenho humano (que atinge 81,67% em Turn On Lights e 100% em Repo System).
• Indutivo vs. Dedutivo: Uma descoberta crítica é a assimetria entre capacidades dedutivas e indutivas. Quando fornecidas com regras explícitas (a configuração "w/ rules"), os modelos alcançam sucesso quase perfeito (ex: 100% em Turn On Lights). No entanto, sem essas regras, o desempenho cai precipitadamente, confirmando que o principal gargalo é a descoberta das dinâmicas do mundo, e não a complexidade da lógica da tarefa em si.
• Modos de Falha: A análise das trajetórias de falha (Tabela 3) revela que os problemas mais prevalentes são Limitações de Exploração (80,85% das falhas), onde os agentes convergem para ótimos locais sem testes de hipóteses sistemáticos, e Restrições de Memória (57,45%), onde os agentes falham em recuperar evidências chave de históricos longos. A Incapacidade de Planejamento foi considerada rara (4,26%).
• Limites de Escala: Embora modelos maiores geralmente superem os menores, a falha ubíqua em tarefas que exigem a síntese de padrões periódicos (Energy Dispatch) sugere que o aumento de escala por si só é insuficiente para superar o gargalo indutivo para a modelagem robusta da estrutura do mundo.
• Saturação de Longo Horizonte: As curvas de taxa de sucesso frequentemente atingem um platô precocemente, indicando que orçamentos de interação estendidos geram ganhos marginais negligenciáveis para modelos que carecem de um modelo de mundo interno coerente.

Significância

O artigo afirma que o ODYSSEYARENA identifica um gargalo crítico na busca pela descoberta autônoma em ambientes complexos. Os resultados sugerem que os LLMs atuais são excelentes em conformidade dedutiva, mas carecem da capacidade indutiva de sintetizar autonomamente as mecânicas do ambiente a partir da experiência. Este trabalho argumenta que pesquisas futuras em direção a uma inteligência mais agêntica devem priorizar arquiteturas capazes de destilar leis de transição latentes a partir da experiência bruta, preenchendo a lacuna entre o seguimento passivo de regras e a descoberta ativa. O benchmark fornece um framework rigoroso para avaliar e melhorar essas capacidades, indo além das limitações de avaliações estáticas, de curto horizonte e dedutivas.