Resumo Técnico: Agentick: Um Benchmark Unificado para Agentes de Tomada de Decisão Sequencial Geral

Declaração do Problema

A pesquisa em agentes autônomos abrange um amplo espectro, variando de agentes de aprendizado por reforço profundo (RL) que aprendem do zero a agentes de modelos fundamentais (FM) (LLMs e VLMs) que aproveitam conhecimento pré-treinado do mundo. Apesar dessa diversidade, existe uma lacuna crítica: nenhum benchmark unificado permite comparação justa entre esses paradigmas. Os benchmarks existentes são tipicamente projetados para tipos específicos de agentes (por exemplo, ambientes baseados em pixels para RL ou jogos baseados em texto para LLMs), tornando impossível avaliar se uma combinação de aprendizado baseado em interação e conhecimento pré-treinado é necessária para construir agentes totalmente capazes. Além disso, os benchmarks atuais frequentemente carecem da infraestrutura para suportar treinamento, não decompor capacidades em dimensões específicas ou não oferecem modalidades de observação padronizadas que previnam viés arquitetural.

Metodologia: O Benchmark Agentick

Os autores apresentam o Agentick, um benchmark projetado desde a base para suportar avaliação justa em todo o espectro de design de agentes (RL, LLM, VLM, híbrido e agentes humanos). O benchmark é construído sobre quatro princípios orientadores:

1. Universalidade de Paradigma: Cada tarefa expõe cinco modalidades de observação sincronizadas simultaneamente:

   • Grades de texto ASCII (para LLMs).
   • Descrições em linguagem natural.
   • Dicionários estruturados.
   • Renderizações de pixels isométricos 512×512 (para VLMs e RL baseado em CNN).
   • Arrays de estado numpy brutos (para agentes programáticos).
     Isso garante que nenhum tipo de agente seja prejudicado pelo formato de entrada.

2. Decomposição de Capacidades: Em vez de uma pontuação agregada única, a avaliação é decomposta em seis categorias de capacidade:

   • Navegação (8 tarefas)
   • Planejamento (9 tarefas)
   • Raciocínio (8 tarefas)
   • Memória (4 tarefas)
   • Generalização (3 tarefas)
   • Coordenação Multiagente (5 tarefas)
     Isso permite o perfilamento em "gráfico de radar" para identificar pontos fortes e fracos específicos.

3. Design Focado no Treinamento: O benchmark inclui uma API de Codificação para interação programática com tarefas, políticas de referência de oráculo para todas as 37 tarefas e conjuntos de dados pré-construídos de Ajuste Fino Supervisionado (SFT) (120k–500k episódios de oráculo) disponíveis no HuggingFace. Os ambientes são vetorizáveis para treinamento paralelo de RL.

4. Dificuldade Controlada: As tarefas apresentam quatro níveis de dificuldade (fácil a especialista) e são geradas proceduralmente para garantir layouts únicos em cada semente, escalando o tamanho da grade, a complexidade das restrições e o comprimento do episódio.

Métrica de Avaliação: A métrica principal é a Pontuação Normalizada pelo Oráculo (ONS):
$$ONS = \frac{\text{retorno\_agente} - \text{linha\_base\_aleatória}}{\text{retorno\_oráculo} - \text{linha\_base\_aleatória}}$$
Isso normaliza o desempenho em relação a uma linha de base aleatória e a uma política de referência forte (oráculo), permitindo comparação entre tarefas.

Configuração Experimental: Os autores avaliaram 27 configurações em 37 tarefas, 4 níveis de dificuldade e 25 sementes por par tarefa-dificuldade (totalizando >90.000 episódios). Os agentes avaliados incluíram:

• LLMs de Fronteira: GPT-5 mini, Gemini 3.1 Flash Lite, Claude Haiku 4.5.
• RL do Zero: Agentes PPO treinados com recompensas densas e esparsas.
• LLMs de Peso Aberto: Modelos Qwen3 e Qwen3.5 (de 0,8B a 4B parâmetros).
• Acoplamentos (Harnesses): Os agentes foram testados com diferentes estratégias de inferência, incluindo um acoplamento "Raciocinador Markoviano" que solicita raciocínio em cadeia de pensamento.

Principais Resultados

A avaliação revela que nenhum paradigma único domina em todas as capacidades:

• Desempenho Geral: O GPT-5 mini alcançou a maior ONS geral (0,309), seguido de perto pelo PPO treinado do zero (0,287). No entanto, mesmo o melhor agente atinge menos de um terço do desempenho do oráculo, indicando espaço substancial para melhoria.
• Especialização de Capacidades:
  • O GPT-5 mini destacou-se em Navegação (0,456) e Generalização (0,437), aproveitando conhecimento pré-treinado.
  • O PPO dominou tarefas de Planejamento (0,402) e Multiagente (0,432), onde o controle preciso e repetível aprendido através da interação é crítico.
  • As tarefas de Raciocínio permaneceram a categoria mais fraca para todos os agentes, com a melhor pontuação (PPO) de apenas 0,191.
• Impacto do Design do Acoplamento: A escolha da estratégia de prompt foi tão crítica quanto a escala do modelo. O acoplamento Raciocinador (cadeia de pensamento) multiplicou o desempenho dos LLMs por 3–10× em todos os modelos testados. Por exemplo, o Qwen3.5-4B saltou de 0,023 para 0,228 de ONS ao mudar de um acoplamento Markoviano padrão para o acoplamento Raciocinador.
• Modalidade de Observação: Observações em ASCII superaram consistentemente a linguagem natural para agentes LLM (por exemplo, o Qwen3.5-4B pontuou 0,228 em ASCII versus 0,181 em linguagem), sugerindo que representações compactas e eficientes em tokens são superiores para raciocínio espacial.
• Eficiência do Modelo: Modelos menores com acoplamentos melhores superaram modelos maiores com configurações mais fracas (por exemplo, o Qwen3.5-0.8B com Raciocinador superou o Qwen3-4B sem ele).

Significado e Alegações

Os autores afirmam que o Agentick fornece a infraestrutura empírica necessária para impulsionar o progresso em direção a agentes autônomos gerais. Seu significado reside em:

1. Habilitar Comparação Cross-Paradigma: É o primeiro benchmark a suportar avaliação justa de agentes RL, LLM, VLM e híbridos nas mesmas tarefas com métricas padronizadas.
2. Impulsionar Pós-Treinamento de RL: Serve como campo de treinamento para pós-treinamento de RL de modelos fundamentais em ambientes verdadeiramente sequenciais, estocásticos e interativos, expandindo-se além dos atuais sucessos de RLVR (Aprendizado por Reforço a partir de Recompensas Verificáveis) em domínios estáticos como matemática e código.
3. Revelar Lacunas Fundamentais: Os resultados destacam que as abordagens atuais são insuficientes para tomada de decisão sequencial complexa, particularmente em raciocínio e planejamento de longo horizonte, sugerindo que arquiteturas híbridas combinando raciocínio de FM com controle treinado por RL podem ser necessárias.
4. Utilidade para Pesquisa: Ao fornecer um acoplamento composável, conjuntos de dados de oráculo e um ranking ao vivo, o Agentick facilita o estudo de andaimes de agentes, aprendizado de currículo e os efeitos das modalidades de observação no desempenho do agente.

O artigo conclui que, embora nenhuma abordagem única domine atualmente, o benchmark discrimina com sucesso entre paradigmas e destaca a substancial agenda de pesquisa à frente para a construção de agentes autônomos verdadeiramente gerais.