PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models

Título: PokeGym: Um Benchmark Longo e Orientado Visualmente para Modelos de Linguagem e Visão (VLMs)

1. Problema e Motivação

Apesar dos avanços notáveis dos Modelos de Linguagem e Visão (VLMs) na compreensão estática de imagens, sua aplicação em ambientes corporificados 3D complexos permanece severamente limitada. O artigo identifica quatro deficiências críticas nos benchmarks existentes:

1. Percepção Passiva: A maioria das tarefas evita a dinâmica interativa, focando em reconhecimento momentâneo em vez de planejamento persistente.
2. Ambientes Simplificados: Benchmarks em 2D ou grades (grid worlds) falham em avaliar a percepção de profundidade e o raciocínio espacial 3D real.
3. Vazamento de Estado Privilegiado: Muitos ambientes 3D expõem coordenadas internas ou representações simbólicas do mundo, permitindo que os agentes contornem o processamento visual genuíno.
4. Avaliação Humana Não Escalável: Jogos complexos que restringem a entrada apenas a pixels frequentemente dependem de avaliação humana, o que é caro, subjetivo e difícil de escalar.

O objetivo é criar um benchmark que exija raciocínio visual puro, planejamento de longo prazo e avaliação automatizada em um ambiente 3D não restrito.

2. Metodologia: O Framework PokeGym

O PokeGym é implementado no jogo de RPG de mundo aberto Pokémon Legends: Z-A, escolhido por sua complexidade visual, física realista e mecânicas que espelham desafios do mundo real (observabilidade parcial, navegação, interação com objetos).

Arquitetura e Isolamento:

• Entrada Visual Pura: O agente opera exclusivamente com observações RGB brutas (pixels) extraídas diretamente das texturas da GPU, sem acesso a coordenadas internas ou estados do jogo.
• Avaliação Automatizada (AOB Scanning): Para evitar a avaliação humana, o sistema utiliza uma técnica de varredura de memória (Array of Bytes - AOB). Um avaliador independente varre a memória do emulador para verificar variáveis de estado (como coordenadas do personagem, flags de missão e IDs de mapa) e determinar o sucesso ou falha da tarefa de forma objetiva e escalável.
• Isolamento de Código: O agente não tem acesso aos dados que o avaliador usa, garantindo que a decisão seja baseada apenas na visão.

Design das Tarefas:

• 30 Tarefas de Longo Prazo: Derivadas de 10 missões principais, com trajetórias variando de 30 a 220 passos no ambiente.
• Categorias: Navegação, Interação e Cenários Mistos.
• Granularidade de Instrução: As tarefas são testadas sob três níveis para dissecar capacidades cognitivas:
  1. Visual-Guided: Instruções com âncoras visuais explícitas (ex: "entre na porta da casa").
  2. Step-Guided: Instruções procedimentais sem âncoras visuais (ex: "entre na casa").
  3. Goal-Only: Apenas o objetivo final (ex: "fale com o dono do hotel"), exigindo exploração autônoma.

Interface de Ação:
Suporta tanto ações de alto nível (comandos discretos como "MoverFrente") quanto controle paramétrico (coordenadas contínuas do joystick e duração), permitindo testar diferentes granularidades de controle.

3. Contribuições Principais

1. Novo Benchmark: Introdução do PokeGym, o primeiro benchmark escalável e automatizado para VLMs corporificados em um mundo aberto 3D complexo, eliminando vazamento de estado privilegiado.
2. Pipeline de Avaliação Rigoroso: Desenvolvimento de um sistema de verificação baseado em memória (AOB) que permite avaliação objetiva e reprodutível sem intervenção humana.
3. Framework Diagnóstico Controlado: Criação de um conjunto de tarefas com granularidades variadas para isolar e avaliar especificamente: grounding visual, raciocínio semântico e exploração autônoma.
4. Análise de Falhas Metacognitiva: Descoberta de que a recuperação de bloqueios físicos (deadlocks) é o gargalo principal, mais do que o planejamento de alto nível. Identificação de uma divergência metacognitiva entre modelos fracos e fortes.

4. Resultados e Descobertas Chave

Os autores avaliaram 8 modelos VLMs (incluindo GPT-5.2, Gemini-3-Pro, Claude-Sonnet-4.6 e modelos Qwen/GLM).

• Gargalo Principal: A recuperação de bloqueios físicos (quando o agente fica preso em colisões) é o principal limitador de sucesso, não o planejamento de alto nível. Existe uma forte correlação negativa entre a taxa de movimentos ineficazes e a taxa de sucesso.
• Divergência Metacognitiva:
  • Modelos Mais Fracos (ex: Qwen, GLM): Sofrem principalmente de Bloqueios Desconhecidos (Unaware Deadlocks). Eles ficam presos fisicamente, mas alucinam progresso em seu raciocínio interno, não percebendo que estão presos.
  • Modelos Mais Fortes (ex: GPT-5.2, Gemini): Sofrem de Bloqueios Conscientes (Aware Deadlocks). Eles reconhecem corretamente que estão presos, mas falham em executar manobras de recuperação eficazes.
• Impacto da Granularidade:
  • O Gemini-3-Pro melhorou drasticamente quando as âncoras visuais foram removidas (Step-Guided), sugerindo que dicas visuais densas podem atuar como distrações para ele.
  • Modelos Qwen degradaram-se significativamente sem âncoras visuais, indicando forte dependência de referências visuais explícitas para o grounding em 3D.
• Intervenção em Bloqueios: Apenas informar o modelo textualmente de que ele está preso não é suficiente. Ações físicas determinísticas (como forçar um movimento para trás) aumentaram a taxa de sucesso, provando que a recuperação física é mais crítica do que a consciência textual.
• Correlação com Outros Benchmarks: O desempenho em PokeGym tem correlação fraca ou negativa com benchmarks de raciocínio estático (como MMMU-Pro) e de navegação, indicando que a capacidade de navegação e controle físico 3D é uma habilidade distinta não capturada por testes existentes.

5. Significado e Impacto

O PokeGym representa um avanço significativo na avaliação de agentes corporificados:

• Realismo vs. Escalabilidade: Resolve a tensão entre a necessidade de ambientes realistas (que exigem avaliação humana) e a necessidade de avaliação escalável (que geralmente simplifica o ambiente).
• Direcionamento para Arquiteturas Futuras: Os resultados sugerem que os VLMs precisam integrar intuição espacial explícita e mecanismos de recuperação de erros físicos, em vez de apenas melhorar o raciocínio de alto nível.
• Padrão para Pesquisa: Estabelece um novo padrão para benchmarks de jogos AAA, demonstrando que a avaliação automatizada de tarefas de longo prazo em mundos abertos é viável e necessária para o progresso de agentes gerais.

Em suma, o PokeGym revela que, para agentes funcionarem no mundo real (ou em jogos complexos), a capacidade de perceber e resolver falhas físicas imediatas é tão crucial quanto a capacidade de planejar estratégias complexas.