Resumo Técnico: AGI Maze como um Framework de Referência para Agentes de Modelagem de Mundo

1. Declaração do Problema

Os atuais Grandes Modelos de Linguagem (LLMs) funcionam primariamente como preditores estáticos de próximo token, em vez de simuladores de mundo persistentes. Embora eficazes em tarefas de linguagem onde o "mundo" é implicitamente descrito pelo texto, os LLMs enfrentam dificuldades em ambientes interativos que exigem:

• Representação de Estado Persistente: Manter uma representação manipulável e estruturada de um mundo externo que evolui ao longo do tempo.
• Observabilidade Parcial: Raciocinar sobre estados ocultos (variáveis latentes) quando apenas um subconjunto do ambiente é observável.
• Eficiência de Memória: Rastrear o estado através de longos horizontes sem depender de um histórico de texto não estruturado e frágil.
• Atualização de Crenças: Manter e atualizar crenças sob incerteza, em vez de simplesmente inferir regras locais a partir de observações imediatas.

Benchmarks existentes, como o AGI-ARC-3, frequentemente falham em testar essas capacidades específicas porque são, efetivamente, totalmente observáveis ou não exigem que os agentes construam um estado de mundo consultável e persistente. Além disso, extensões de LLMs para agentes incorporados (por exemplo, modelos de Visão-Linguagem-Ação) frequentemente falham em resolver problemas de SLAM (Simultaneous Localization and Mapping), baseando-se na recuperação de características visuais em vez de construir um modelo de mundo coerente.

2. Metodologia: O Framework AGI Maze

Os autores introduzem o AGI Maze, um framework leve baseado em grade, projetado para avaliar capacidades de modelagem de mundo no domínio da linguagem sem a complexidade de entradas sensoriais de alta dimensão (pixels).

2.1 Design do Ambiente

• Mecânicas Principais: Agentes navegam em uma grade (3x3 a 8x8) com paredes, uma borda de "monólito" com uma única saída, um baú de tesouro e uma chave.
• Observações: O mapa está oculto. Os agentes recebem feedback textual (ex: "Você tentou ir para a direita, mas um monólito bloqueia o caminho") e devem inferir o layout, sua localização e as posições dos itens.
• Incerteza Dinâmica: Para forçar uma inferência de estado genuína, o framework inclui mecânicas que quebram a exploração ingênua:
  • Rios: Disparam movimento forçado a jusante sem revelar a direção do fluxo.
  • Ciclos de Poços: Teletransportam agentes para outros poços em um ciclo, criando ambiguidade onde a mesma observação pode corresponder a múltiplas localizações.
• Restrições: Os agentes operam sob um orçamento estrito de passos. Crucialmente, alguns labirintos exigem sequências de ações específicas (ex: pular em um rio para alcançar uma chave) que não podem ser resolvidas por exploração aleatória.

2.2 Estrutura do Framework e Grupos de Tarefas

O framework é organizado em cinco grupos de tarefas para evitar o sobreajuste (overfitting) e testar a generalização:

1. TUTORIAL: Modo de mapa aberto para aprendizado de mecânicas (não pontuado).
2. TREINAMENTO (TRAINING): Labirintos pequenos com orçamentos de passos generosos para calibração e testes de linha de base.
3. CLÁSSICO (CLASSIC): Labirintos maiores sob regras principais, calibrados contra o desempenho humano.
4. ESTENDIDO (EXTENDED): Introduz novas mecânicas (ex: barcos, granadas, lanternas) para testar a capacidade de inferir novas regras e estratégias.
5. OCULTO (HIDDEN): Um conjunto de controle privado com extensões desconhecidas para validar que o desempenho não se deve ao ajuste de dados (dataset fitting).

2.3 API e Interação do Agente

O framework fornece uma API HTTP estável que permite aos agentes:

• Recuperar descrições e parâmetros do jogo.
• Enviar ações (Cima, Baixo, Esquerda, Direita, etc.).
• Receber observações textuais e atualizações de estado estruturadas.
  Os agentes são avaliados com base em sua capacidade de resolver os labirintos dentro do orçamento de passos.

3. Configuração Experimental e Resultados de Linha de Base

O artigo avalia agentes de LLM "vanilla" que dependem exclusivamente do histórico de prompt (regras do jogo + pares ação-observação) sem ferramentas externas ou construção de estado explícita.

3.1 Desempenho do LLM Vanilla

• Configuração: Vários modelos (GPT-4o Mini, GPT-5 Mini, Gemini 3.1 Flash Light, MiniMax M2.7) foram testados em labirintos de TREINAMENTO.
• Descobertas:
  • Nenhum dos modelos testados resolveu os labirintos de forma confiável, mesmo os simples.
  • O GPT-4o Mini performou sistematicamente pior do que uma linha de base de caminhada aleatória (random walk).
  • Embora alguns modelos (ex: Gemini 3.1 Flash) tenham superado o acaso em labirintos pequenos, todos falharam em grades maiores (5x4 e acima) e labirintos com incerteza dinâmica (rios/poços).
  • Mesmo modelos mais fortes (GPT-5.5, Gemini 3.5 Flash) alcançaram apenas ~30-40% de sucesso em labirintos difíceis com o dobro do orçamento de passos, muito abaixo do desempenho humano.

3.2 Prompt-como-Memória-de-Trabalho (Agente de Planejamento)

Para testar se o rastreamento de estado explícito ajuda, um "agente de planejamento" foi introduzido. Este agente utiliza um processo de dois estágios:

1. Tomada de Notas: Ele gera notas no prompt para rastrear coordenadas, status de exploração e planos (atuando como memória de trabalho).
2. Ação: Ele seleciona uma ação com base nessas notas.

• Resultados:
  • Modelos Mais Fortes: O desempenho melhorou significativamente (ex: GPT-5.5: 30% $\to$ 60%; Gemini 3.5 Flash: 40% $\to$ 70%).
  • Modelos Mais Leves: Mostraram zero melhoria em tarefas difíceis.
  • Limitação: A melhoria sugere que os LLMs vanilla não constroem representações latentes explícitas do estado do mundo durante a inferência; eles requerem a externalização desse estado para o prompt de texto para utilizá-lo efetivamente. No entanto, mesmo com notas, a abordagem de "memória-como-texto" permanece frágil e insuficiente para uma resolução confiável.

4. Principais Contribuições

1. Framework AGI Maze: Um novo benchmark de baixa largura de banda, projetado especificamente para isolar e testar capacidades de modelagem de mundo (representação de estado, rastreamento de crença, planejamento de longo horizonte) sem o fator de confusão da percepção visual.
2. Evidência Empírica das Limitações dos LLMs: Demonstra que os LLMs vanilla falham em construir representações de mundo persistentes e manipuláveis, muitas vezes performando pior do que linhas de base aleatórias em ambientes parcialmente observáveis e estatais.
3. Diferenciação de Tipos de Memória: Destaca a distinção entre o estado latente interno (que os LLMs falham em manter) e a memória de texto externalizada (que ajuda, mas é ineficiente e frágil).
4. Extensibilidade: Um framework que suporta extensões dinâmicas (novos itens, mecânicas) para testar a generalização e a capacidade de inferir novas regras através da interação, em vez de codificação rígida.

5. Significância e Alegações

O artigo postula que o AGI Maze não é um benchmark definitivo de AGI, mas uma ferramenta de diagnóstico para identificar lacunas específicas nas arquiteturas de agentes atuais.

• Alegação Central: A falha dos LLMs no AGI Maze apoia a hipótese de que a predição de próximo token não leva inerentemente à construção de modelos de estado de mundo explícitos e coerentes.
• Implicação: A modelagem de mundo robusta requer mecanismos além da inferência padrão, como modelos de mundo externos explícitos (mapas, grafos, simuladores) e melhores estratégias de gerenciamento de memória.
• Direção Futura: O framework destina-se a guiar a pesquisa em agentes que possam construir e consultar artefatos externos (ex: simuladores programáticos) e lidar com a incerteza e a memória de forma mais eficaz do que as abordagens atuais de "texto-como-memória".

Os autores concluem que, embora o AGI Maze isole a representação e o raciocínio como o principal gargalo, resolver essas tarefas provavelmente exigirá mudanças arquiteturais além de ferramentas ad-hoc e engenharia de prompt.