Sumário Técnico: Mini Amusement Parks (MAPs)

Definição do Problema

Os sistemas de inteligência artificial atuais, apesar de alcançarem desempenho sobre-humano em benchmarks estreitos, lutam com os desafios interconectados inerentes à tomada de decisão no mundo real, particularmente na gestão de negócios. Esses domínios exigem que os agentes realizem simultaneamente:

1. Planejamento em horizontes longos em ambientes estocásticos.
2. Aprendizado ativo a partir de interações esparsas para inferir a dinâmica do ambiente.
3. Raciocínio sobre informações espaciais e interdependências.
4. Otimização sob incerteza, onde os resultados são não-determinísticos.

Os benchmarks existentes falham em capturar essa integração. Tarefas de raciocínio abstrato (ex: ARC-AGI) carecem de semântica do mundo real; benchmarks de planejamento de longo horizonte (ex: Crafter, DiscoveryWorld) frequentemente simplificam as relações entre entidades para pré-requisitos estáticos ou carecem de estocasticidade; e benchmarks aplicados (ex: WebShop, OSWorld) focam tipicamente na conclusão de tarefas em vez da otimização aberta sob incerteza. Consequentemente, não há um banco de testes fundamentado para avaliar quão bem os agentes integram essas capacidades.

Metodologia: O Ambiente MAPs

Os autores introduzem o Mini Amusement Parks (MAPs), um simulador onde um agente atua como gerente de um parque para maximizar o valor do parque ao longo de um horizonte de tempo fixo. O ambiente é uma grade de 20×20 contendo terreno, atrações, lojas, funcionários e visitantes.

Mecânicas Principais

• Entidades: Atrações (carrosséis, rodas-gigantes, montanhas-russas) e lojas (comida, bebida, especialidades) impulsionam a capacidade e a satisfação dos visitantes. Funcionários (zeladores, mecânicos, especialistas) mantêm as operações.
• Progressão: As entidades existem em níveis (amarelo, azul, verde, vermelho). No modo "Médio", níveis superiores devem ser desbloqueados via pesquisa, introduzindo uma camada estratégica onde os agentes devem antecipar necessidades futuras.
• Estocasticidade: O comportamento dos visitantes é probabilístico, impulsionado por variáveis latentes (fome, sede, felicidade) e fatores não observáveis. Ações idênticas geram resultados variados.
• Dinâmicas Espaciais: O fluxo de visitantes é influenciado pela conectividade de caminhos, adjacência à água (que aumenta o entusiasmo da atração) e pelo posicionamento de lojas de especialidades (ex: caixas eletrônicos) em áreas de alto tráfego.

Configuração Experimental

Os autores avaliaram modelos de estado da arte (SotA) contra o desempenho de humanos especialistas através de cinco desafios específicos:

1. Objetivo Aberto (CH1): Comparando modelos de fronteira (GPT-5, Grok-4, Claude Sonnet 4.5, Gemini 2.5 Pro, Qwen3-VL) e agentes de Aprendizado por Reforço (PPO) contra especialistas humanos.
2. Planejamento de Longo Horizonte (CH2): Comparando o desempenho entre os modos "Fácil" (50 passos, sem pesquisa) e "Médio" (100 passos, pesquisa necessária).
3. Aprendizado Ativo de Modelo de Mundo (CH3): Testando se os agentes podem melhorar o desempenho utilizando um "modo sandbox" com 100 dias de ações exploratórias (ex: conceder fundos, desfazer movimentos) para induzir modelos de mundo antes da avaliação.
4. Raciocínio Espacial (CH4): Avaliando LLMs apenas de texto, Modelos de Linguagem-Visão (VLMs) e LLMs aumentados com uma heurística espacial simples para determinar se a entrada visual ou o posicionamento baseado em regras auxilia o desempenho.
5. Estocasticidade (CH5): Quantificando a variância nos resultados e testando o Controle Preditivo Baseado em Modelo (MPC) usando um modelo de mundo oráculo ou um modelo de mundo aprendido (WALL-E) para lidar com a incerteza.

Principais Resultados

1. Lacuna de Desempenho (CH1)

Os modelos SotA ficam significativamente atrás dos especialistas humanos.

• Modo Fácil: O melhor modelo (GPT-5) alcançou apenas 8,80% do limite superior humano.
• Modo Médio: O desempenho caiu para 4,44% do limite superior humano.
• Superioridade Humana: Especialistas superaram os sistemas em 11,4× no Modo Fácil e 15,3× no Modo Médio.
• RL vs. LLM: Agentes PPO com espaços de observação simplificados (PPOSimple) superaram aqueles com espaços completos (PPOFull), sugerindo que o grande espaço de ação exacerba os problemas de atribuição de crédito para RL, enquanto LLMs podem aproveitar o conhecimento prévio para navegar na interface completa.

2. Planejamento de Longo Horizonte (CH2)

O desempenho deteriora-se à medida que as demandas de planejamento aumentam.

• Os modelos exibem otimização míope, frequentemente priorizando ganhos imediatos (ex: construir atrações) em detrimento de necessidades estratégicas de longo prazo (ex: pesquisar funcionários ou atrações diversas).
• As estratégias de pesquisa foram subótimas; os modelos frequentemente pesquisaram atrações caras e inacessíveis ou falharam em pesquisar funcionários, levando a falhas em cascata na manutenção e limpeza do parque.

3. Aprendizado Ativo de Modelo de Mundo (CH3)

Os LLMs atuais falham em aproveitar efetivamente o aprendizado no sandbox.

• Na maioria dos casos, permitir que os agentes aprendam no sandbox por 100 dias resultou em nenhuma melhoria ou em uma diminuição no desempenho.
• Modo de Falha: Os "aprendizados" gerados frequentemente repetiam o manual, eram excessivamente específicos a estados transitórios ou atribuíam incorretamente relações causais (ex: culpar uma única ação por tendências sistêmicas). O contexto adicional muitas vezes diluiu o prompt sem fornecer insights acionáveis.

4. Raciocínio Espacial (CH4)

• Entrada Visual: Fornecer imagens do parque para VLMs reduziu o desempenho em comparação com entradas apenas de texto, sugerindo que as modalidades visuais introduzem confusão em vez de clareza neste contexto.
• Heurísticas: Uma heurística espacial simples (posicionar atrações perto da água e lojas em interseções) melhorou significativamente o desempenho, indicando que os modelos atuais carecem da capacidade de raciocinar independentemente sobre interdependências espaciais e fluxo de multidões.

5. Estocasticidade e Modelos de Mundo (CH5)

• Variância: O ambiente exibe alta variância na receita e no orçamento, embora o valor do parque (a métrica final) seja relativamente estável devido à lei dos grandes números.
• Falha do MPC: Usar um modelo de mundo aprendido (WALL-E) para MPC degradou o desempenho e aumentou problemas de custo/velocidade.
• Sucesso do Oráculo: Um modelo de mundo oráculo (predição perfeita) melhorou o desempenho em >3,5×, demonstrando que o gargalo não é o algoritmo de planejamento em si, mas a incapacidade dos sistemas atuais de modelar precisamente as transições estocásticas.

Significância e Alegações

O artigo afirma que o MAPs fornece um banco de testes unificado, escalável e diagnosticamente rico que expõe um amplo espectro de lacunas persistentes nos sistemas de IA contemporâneos. Suas principais contribuições são:

1. Integração de Benchmarking: É o primeiro benchmark a avaliar simultaneamente otimização de código aberto, planejamento de longo horizonte, aprendizado ativo de modelo de mundo, raciocínio espacial e raciocínio estocástico em um contexto de negócios fundamentado.
2. Insights Diagnósticos: Os resultados identificam modos de falha específicos:
   • Miopia: Incapacidade de equilibrar ganhos de curto prazo com restrições de longo prazo (pesquisa, pessoal).
   • Aprendizado Ineficiente: Falha em construir modelos de mundo úteis a partir de dados de interação limitados.
   • Déficits Espaciais: Incapacidade de raciocinar sobre layouts espaciais sem heurísticas externas.
   • Fragilidade Estocástica: Comportamento frágil quando forçado a modelar a incerteza sem preditores perfeitos.
3. Direção Futura: O artigo argumenta que o avanço dos agentes de tomada de decisão no mundo real exige ir além de objetivos estreitos e suposições determinísticas. Ele postula que a pesquisa futura deve focar em modelagem de mundo com eficiência de amostra, raciocínio espacial robusto e planejamento estratégico sob incerteza.

Os autores concluem que, embora os modelos de fronteira atuais mostrem promessa em tarefas específicas, eles permanecem longe das capacidades de tomada de decisão integradas e adaptáveis necessárias para a gestão de negócios complexos no mundo real.