See, Symbolize, Act: Grounding VLMs with Spatial Representations for Better Gameplay

O artigo demonstra que a incorporação de representações simbólicas melhora o desempenho de Modelos Visuais-Linguísticos em jogos interativos, mas apenas quando a extração desses símbolos a partir da percepção visual é precisa, revelando que a qualidade da percepção é o principal gargalo para agentes baseados nesses modelos.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a jogar videogame. Esse robô é um VLM (Modelo de Visão e Linguagem). Ele é como um gênio que consegue descrever perfeitamente o que vê em uma foto ("tem um gato no sofá"), mas é péssimo em agir com base nisso ("pule no sofá agora!").

O artigo "See, Symbolize, Act" (Veja, Simbolize, Aja) investiga como ajudar esse gênio a jogar melhor. A ideia central é: e se, além de mostrar a imagem do jogo, nós dermos ao robô uma "lista de dados" (símbolos) explicando onde cada coisa está?

Aqui está a explicação do estudo, usando analogias do dia a dia:

1. O Problema: O Jogador Cego vs. O Jogador com Mapa

Pense em jogar um jogo de tênis (como o Pong) de duas formas:

• Apenas a Imagem (Frame-only): Você está jogando com os olhos vendados, mas alguém te mostra uma foto rápida do jogo a cada segundo. Você tem que adivinhar onde a bola está e para onde bater. É difícil e você erra muito.
• A Imagem + O Mapa (Symbolic Grounding): Você vê a foto, mas alguém te entrega também um mapa que diz: "A bola está no ponto X, a raquete no ponto Y".

O estudo quis saber: Dar esse "mapa" (símbolos) ajuda o robô a jogar melhor?

2. A Descoberta Principal: Depende de quem lê o mapa!

Os pesquisadores testaram três "cérebros" de IA diferentes (Claude, GPT-4o e Gemini) em jogos como Pong, Breakout e Space Invaders.

• O Cenário Perfeito (Mapa Correto): Quando eles deram o mapa perfeito (extraído diretamente do código do jogo, sem erros), todos os robôs jogaram muito melhor. Foi como dar um GPS perfeito para um motorista; ele chega ao destino sem errar.
• O Cenário Realista (O Robô faz o mapa): Aí veio a surpresa. Eles pediram para os robôs criarem o próprio mapa olhando para a tela.
  • O Robô "Cuidadoso" (Claude): Ele olhou a tela, desenhou o mapa com precisão e, ao usar esse mapa, jogou muito melhor.
  • Os Robôs "Desastrados" (GPT e Gemini): Eles olharam a tela, mas desenharam um mapa cheio de erros (colocaram a bola onde ela não estava). Quando usaram esse mapa errado, jogaram pior do que se tivessem usado apenas a foto! Foi como tentar dirigir olhando para um GPS que aponta para o buraco da rua.

A Lição: Símbolos (dados) só ajudam se forem precisos. Se a percepção do robô for ruim, dar dados errados só confunde mais.

3. O Mapa Sozinho Não Funciona

Eles testaram uma situação onde o robô recebia apenas o mapa, sem ver a foto do jogo.

• Resultado: O robô travou. Mesmo com as coordenadas perfeitas, sem a imagem visual, ele não conseguia entender o contexto.
• Analogia: É como receber um endereço escrito ("Rua das Flores, 100") sem nunca ter visto a rua. Você sabe onde deve ir, mas não sabe como chegar lá, se há um semáforo, ou se a rua está bloqueada. A imagem é o "cenário", o mapa é a "instrução". Você precisa dos dois.

4. O Segredo da Resolução (Tamanho da Foto)

O estudo descobriu algo curioso sobre a qualidade da imagem.

• Quando mostraram a imagem original, pequena e pixelada (como nos jogos antigos), o robô não conseguia desenhar o mapa direito.
• Quando aumentaram a resolução (fizeram a imagem maior e mais nítida), a capacidade do robô de criar o mapa correto dobrou.
• Analogia: É como tentar ler um letreiro de trânsito de longe. Se você usar binóculos (aumentar a resolução), consegue ler o nome da rua e desenhar o mapa. Se tentar de olhos nus na imagem pequena, você vai errar o endereço.

5. Ruído: Um Pouco de Erro Mata a Estratégia

Eles testaram o que acontece se o mapa tiver um pequeno erro (como dizer que a bola está 20 pixels à esquerda do lugar real).

• Resultado: Mesmo um erro pequeno fez o desempenho do robô despencar.
• Analogia: Imagine que você está tentando pegar uma bola de tênis. Se alguém te disser "pegue aqui" e a bola estiver a 20cm de distância, você vai errar o golpe. O cérebro do robô fica confuso e toma decisões ruins.

Conclusão Simples

O estudo nos diz que não basta dar dados para uma Inteligência Artificial.

1. A IA precisa ver bem (alta resolução) para entender o que está acontecendo.
2. Se a IA tentar criar seus próprios dados (símbolos) e errar, é melhor ela confiar apenas na imagem.
3. A "percepção" (a capacidade de ver e entender o mundo) é o gargalo. Se a visão for ruim, a inteligência não importa.

Em resumo: Para criar um agente de IA que joga bem, não adianta apenas dar a ele um "mapa". Primeiro, precisamos garantir que ele tenha "óculos bons" para ver o jogo com clareza e desenhar o mapa corretamente.

Resumo técnico

Resumo Técnico: See, Symbolize, Act

1. Problema e Motivação

Os Modelos Visão-Linguagem (VLMs) demonstram excelência na descrição de cenas visuais, mas enfrentam dificuldades significativas ao traduzir essa percepção em ações precisas e fundamentadas em ambientes interativos. Em tarefas que exigem compreensão espacial rigorosa (como jogos de Atari, robótica ou ambientes 3D), os VLMs atuais tendem a:

• Identificar erroneamente objetos e suas coordenadas.
• Repetir ações ineficazes.
• Falhar no controle preciso, ficando atrás de agentes especializados em fine-tuning.

A questão central investigada é: A fornecimento de representações simbólicas (dados estruturados sobre objetos e coordenadas) junto com o quadro visual melhora o desempenho dos VLMs? O artigo busca entender se essa "fundamentação simbólica" (symbolic grounding) é benéfica, neutra ou prejudicial, dependendo da qualidade da extração desses símbolos pelo próprio modelo.

2. Metodologia

Configuração Experimental

Os autores avaliaram três VLMs de última geração (Claude-4-Sonnet, GPT-4o e Gemini-2.5-Pro) em modo zero-shot (sem fine-tuning) em quatro ambientes:

1. Atari (2D): Pong, Breakout e Space Invaders (variando de 2 a 50 objetos).
2. VizDoom (FPS 3D): Cenário de defesa contra inimigos.
3. AI2-THOR (Embodied AI): Tarefas em ambiente de cozinha fotorealista.

Pipelines de Avaliação

Para isolar os fatores de contribuição, quatro abordagens foram comparadas:

1. Apenas Quadro (Frame-only - F): O VLM recebe apenas a imagem bruta.
2. Quadro + Símbolos Ground-Truth (F+S-GT): O VLM recebe a imagem e dados simbólicos perfeitos extraídos da memória RAM do jogo (via OCAtari), servindo como limite superior (upper bound).
3. Quadro + Símbolos Auto-extraídos (F+S-self): O VLM primeiro extrai os símbolos (IDs, coordenadas, confiança) da imagem e, em seguida, usa esses dados junto com a imagem para decidir a ação.
4. Apenas Símbolos (S-GT): O VLM recebe apenas as coordenadas perfeitas, sem imagem visual.

Métricas

• Desempenho de Jogo: Recompensa cumulativa normalizada (0-100).
• Qualidade de Detecção: Pontuação F1 e Interseção sobre União (IoU) comparando os símbolos extraídos pelo VLM com as anotações ground-truth.
• Ablação: Análise de impacto da resolução da imagem e ruído nas coordenadas.

3. Principais Contribuições e Descobertas

A. A Qualidade da Extração Simbólica é o Fator Crítico

O estudo revela que a fundamentação simbólica só é benéfica se a extração dos símbolos for precisa.

• Claude-4-Sonnet: Demonstrou alta capacidade de extração de símbolos (F1 ~0.71). Quando forneceu seus próprios símbolos, seu desempenho melhorou drasticamente, aproximando-se do limite superior (Ground-Truth), especialmente em jogos complexos como Space Invaders.
• GPT-4o e Gemini-2.5-Pro: Tiveram baixa precisão na extração de símbolos (F1 < 0.20). Para esses modelos, fornecer símbolos auto-extraídos piorou o desempenho em jogos complexos, pois os erros de detecção (coordenadas incorretas) introduziram ruído que confundiu o raciocínio do modelo, anulando os benefícios potenciais.

B. A Necessidade de Contexto Visual

O pipeline "Apenas Símbolos" (S-GT) mostrou que informação simbólica perfeita, sem contexto visual, é insuficiente.

• Mesmo com coordenadas perfeitas, remover a imagem causou um colapso no desempenho (ex: GPT-4o caiu de 185 para 105 pontos em Space Invaders).
• Isso prova que os VLMs precisam do quadro visual como uma "andaime" (scaffolding) para interpretar e confiar nos dados coordenados.

C. Impacto da Resolução da Imagem

Uma ablação sobre a resolução de entrada mostrou que a resolução é um gargalo direto para a precisão simbólica.

• A resolução nativa do Atari (160x210) resultou em baixa precisão de detecção (F1 ~0.31).
• Aumentar a resolução para 1280x720 dobrou a precisão da extração (F1 ~0.68), permitindo que a fundamentação simbólica se tornasse eficaz. Isso sugere que a limitação não é a ideia de usar símbolos, mas a capacidade do modelo de "ver" detalhes suficientes para extraí-los corretamente.

D. Robustez ao Ruído

O estudo de ablação com ruído gaussiano nas coordenadas mostrou que os VLMs são extremamente sensíveis a erros de detecção.

• Mesmo um nível baixo de ruído ($\sigma=0.1$, erro de ~16-20 pixels) causou uma queda de 30-40% no desempenho.
• Em jogos densos como Space Invaders, o ruído pode levar a comportamentos caóticos, onde modelos com baixa precisão de extração perdem metade de seu desempenho com erros mínimos.

4. Resultados em Ambientes Complexos (3D e Fotorealistas)

Os achados se mantiveram consistentes em VizDoom e AI2-THOR:

• O pipeline F+S-GT (Símbolos Perfeitos + Imagem) sempre teve o melhor desempenho.
• O pipeline F+S-self (Símbolos Auto-extraídos) teve resultados mistos: melhorou o desempenho do Claude-4-Sonnet, mas degradou o do GPT-4o e Gemini em ambientes com muitos objetos ou texturas complexas.
• Isso confirma que a percepção visual de alta qualidade é um pré-requisito para que a representação simbólica ajude na tomada de decisão.

5. Significado e Conclusão

O trabalho estabelece que a fundamentação simbólica não é uma solução mágica universal para VLMs em agentes interativos.

• O Gargalo: A qualidade da percepção (extração de símbolos) é o principal limitador. Se o modelo não consegue extrair coordenadas precisas, adicionar dados simbólicos é prejudicial.
• Implicações Futuras: Para criar agentes VLMs robustos, o foco deve mudar de apenas "adicionar símbolos" para melhorar a extração de símbolos (através de detectores híbridos, fine-tuning de módulos de visão ou aumento de resolução).
• Conclusão Final: A fundamentação simbólica é benéfica apenas quando a extração é confiável. Sem percepção de alta qualidade, os símbolos introduzem ambiguidade e degradam a tomada de decisão.

Em resumo, o artigo demonstra que ver bem (percepção precisa) é pré-requisito para simbolizar bem, e que a combinação de visão e símbolos só funciona quando a percepção visual é suficientemente detalhada para suportar a extração de dados estruturados confiáveis.