Resumo Técnico: VLATIM Benchmark para Modelos Visão-Linguagem em Jogos de Aventura e Puzzle

1. Declaração do Problema

Embora os Modelos Visão-Linguagem-Ação (VLAs) e os Modelos Visão-Linguagem (VLMs) tenham demonstrado potencial na integração de percepção visual, compreensão de linguagem e geração de ações, os benchmarks existentes frequentemente falham em capturar os desafios específicos de espaços de ação contínuos combinados com raciocínio físico complexo. As avaliações atuais dependem frequentemente de entradas discretas excessivamente simples (por exemplo, quebra-cabeças em grade) ou ambientes de mundo aberto excessivamente complexos (por exemplo, Minecraft, Zelda), onde os ciclos de feedback são ou muito restritivos ou muito ruidosos.

Existe uma lacuna crítica na avaliação de se os VLMs podem realizar resolução de problemas lógica semelhante à humana em ambientes que exigem:

1. Raciocínio de alto nível: Compreensão de relações de causa e efeito e mecanismos físicos (por exemplo, reações em cadeia).
2. Execução precisa: Tradução desse raciocínio em interações contínuas e precisas com o mouse (clique, arrastar, passar o mouse) dentro de uma interface gráfica.

Os autores postulam que, embora os modelos possam possuir capacidades de raciocínio, a tradução dessas capacidades em ações físicas precisas dentro de um ambiente de jogo permanece uma hipótese não comprovada.

2. Metodologia: O Benchmark VLATIM

Para abordar essa lacuna, os autores introduzem o VLATIM (Visão-Linguagem Contra The Incredible Machine), um benchmark baseado no clássico jogo de quebra-cabeças de física The Incredible Machine 2 (TIM). O TIM é selecionado por sua dependência de engenhocas no estilo de Rube Goldberg, exigindo que os jogadores resolvam tarefas simples por meio de reações em cadeia complexas envolvendo gravidade, atrito e interações mecânicas.

2.1 Estrutura do Benchmark

O benchmark é dividido em cinco partes progressivas, variando de percepção zero-shot à resolução completa de quebra-cabeças:

• Parte 1: Ancoragem Visual: Avalia a classificação e localização de objetos (caixas delimitadoras) usando perguntas e respostas de escolha única e saídas de coordenadas. As métricas incluem Interseção sobre União (IoU) e Distância Euclidiana.
• Parte 2: Compreensão de Domínio: Testa o conhecimento sobre estados de objetos (por exemplo, um gato fugindo de um rato) e propriedades físicas (por exemplo, atrito, massa). Isso inclui identificação baseada em texto com e sem descrições explícitas de propriedades.
• Parte 3: Raciocínio sobre Eventos: Avalia a capacidade de raciocinar sobre causa, efeito e resultados em reações em cadeia. As tarefas são divididas em componentes textuais (descrevendo o evento) e visuais (marcando a região de efeito).
• Parte 4: Manipulação: Exige que o modelo interaja com a interface do jogo por meio de um loop visão-ação. O espaço de ação inclui: click, hover, drag, wait e finished. As tarefas envolvem colocar, mover, rotacionar, esticar e remover objetos.
• Parte 5: Resolução Completa de Quebra-Cabeças: O modelo recebe apenas o objetivo de alto nível ("Resolva o quebra-cabeça") e deve ler o objetivo na tela, planejar a solução e executar a sequência de ações para completar o quebra-cabeça.

2.2 Configuração Experimental

• Modelos Avaliados: Cinco VLMs foram testados:
  • UI-TARS 1.5 (7B): Um agente de GUI treinado para uso de computador.
  • Qwen2.5 VL (7B): O modelo base para o UI-TARS.
  • Qwen3 VL (235B): Um agente ancorado visualmente com capacidades de uso de computador.
  • Gemini 2.5 Flash: Um modelo de código fechado com forte conhecimento de mundo.
  • GPT-5 Mini: Um modelo de código fechado com forte conhecimento de mundo.
• Framework de Avaliação: Para as Partes 4 e 5, um loop visão-ação foi implementado, onde o modelo recebe a captura de tela atual e o histórico de ações, gera um pensamento e uma ação, executa a ação via pyautogui e recebe uma nova captura de tela. As taxas de sucesso foram determinadas por avaliação humana para tarefas complexas e correspondência de strings para classificação.

3. Resultados Principais

3.1 Disparidade entre Raciocínio e Execução

Os resultados revelam uma desconexão fundamental entre a capacidade de um modelo de raciocinar sobre um cenário e sua capacidade de executar as ações físicas necessárias.

• Ancoragem Visual (Parte 1): Modelos proprietários (Gemini, GPT) demonstraram classificação superior de objetos, mas falharam significativamente na localização precisa. Eles frequentemente geravam coordenadas com baixa resolução (arredondadas para dezenas) ou coordenadas relativas que não mapeavam com precisão para as caixas delimitadoras. Por outro lado, Qwen2.5 e Qwen3 mostraram melhores capacidades de localização, mas lutaram com a classificação.
• Raciocínio de Domínio e Eventos (Partes 2 e 3): Modelos maiores (Qwen3, Gemini, GPT) superaram os menores no raciocínio textual. No entanto, fornecer mais contexto (por exemplo, descrições completas das partes) não melhorou consistentemente o desempenho e, em algumas tarefas visuais, degradou-o.
• Manipulação (Parte 4): As taxas de sucesso foram geralmente baixas.
  • Tarefas simples como "Colocar" e "Remover" tiveram algum sucesso.
  • Tarefas espaciais complexas como "Rotacionar" e "Esticar" raramente foram resolvidas com sucesso.
  • Nenhum modelo completou com sucesso a tarefa "Multi" (combinando múltiplas ações).
• Resolução Completa de Quebra-Cabeças (Parte 5): 0% de Taxa de Sucesso. Nenhum dos cinco modelos, independentemente do tamanho ou arquitetura, resolveu com sucesso um quebra-cabeça completo do início ao fim.

3.2 Arquétipos de Falha

Os autores identificam dois modos de falha distintos:

1. "Estrategistas Cegos" (Gemini, GPT): Esses modelos possuem fortes capacidades de raciocínio, compreendendo a física e formulando planos lógicos. No entanto, falham na ancoragem visual, gerando coordenadas imprecisas que impedem a execução bem-sucedida.
2. "Operadores Miopes" (UI-TARS, Qwen2.5): Esses modelos podem executar cliques precisos e navegar na GUI efetivamente, mas carecem do raciocínio de alto nível para formar planos de múltiplos passos, frequentemente ficando presos em loops ou falhando em reconhecer quando uma tarefa está concluída.
3. Qwen3 VL: Fica no meio, tentando preencher a lacuna com raciocínio e ancoragem aprimorados, mas ainda falha em executar planos com confiabilidade suficiente para resolver quebra-cabeças completos.

4. Contribuições Principais

• Benchmark VLATIM: Um benchmark novel projetado especificamente para avaliar a lacuna entre o raciocínio lógico e a execução de ação contínua em um ambiente de quebra-cabeças baseado em física.
• Avaliação Abrangente: Uma avaliação estruturada em cinco partes cobrindo ancoragem visual, conhecimento de domínio, raciocínio sobre eventos, manipulação e resolução completa de quebra-cabeças.
• Evidência Empírica de Limitações: O estudo fornece evidências definitivas de que os VLMs atuais de última geração ainda não possuem capacidades de resolução de problemas semelhantes às humanas nesses ambientes, principalmente devido à incapacidade de manter simultaneamente o planejamento de alto nível e o controle preciso de baixo nível.

5. Significado e Conclusão

O artigo conclui que, embora os VLMs estejam avançando rapidamente, eles atualmente ficam significativamente aquém do desempenho de nível humano em jogos de aventura e puzzle. A limitação principal não é uma falta de poder de raciocínio isoladamente, mas a incapacidade de integrar a ancoragem visual precisa com o planejamento lógico complexo.

Os autores enfatizam que os arquétipos de "Estrategista Cego" e "Operador Miope" destacam a necessidade de futuras arquiteturas que possam unificar melhor essas modalidades. O benchmark serve como um campo de testes rigoroso para pesquisas futuras, sugerindo que simplesmente escalar modelos ou fornecer mais contexto é insuficiente sem abordar os desafios específicos de espaços de ação contínuos e raciocínio espacial preciso.

O artigo nota modestamente que, embora o desempenho zero-shot seja ruim, trabalhos futuros poderiam explorar aprendizado em contexto (poucos exemplos) ou ajuste fino especificamente para as mecânicas do jogo, embora esses estivessem fora do escopo do estudo atual. Em última análise, as descobertas sugerem que alcançar autonomia semelhante à humana em ambientes físicos interativos requer mais do que apenas as capacidades atuais dos VLMs.