VideoGameBench: Can Vision-Language Models complete popular video games?
O artigo apresenta o VideoGameBench, uma avaliação na qual modelos de visão e linguagem devem jogar videogames dos anos 1990 usando apenas entradas visuais brutas e instruções de alto nível, revelando que até mesmo os modelos mais avançados lutam significativamente com a jogabilidade em tempo real devido a limitações na percepção, na navegação espacial e na latência de inferência.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você tem um robô muito inteligente que leu todos os livros da biblioteca e consegue resolver problemas matemáticos complexos. Você poderia pensar: "Ótimo! Vamos ver se ele consegue jogar videogames."
Foi exatamente isso que os pesquisadores da Universidade de Princeton fizeram. Eles criaram um novo teste chamado VideoGameBench para verificar se esses modelos avançados de IA (chamados Modelos Visão-Linguagem) conseguem realmente jogar videogames populares dos anos 1990, assim como um humano faria.
Aqui está a explicação do experimento, dos resultados e do que isso significa, usando analogias simples.
O Cenário: O Teste do "Jogador Vendado"
Normalmente, quando cientistas testam IA em jogos, eles fornecem uma cola à IA. Eles podem dizer à IA: "O inimigo está nas coordenadas X, Y", ou dar a ela um mapa do nível. É como jogar um videogame com um guia aberto no colo.
O VideoGameBench mudou as regras.
- As Regras: A IA recebe apenas imagens brutas da tela (como você olhando para uma TV) e uma descrição simples em texto do que os botões fazem (por exemplo, "Pressione 'A' para pular").
- O Desafio: A IA precisa descobrir o jogo, lembrar onde esteve e reagir aos inimigos em tempo real, assim como um jogador humano.
- Os Jogos: Eles escolheram 10 jogos clássicos dos anos 90, variando de Doom II (um tiro rápido) a Civilization (um jogo de estratégia lento) e Pokémon (uma aventura de RPG).
Eles até esconderam três jogos secretos da IA. Isso foi para garantir que a IA não estivesse apenas memorizando respostas de seus dados de treinamento, mas realmente aprendendo a jogar coisas novas na hora.
Os Resultados: O Problema do "Recém-Nascido"
Os resultados foram surpreendentes. Mesmo os modelos de IA mais inteligentes e poderosos disponíveis hoje (como Gemini 2.5 Pro e Claude 3.7) lutaram imensamente.
- A Pontuação: Os melhores modelos conseguiram completar apenas cerca de 0,48% dos jogos.
- A Realidade: Em português claro, isso significa que a IA ficou presa no próprio início do jogo. Ela nem conseguiu terminar o primeiro nível.
Pense nisso assim: você entrega a um matemático genial um console de videogame totalmente novo. Ele consegue calcular a trajetória de um foguete, mas quando tenta jogar Super Mario, continua caindo de um penhasco porque não entende que "para baixo" na tela significa "cair", ou esquece que já pegou uma chave três minutos antes.
Por Que Eles Falharam?
O artigo identifica três razões principais pelas quais a IA ficou presa:
- A Lacuna "Saber-Fazer": A IA frequentemente "sabia" o que deveria fazer (por exemplo, "Preciso ir até a porta"), mas continuava pressionando o botão errado. Era como uma pessoa que sabe que precisa virar à esquerda para chegar à loja, mas seu pé continua dando um passo para a direita.
- Confusão Visual: A IA às vezes não conseguia dizer o que estava vendo. Em Doom II, uma IA poderia atirar em um inimigo morto que parecia uma pilha de pedras, desperdiçando toda a sua munição. Em Zelda, ela poderia pensar que falou com um personagem apenas porque ficou parada ao lado dele, mesmo que nenhuma conversa tivesse ocorrido.
- Memória Curta: Jogos de videogame exigem lembrar coisas por muito tempo (por exemplo, "Preciso encontrar a chave azul para abrir a porta vermelha"). A IA esquecia seu objetivo principal após apenas alguns passos, sobrescrevendo sua memória com pensamentos novos e menos importantes.
O Experimento do "Botão de Pausa"
Os pesquisadores perceberam que alguns jogos são muito rápidos (em tempo real) e a IA é lenta para pensar. No momento em que a IA decidia pressionar um botão, o jogo já havia mudado, tornando a ação inútil.
Para corrigir isso, eles criaram o VideoGameBench Lite.
- A Mudança: Eles apertaram o botão de "pausa" no jogo enquanto a IA pensava. O jogo só se movia quando a IA dava uma ordem.
- O Resultado: As pontuações subiram ligeiramente (para cerca de 1,6%), mas a IA ainda falhou em terminar os jogos. Isso provou que o problema não era apenas que a IA era lenta; era que a IA simplesmente não conseguia raciocinar a lógica do jogo de forma eficaz.
O "Teste de Prática"
Para ver se a IA conseguia lidar com tarefas básicas, eles criaram três jogos de prática minúsculos e simples:
- Clicar: Clique em um ponto em movimento.
- Arrastar: Arraste um ponto ao longo de uma linha.
- Labirinto: Mova um quadrado através de um labirinto simples.
Mesmo aqui, a IA lutou. Enquanto alguns modelos conseguiam clicar no ponto, quase todos falharam ao arrastar ou navegar pelo labirinto. Isso sugere que a IA tem dificuldade com interações físicas básicas e raciocínio espacial, não apenas com lógica complexa de jogos.
A Conclusão
O artigo conclui que, embora a IA seja incrível em matemática e programação, atualmente é terrível em jogar videogames quando precisa depender apenas do que vê e de sua própria memória.
Os pesquisadores esperam que, ao criar esse teste difícil, possam incentivar os desenvolvedores de IA a construir sistemas melhores em:
- Entender o que veem (percepção).
- Lembrar o que aconteceu antes (memória).
- Planejar passos à frente (estratégia).
Até que a IA possa vencer Doom ou Pokémon sem uma cola, ela ainda não dominou completamente a capacidade humana de aprender e se adaptar a novos ambientes complexos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.