AgentVista: Evaluating Multimodal Agents in Ultra-Challenging Realistic Visual Scenarios

O artigo apresenta o AgentVista, um novo benchmark que avalia agentes multimodais gerais em cenários visuais realistas e complexos, exigindo uso híbrido de ferramentas e raciocínio de longo prazo, revelando lacunas significativas no desempenho dos modelos mais avançados atuais.

O essencial

Imagine que você tem um assistente pessoal superinteligente, um "robô" que consegue ver fotos, ler textos na internet e até fazer cálculos complexos. O sonho é que esse robô possa resolver problemas do dia a dia para você, como consertar um vazamento olhando uma foto da pia, planejar uma viagem perfeita ou comprar o presente ideal.

Mas, até agora, esses robôs eram como estudantes que tiravam nota 10 em provas de múltipla escolha, mas travavam quando precisavam resolver um problema real na cozinha.

Aqui entra o AGENTVISTA. Pense nele não como uma prova, mas como um "Gympark de Desafios Extremos" para esses robôs.

O Que é o AGENTVISTA?

O AGENTVISTA é um novo teste criado por pesquisadores para ver se os robôs realmente conseguem trabalhar de verdade. Eles pegaram 209 situações reais e complicadas, como:

• Renovação de Casa: Você manda uma foto do seu chão e diz: "Quero colocar esse piso aqui, mas preciso saber quanto vai custar o material exato para o meu quarto". O robô tem que olhar a foto, medir o espaço, procurar o produto na internet, ver o preço e fazer a conta.
• Viagem: "Vou visitar 4 lugares hoje, mas preciso voltar para casa entre cada um. Qual o melhor caminho e quanto vou gastar de ônibus?"
• Compras: "Meu amigo é alérgico a castanhas e quer chocolate. Qual o chocolate com menos açúcar e sem castanhas?"

Por que é tão difícil? (A Analogia do Labirinto)

Antes, os testes eram como labirintos com paredes transparentes e saídas óbvias. O AGENTVISTA é um labirinto de espelhos escuros.

1. Detalhes Escondidos: O robô não pode apenas "ler" a imagem. Ele precisa enxergar detalhes minúsculos, como o tipo de parafuso em uma foto de um brinquedo de montar ou a textura de um piso. É como tentar achar uma agulha num palheiro, mas a agulha é quase invisível.
2. O Jogo de Tabuleiro Infinito: Para resolver um problema, o robô precisa usar várias ferramentas em sequência. Ele precisa:
   • Olhar a foto (Visão).
   • Procurar na internet (Busca).
   • Abrir um site (Navegação).
   • Fazer uma conta no computador (Código).
   • E repetir isso muitas vezes, como se estivesse jogando xadrez onde cada movimento exige pensar 10 passos à frente.
3. A Realidade Bagunçada: As fotos não são perfeitas. Elas têm sombras, ângulos estranhos e coisas fora de foco. O robô precisa lidar com o caos do mundo real, não com fotos de estúdio.

O Resultado: Os Robôs Estão Perdidos

Os pesquisadores testaram os robôs mais inteligentes do mundo (como o GPT-5, Gemini e Claude) nesse "Gympark". O resultado foi decepcionante, mas muito útil:

• A Nota Média: Mesmo o robô mais inteligente (o Gemini-3-Pro) acertou apenas 27% das tarefas. Imagine um aluno que tira 2,7 em uma prova de 10.
• Onde eles falham?
  • Cegueira Visual: Eles olham para a foto e veem o que querem ver, não o que está lá. Confundem um objeto com outro.
  • Alucinação: Às vezes, eles inventam fatos. Se não encontram a resposta na internet, eles "mentem" de forma convincente.
  • Esquecimento: Em tarefas longas, eles esquecem o que precisavam fazer no primeiro passo e perdem o rumo.

Por que isso importa?

Pense no AGENTVISTA como um teste de estresse para carros autônomos. Antes, testávamos os carros em pistas vazias e perfeitas. Agora, estamos jogando eles no trânsito de São Paulo na hora do rush, com chuva e buracos.

O fato de os robôs estarem falhando não é uma notícia ruim; é uma bússola. O AGENTVISTA mostra exatamente onde os robôs precisam melhorar:

1. Precisam aprender a "ver" melhor (entender detalhes visuais).
2. Precisam aprender a não inventar coisas (serem mais honestos com os dados).
3. Precisam ter mais paciência e memória para tarefas longas.

Conclusão

O AGENTVISTA é um espelho que mostra a realidade atual da inteligência artificial. Ele diz: "Ei, vocês são inteligentes, mas ainda não estão prontos para cuidar da sua casa sozinhos".

Mas, ao mostrar exatamente onde eles tropeçam, esse teste vai acelerar o desenvolvimento de robôs que, no futuro, poderão realmente ser nossos parceiros confiáveis para resolver problemas complexos, desde consertar um vazamento até planejar a viagem dos seus sonhos. É o primeiro passo para transformar a ficção científica em realidade útil.

Resumo técnico

Resumo Técnico: AGENTVISTA

1. O Problema

Os agentes multimodais do mundo real precisam resolver fluxos de trabalho complexos de múltiplos passos, fundamentados em evidências visuais. Exemplos incluem diagnosticar falhas em dispositivos ligando fotos de fiação a esquemas técnicos ou planejar viagens interpretando mapas de trânsito sob restrições de horário.

No entanto, os benchmarks existentes de agentes multimodais apresentam lacunas significativas:

• Avaliação Específica de Capacidades: A maioria foca em habilidades isoladas (como manipulação visual, navegação na web ou geração de código), em vez de avaliar agentes generalistas que devem combinar múltiplas habilidades em fluxos de trabalho de longo prazo.
• Compromisso entre Realismo e Dificuldade: Muitos benchmarks aumentam a dificuldade simplificando o estado visual ou usando padrões de ferramentas que não refletem fluxos de trabalho cotidianos. Isso desloca o gargalo da "fundamentação visual realista" para a execução de tarefas artificiais.
• Falta de Interação de Longo Prazo: Poucos benchmarks exigem interações prolongadas e intercaladas entre diferentes modalidades (visual, texto, código) e ferramentas.

2. Metodologia: O Benchmark AGENTVISTA

Para preencher essas lacunas, os autores introduzem o AGENTVISTA, um benchmark projetado para avaliar agentes multimodais generalistas em tarefas realistas e ultra-desafiadoras.

• Estrutura do Dataset:

  • Escala: 209 tarefas cobrindo 25 subdomínios em 7 categorias principais: Tecnologia, Comércio, Geografia, Entretenimento, Sociedade, Acadêmico e Cultura.
  • Entradas Visuais: As tarefas são fundamentadas em estados visuais ricos em detalhes (fotos diárias, capturas de tela, diagramas técnicos), com entradas de imagem única e múltipla.
  • Princípios de Design:
    1. Foco na Visão: As tarefas exigem a obtenção de evidências-chave a partir da entrada visual, evitando respostas que possam ser obtidas apenas por busca de palavras-chave.
    2. Uso Híbrido de Ferramentas Intercalado: Cada tarefa exige o uso natural e intercalado de pelo menos duas categorias de ferramentas (ex: busca de imagem + busca na web + processamento de código).
    3. Verificabilidade: Respostas alvo concisas e determinísticas (números, nomes de entidades) para permitir avaliação precisa.

• Pipeline de Construção de Dados:
  O dataset foi construído a partir de um pool inicial de mais de 300.000 imagens e necessidades de usuários reais, passando por quatro estágios rigorosos:

  1. Filtragem Centrada no Agente: Uso de modelos (Claude-Opus-4) e humanos para remover imagens com pouca informação visual ou tarefas que não exigem raciocínio complexo.
  2. Finalização por Especialistas: Reescrita de consultas para refletir intenções de usuários reais, garantindo que a resposta dependa de pistas visuais finas e não de uma única consulta direta.
  3. Filtragem por Execução: Validação de que as tarefas exigem chamadas de ferramentas intercaladas e que não podem ser resolvidas sem acesso a ferramentas.
  4. Verificação em Duas Rodadas: Revisão dupla para garantir a validade da evidência visual e a estabilidade da resposta ao longo do tempo.

• Ambiente de Ferramentas:
  O benchmark utiliza um conjunto controlado de quatro ferramentas principais:

  1. Web Search: Busca na internet.
  2. Image Search: Busca de imagens (por texto ou reversa).
  3. Visit: Navegação e extração de conteúdo de páginas web.
  4. Code Interpreter: Execução de código Python para processamento de imagem (recorte, redimensionamento, medição) e cálculos matemáticos.

3. Resultados Principais

Os autores avaliaram 14 modelos de ponta (incluindo GPT-5, Gemini-3-Pro, Claude-Opus 4.1, etc.) no AGENTVISTA.

• Desempenho Geral Baixo: O benchmark provou ser extremamente difícil. Mesmo o melhor modelo, o Gemini-3-Pro, alcançou apenas 27,3% de precisão geral. Quatro dos 14 modelos tiveram precisão abaixo de 15%.
• Complexidade de Interação: As tarefas exigem interações longas. A média de voltas de chamada de ferramentas (tool turns) foi de 12,67, com modelos como o GPT-5.2 usando em média 13,85 voltas.
• Vantagem de Múltiplas Imagens: Curiosamente, a precisão foi maior para entradas de múltiplas imagens em comparação com imagens únicas para a maioria dos modelos. Isso sugere que vistas complementares reduzem a ambiguidade e auxiliam na fundamentação visual.
• Análise de Erros: A principal causa de falha foi a má identificação visual (visual misidentification), seguida por alucinações de conhecimento. Isso indica que os agentes frequentemente falham ao interpretar detalhes visuais sutis, o que leva a recuperações de informação erradas e falhas em cascata.
• Escalabilidade de Tempo de Teste: O uso de técnicas de sampling (como Best-of-K) melhorou o desempenho, mas não resolveu o problema fundamental. Mesmo com 16 amostras, a precisão máxima atingida foi de apenas 30,62%, indicando que o gargalo não é apenas a geração, mas a fundamentação e o planejamento de longo prazo.

4. Contribuições Chave

1. Novo Benchmark Realista: O AGENTVISTA é o primeiro benchmark a focar especificamente em tarefas de longo prazo, intercaladas e fundamentadas em evidências visuais realistas e complexas.
2. Protocolo de Avaliação Rigoroso: Estabelece um padrão para avaliação de agentes generalistas que combina verificação determinística com ambientes de ferramentas controlados.
3. Diagnóstico de Limitações Atuais: Demonstra empiricamente que os modelos de IA mais avançados ainda têm dificuldades significativas em raciocínio visual de longo prazo e fundamentação precisa em cenários do mundo real.
4. Recursos Abertos: Os autores liberaram o benchmark e um framework de agente leve para facilitar a reprodutibilidade e o progresso na área.

5. Significado e Impacto

O AGENTVISTA sinaliza um ponto de virada na avaliação de agentes multimodais. Ele move o foco de tarefas estáticas de "pergunta e resposta" para fluxos de trabalho dinâmicos e complexos que simulam a inteligência agênica necessária para aplicações práticas (como assistência de compras, planejamento de viagens e diagnóstico técnico).

Os resultados sugerem que, embora os modelos tenham evoluído em percepção básica, a capacidade de raciocínio de longo prazo fundamentado em visão e o uso confiável de ferramentas em cadeia ainda são gargalos críticos. O benchmark serve como um alvo crucial para o desenvolvimento de futuros agentes que precisam ser não apenas inteligentes, mas também confiáveis e robustos em cenários do mundo real.