VisBrowse-Bench: Benchmarking Visual-Native Search for Multimodal Browsing Agents

O artigo apresenta o VisBrowse-Bench, um novo benchmark e fluxo de trabalho de agente projetados para avaliar a capacidade de raciocínio visual nativo em agentes de navegação multimodal, revelando que os modelos mais avançados atuais ainda apresentam desempenho limitado nessa tarefa.

O essencial

Imagine que você tem um detetive superinteligente, um "agente" que pode navegar na internet, ler textos e olhar fotos para responder a perguntas difíceis. O artigo que você enviou apresenta um novo desafio para esses detetives, chamado VisBrowse-Bench.

Aqui está a explicação do trabalho, traduzida para uma linguagem simples e cheia de analogias:

1. O Problema: O Detetive que Só Lê, Não Olha

Até agora, os testes para esses agentes de IA focavam muito em texto. Era como se você desse a um detetive um caso complexo, mas só permitisse que ele lesse jornais. Se a pista estivesse escondida em uma foto (como a cor de uma gravata em um pôster ou o número de um jogador em uma camisa), o detetive muitas vezes falhava ou tentava adivinhar.

Os autores dizem que os testes antigos tinham dois grandes defeitos:

• O Truque da Busca Reversa: Se você mostrava uma foto de um prédio, o agente podia apenas usar uma ferramenta de "busca reversa de imagem" (como o Google Imagens) e a resposta aparecia magicamente no texto. O agente não precisava entender a imagem, apenas usá-la como uma chave.
• O Mundo é Multimodal, mas o Teste era Cego: Na vida real, a internet é uma mistura de textos e imagens. Mas nos testes antigos, assim que o agente encontrava o nome de algo na imagem, todo o resto do trabalho virava apenas leitura de texto. Era como se o detetive visse a foto do suspeito, anotasse o nome, e depois ignorasse todas as outras fotos do caso, confiando apenas em descrições escritas.

2. A Solução: O "VisBrowse-Bench" (O Desafio Visual-Nativo)

Os pesquisadores criaram um novo campo de treinamento, o VisBrowse-Bench, que é como um "gym" (academia) de alta intensidade para esses agentes.

• A Regra de Ouro: Para responder à pergunta, o agente precisa olhar para as fotos em cada etapa. Não basta ler; ele tem que analisar detalhes visuais que não podem ser descritos em palavras.
• O Exemplo do "Pote de Manteiga": Imagine que a pergunta é: "Qual era a cor do pote de manteiga que a pessoa segura na foto do pôster do filme X?".
  • Se o agente só ler o texto, ele não sabe.
  • Se ele usar a busca reversa, ele pode achar o pôster, mas não saberá a cor se a descrição do site não mencionar.
  • Ele precisa cortar a imagem (como usar uma lupa), olhar o pote, identificar a cor e cruzar essa informação com outras fotos encontradas na internet.

3. Como Funciona o Treinamento (O Fluxo de Trabalho)

Os autores criaram um "robô" (um fluxo de trabalho) que força a IA a agir como um investigador real:

1. Olhar: Analisar a imagem inicial.
2. Perguntar: Usar ferramentas para buscar mais fotos ou textos relacionados.
3. Cortar: Dar zoom em partes específicas da imagem (como o rosto de uma pessoa ou um logotipo).
4. Conectar: Juntar a informação visual (ex: "essa pessoa é o ator X") com a informação textual (ex: "o ator X usou uma gravata preta em 2025").

Eles criaram 169 casos difíceis cobrindo temas como esportes, arte, finanças e tecnologia. Cada caso foi feito por especialistas humanos para garantir que não existam "atalhos" fáceis.

4. O Resultado: A Realidade é Dura

Eles testaram os maiores cérebros de IA do mundo (como o Claude, o GPT-5 e o Gemini) nesse novo desafio. O resultado foi um choque de realidade:

• Ninguém passou de raspão: Mesmo o melhor modelo (Claude-4.6-Opus) acertou apenas 47,6% das perguntas.
• A maioria tropeça: A maioria dos modelos ficou em torno de 30% de acerto.
• O que isso significa? Significa que, embora essas IAs sejam ótimas em conversar e ler, elas ainda são muito ruins em investigar visualmente na internet. Elas tendem a confiar demais no que já sabem de memória ou a tentar resolver tudo apenas com texto, ignorando que a resposta está escondida em pixels de uma foto.

5. Por que isso importa?

Hoje, usamos a internet para tudo: comprar roupas (olhando fotos), verificar notícias (confirmando imagens de eventos) ou estudar (analisando gráficos). Se a IA não consegue "ver" e "raciocinar" com as imagens enquanto navega, ela não é um verdadeiro assistente para o mundo real.

Em resumo:
O VisBrowse-Bench é como um teste de direção para IAs. Antes, o teste era apenas "saber a teoria de trânsito" (texto). Agora, o teste exige que o carro (a IA) realmente dirija, veja os sinais, desvie de obstáculos e leia o mapa visual ao mesmo tempo. E, até agora, a maioria dos carros ainda está batendo no primeiro obstáculo.

Resumo técnico

1. Problema e Motivação

O avanço rápido dos Modelos de Linguagem Multimodais (MLLMs) permitiu o desenvolvimento de agentes de navegação capazes de buscar e raciocinar sobre informações multimodais no mundo real. No entanto, os benchmarks existentes para essas tarefas apresentam duas limitações críticas:

1. Avaliação Insuficiente do Raciocínio Visual: A maioria dos benchmarks atuais (como MMSearch e BrowseComp-VL) testa apenas a capacidade de invocar ferramentas de busca de imagem. Nesses cenários, o modelo pode simplesmente enviar a imagem para uma ferramenta de busca reversa e obter o texto correspondente, sem necessidade de compreensão visual fina ou raciocínio espacial.
2. Negligência da Informação Visual Nativa: Mesmo quando a percepção visual inicial é exigida, o processo de busca subsequente degenera frequentemente em uma busca puramente textual. Uma vez que o modelo extrai uma entidade ou legenda da imagem inicial, todo o raciocínio restante é feito através de documentos de texto, ignorando a necessidade de buscar, analisar e integrar novas evidências visuais descobertas durante a navegação na web.

O artigo argumenta que, em cenários reais de pesquisa profunda (deep research), a capacidade de realizar buscas visuais ativas e raciocinar sobre informações visuais dinâmicas é essencial, mas não é adequadamente avaliada pelos métodos atuais.

2. Metodologia: VisBrowse-Bench

Para abordar essas lacunas, os autores introduzem o VisBrowse-Bench, um novo benchmark projetado para avaliar a capacidade de agentes de navegação multimodal de realizar buscas "nativas visuais".

• Construção dos Dados: O conjunto de dados contém 169 instâncias de Perguntas e Respostas (VQA) cobrindo sete domínios principais: Mídia, Vida, Arte, Geografia, Tecnologia, Esporte e Finanças.
• Princípios de Design:
  • Integração de Informação Multimodal: As perguntas exigem que o agente processe ativamente tanto modalidades visuais quanto textuais durante a formulação da consulta e a aquisição de evidências. O espaço de busca é intercalado com documentos de texto e ativos visuais.
  • Enforcement de Competência Visual: A informação visual é estruturalmente indispensável. As tarefas não podem ser resolvidas apenas com legendas ou descrições textuais; exigem localização espacial precisa, análise de nível de pixel e raciocínio relacional entre múltiplas imagens.
• Pipeline de Coleta: Especialistas humanos construíram as tarefas através de um processo iterativo de "entidade-evento-informação visual". Eles criam cadeias de raciocínio de múltiplos passos (multi-hop), onde cada passo exige a localização de uma nova evidência visual que não pode ser parafraseada textualmente, garantindo que o agente precise buscar ativamente novas imagens na web.
• Framework Agente: Os autores propõem um fluxo de trabalho de agente que utiliza cinco ferramentas principais:
  1. text_search: Busca de texto.
  2. image_search: Busca de imagens por descrição textual.
  3. reverse_image_search: Busca de imagens por imagem.
  4. image_crop: Recorte de regiões de interesse para raciocínio local.
  5. webpage_visit: Visita a páginas da web para extrair informações estruturadas.

3. Contribuições Principais

1. Formalização da Tarefa: Identificação clara das falhas nos benchmarks atuais: a falta de avaliação do raciocínio visual profundo e a negligência da integração de informações visuais nativas nas cadeias de raciocínio.
2. Novo Benchmark (VisBrowse-Bench): Um conjunto de dados rigorosamente validado por especialistas, contendo 169 questões complexas que forçam a fusão de multimodalidade durante a busca.
3. Fluxo de Trabalho Agente: Introdução de um pipeline de busca e raciocínio visual de múltiplas voltas (multi-turn), demonstrando que a integração de ferramentas visuais melhora o desempenho, embora ainda haja um grande espaço para melhoria.

4. Resultados Experimentais

Os autores avaliaram diversos modelos de código aberto, fechados e modelos de "Deep Research" (pesquisa profunda) utilizando o VisBrowse-Bench.

• Desempenho Geral: O desempenho foi notavelmente baixo, evidenciando a dificuldade do benchmark.
  • O melhor modelo proprietário, Claude-4.6-Opus, atingiu apenas 47,6% de precisão.
  • O modelo de pesquisa profunda proprietário, o3-deep-research, alcançou apenas 41,1%.
  • A maioria dos outros modelos ficou em torno de 30% ou menos.
  • O melhor modelo de código aberto (Qwen3-VL-235B) atingiu apenas 14,2%.
• Análise de Abordagens:
  • Resposta Direta (Sem ferramentas): Desempenho muito baixo, mostrando que o conhecimento paramétrico interno é insuficiente.
  • Com Busca de Texto (+TS): Melhoria moderada, indicando que os modelos conseguem interagir com ferramentas de texto, mas não conseguem obter evidências visuais necessárias apenas via texto.
  • Com Busca Visual (+IS): Melhoria adicional significativa para a maioria dos modelos, provando a eficácia do framework em forçar a descoberta de evidências visuais. No entanto, alguns modelos (como Claude-4.6-Sonnet) falharam ao usar ferramentas de imagem corretamente, levando a uma queda de desempenho.
• Uso de Ferramentas: Modelos de alto desempenho, como o Claude-4.6-Opus, utilizaram as ferramentas de forma mais equilibrada. Modelos como o Kimi-K2.5 mostraram uma preferência forte por image_search, o que resultou em grandes ganhos de desempenho ao permitir a descoberta de informações visuais ocultas em páginas web.

5. Significado e Conclusão

O VisBrowse-Bench estabelece um novo padrão para a avaliação de agentes de navegação multimodal. Ele demonstra que, embora os MLLMs tenham avançado, eles ainda lutam para integrar raciocínio visual profundo em processos de busca complexos e dinâmicos.

A principal descoberta é que a simples capacidade de "ver" uma imagem inicial não é suficiente; o agente deve ser capaz de buscar ativamente novas imagens na web, recortar regiões específicas, comparar evidências visuais cruzadas e raciocinar sobre elas em conjunto com o texto. O baixo desempenho dos modelos mais avançados (como o o3 e o Claude-4.6) sugere que a próxima geração de agentes de IA precisará de arquiteturas mais sofisticadas para lidar com a complexidade da navegação visual nativa no mundo real. O código e os dados estão disponíveis publicamente para fomentar pesquisas futuras nessa área.