Vision-DeepResearch Benchmark: Rethinking Visual and Textual Search for Multimodal Large Language Models

Este artigo apresenta o VDR-Bench, um novo benchmark de 2.000 instâncias projetado para superar as limitações de avaliações anteriores ao focar em cenários realistas de pesquisa visual e textual para Modelos de Linguagem Multimodal, além de propor um fluxo de trabalho de busca com recortes múltiplos que melhora significativamente o desempenho desses sistemas.

O essencial

Imagine que você tem um detetive muito inteligente, chamado MLLM (um modelo de linguagem multimodal). Ele é ótimo em ler livros e conversar, e agora ele aprendeu a "olhar" para fotos. A ideia é que esse detetive possa resolver mistérios complexos olhando para uma imagem e pesquisando na internet ao mesmo tempo.

O problema é que os testes atuais para ver se esse detetive é bom estão "viciados". É como se você estivesse testando a habilidade de um jogador de xadrez, mas permitindo que ele leia a resposta escrita no tabuleiro antes de fazer a jogada.

Aqui está o resumo do artigo "Vision-DeepResearch Benchmark" (VDR-Bench) em linguagem simples, usando analogias:

1. O Problema: Os Testes Antigos eram "Trampas"

Os testes antigos tinham dois defeitos graves:

• O Detetive não precisava olhar a foto: Muitas perguntas podiam ser respondidas apenas lendo o texto ou usando o que o detetive já sabia de cor (memória).
  • Analogia: Imagine que você pergunta: "Qual time joga no estádio com o nome 'Signal Iduna Park'?" O detetive não precisa olhar a foto do estádio; ele apenas sabe a resposta porque já leu sobre isso em um livro. O teste achava que ele era um ótimo detetive visual, mas ele só estava usando a memória.
• A busca era "mágica" demais: Quando o detetive precisava procurar a imagem na internet, o teste era fácil demais. Se você mostrava a foto inteira, o Google encontrava a mesma foto exata instantaneamente.
  • Analogia: É como se você estivesse procurando uma agulha no palheiro, mas a agulha tivesse um brilho neon e estivesse em cima da mesa. Na vida real, a agulha está escondida, suja e misturada com outras coisas. Os testes antigos não simulavam essa dificuldade.

2. A Solução: O Novo Teste "VDR-Bench"

Os autores criaram um novo campo de provas chamado VDR-Bench (o "Olimpo dos Detetives Visuais"). Eles construíram 2.000 novos casos para testar a inteligência real.

Como eles fizeram isso?

• Corte e Procure (A Técnica do "Zoom"): Em vez de mostrar a foto inteira, eles cortaram pedaços pequenos e específicos da imagem (como um recorte de jornal) e pediram para o detetive procurar o que é aquele pedaço na internet.
  • Analogia: Em vez de mostrar a foto de um carro inteiro e perguntar "qual é a marca?", eles mostram apenas o emblema no capô e perguntam "quem fez isso?". Isso força o detetive a olhar de perto e pesquisar, não apenas chutar.
• Perguntas em Camadas (Quebra-Cabeças): As perguntas não são diretas. Elas exigem várias etapas de raciocínio.
  • Analogia: Não perguntam "Quem é esse ator?". Perguntam: "Esse ator viveu em uma cidade que tem um rio chamado X. Qual é o nome do filme onde ele trabalhou com um diretor que nasceu no ano Y?". O detetive precisa conectar a foto, a cidade, o rio e o ano para chegar à resposta.

3. O Que Eles Descobriram?

Ao testar os melhores "detetives" (modelos de IA) nesse novo campo de provas, eles viram coisas interessantes:

• O Efeito "Preguiça Inteligente": Os modelos mais inteligentes (que sabem muita coisa de cor) tendiam a ser "preguiçosos". Eles achavam que podiam responder sem pesquisar, usando apenas o que já sabiam. Como as perguntas eram difíceis e exigiam verificação visual, eles falhavam.
• A Estratégia do "Zoom" Funciona: Eles criaram um método simples chamado "Pesquisa com Cortes Múltiplos". Em vez de tentar achar a resposta de uma vez só, o modelo corta a imagem em várias partes, pesquisa cada pedaço e junta as informações.
  • Resultado: Isso funcionou muito bem! Mesmo modelos menores, quando usavam essa estratégia de "cortar e pesquisar", ficaram muito melhores do que os gigantes que tentavam adivinhar.

4. A Lição Final

Para criar um verdadeiro "Super Detetive" que possa investigar o mundo real (olhando fotos de crimes, produtos, lugares, etc.), não basta apenas treinar o cérebro do modelo para saber mais coisas.

É preciso ensinar o modelo a:

1. Não confiar apenas na memória.
2. Olhar de perto (fazer zoom/cortar a imagem).
3. Pesquisar em etapas (como um investigador que coleta pistas uma por uma).

O artigo diz: "Se você quer que sua IA seja boa em investigar o mundo real, pare de dar a ela testes fáceis e ensine-a a usar a lupa e o mapa, não apenas a memória."

Resumo técnico

1. O Problema

Os Modelos de Linguagem Grande Multimodais (MLLMs) evoluíram para sistemas de "Deep Research" (pesquisa profunda) que combinam compreensão de imagem, busca na web e raciocínio multihop. No entanto, o artigo identifica que as benchmarks existentes para avaliar essas capacidades são fundamentalmente falhas devido a duas limitações críticas:

1. Falta de Centralidade na Busca Visual: Muitas perguntas nas benchmarks atuais podem ser respondidas sem verificação visual genuína. As respostas são frequentemente inferidas através de:
   • Pistas textuais cruzadas: A interseção de entidades textuais na pergunta restringe as opções a um conjunto pequeno, permitindo "chutes" ou deduções puramente linguísticas.
   • Conhecimento prévio do mundo: O modelo responde com base em sua memória paramétrica (treinamento) em vez de buscar informações visuais externas.
2. Cenários de Avaliação Idealizados:
   • Busca de Imagem: A recuperação de informações ocorre frequentemente através de correspondência quase exata da imagem inteira (whole-image matching), onde o mecanismo de busca retorna a imagem original com metadados perfeitos. Isso não reflete a realidade, onde a busca visual é iterativa, ruidosa e requer localização de entidades específicas.
   • Busca de Texto: As perguntas são formuladas de maneira direta e rasa, subestimando a complexidade do raciocínio multihop e da agregação de evidências.

Essas falhas levam a uma superestimação das capacidades reais dos modelos, pois o desempenho reflete mais a memorização e a recuperação de texto do que a capacidade de busca e verificação visual.

---

2. Metodologia

Para abordar essas lacunas, os autores propõem o VDR-Bench (Vision-DeepResearch Benchmark) e uma nova estratégia de busca.

A. VDR-Bench (O Benchmark)

O benchmark consiste em 2.000 instâncias de VQA (Visual Question Answering) criadas através de um pipeline rigoroso de múltiplos estágios para garantir que a busca visual seja necessária:

1. Pré-filtragem e Recorte Manual: Imagens de alta qualidade são selecionadas e recortadas manualmente em regiões salientes (objetos, logotipos, locais) em vez de usar a imagem inteira.
2. Extração e Verificação de Entidades: As regiões recortadas são usadas para busca na web. Entidades candidatas são extraídas e verificadas (por humanos e MLLMs) para garantir que não possam ser obtidas apenas pela imagem original ou conhecimento prévio.
3. Geração de Sementes VQA: Perguntas são geradas focando na identificação e fundamentação (grounding) dessas entidades visuais.
4. Expansão de Complexidade via Grafo de Conhecimento: Para evitar perguntas de "um hop" (simples), as entidades visuais são ligadas a um grafo de conhecimento externo. Perguntas de raciocínio multihop são construídas (ex: "Qual a cidade sede da empresa cujo logotipo aparece na imagem?").
5. Verificação de Solvabilidade: Um processo de duas etapas (automática e humana) garante que a resposta só possa ser encontrada combinando a trajetória de busca visual (recortes) com a expansão do grafo de conhecimento, eliminando atalhos textuais.

Métricas de Avaliação:

• Precisão da Resposta: Avaliação da correção final da resposta.
• Recall de Entidade (Entity Recall): Mede se o sistema descobriu as entidades relevantes necessárias para a resposta, avaliando a equivalência semântica entre as entidades buscadas e as "gold entities" (entidades de referência), permitindo caminhos de raciocínio variados.

B. Workflow de Busca Recortada Multi-round (Cropped-Search)

Para mitigar a incapacidade de recuperação visual dos MLLMs atuais, os autores propõem um fluxo de trabalho simples, mas eficaz:

• Em vez de enviar a imagem inteira, o modelo realiza múltiplos recortes (crops) de regiões de interesse.
• O sistema executa buscas iterativas com esses recortes, refinando hipóteses e agregando evidências cruzadas (visuais e textuais) ao longo de várias rodadas.
• Isso simula a natureza real da busca visual, que é tentativa e erro, e não uma correspondência perfeita de uma única imagem.

---

3. Principais Contribuições

1. Identificação de Falhas Críticas: Demonstração empírica de que benchmarks atuais permitem "atalhos" (text-only ou prior knowledge) e usam cenários de busca de imagem irrealistas (one-shot perfect retrieval).
2. Lançamento do VDR-Bench: Um novo benchmark de 2.000 exemplos, cobrindo 10 domínios visuais (esportes, arquitetura, natureza, etc.), construído com um pipeline de verificação humana e expansão de conhecimento para forçar a necessidade de busca visual real.
3. Proposta de Workflow de Recorte Multi-round: A introdução de uma estratégia de busca iterativa com recortes de imagem que melhora significativamente o desempenho em cenários realistas, oferecendo diretrizes práticas para o desenvolvimento de agentes de pesquisa multimodal.

---

4. Resultados

Os experimentos foram realizados com modelos de ponta (Gemini 2.5 Pro, GPT-5, Claude-4, Qwen3-VL) em três configurações: Resposta Direta, Busca de Imagem Recortada + Busca de Texto (CIS+TS), e Busca com Forçamento Visual Multi-turn (MVF).

• Baixo Desempenho sem Busca: Todos os modelos tiveram pontuações baixas na configuração de "Resposta Direta", confirmando que o VDR-Bench exige busca ativa e não depende apenas de conhecimento prévio.
• Fenômeno de "Lazy Search" (Busca Preguiçosa): Modelos com forte conhecimento prévio (como modelos fechados) tendem a confiar no raciocínio textual ou evitar o uso de ferramentas de busca visual, resultando em desempenho inferior em tarefas que exigem fundamentação visual. Modelos open-source com menos conhecimento prévio, mas melhores ferramentas de busca, performaram surpreendentemente bem.
• Impacto do Workflow de Recorte (MVF): A estratégia de forçamento visual multi-turn (MVF) melhorou substancialmente a precisão e o recall de entidades em todos os modelos.
  • Exemplo: O Gemini 2.5 Pro aumentou sua precisão geral de 16.2% (CIS+TS) para 30.0% (CIS+TS+MVF).
  • O Qwen3-VL-235B alcançou o melhor desempenho geral entre os modelos testados (27.4% com MVF), superando modelos fechados.
• Correlação: Houve uma forte associação positiva entre a capacidade de recuperar as entidades corretas (Recall de Entidade) e a precisão final da resposta.

---

5. Significância

O trabalho do VDR-Bench é fundamental para o avanço dos sistemas de pesquisa profunda multimodal porque:

• Muda o Paradigma de Avaliação: Força a comunidade a abandonar benchmarks que permitem atalhos textuais e a adotar cenários que exigem verificação visual iterativa e fundamentada.
• Guia o Desenvolvimento de Agentes: Demonstra que a simples escalabilidade do modelo base não é suficiente; a eficácia de um agente de pesquisa depende criticamente da capacidade de realizar localização iterativa de entidades e agregação de evidências cruzadas.
• Solução Prática: A estratégia de recorte multi-round (cropped-search) é uma solução de baixa complexidade computacional que oferece ganhos significativos de desempenho, servindo como uma diretriz prática para engenheiros que constroem esses sistemas.

Em resumo, o artigo estabelece que para que os MLLMs realizem uma "pesquisa profunda" realista, eles devem ser capazes de navegar em ambientes visuais ruidosos e ambíguos através de buscas iterativas, e o VDR-Bench é a ferramenta necessária para medir e impulsionar essa capacidade.