Resumo Técnico: VistaHop: Avaliação de Raciocínio Visual de Múltiplos Saltos para Visual DeepSearch

Declaração do Problema

Avanços recentes em Modelos de Raciocínio Multimodais Grandes (MLRMs) permitiram que agentes avancem além da compreensão passiva de imagens em direção à percepção visual detalhada e ao raciocínio assistido por ferramentas. Isso deu origem ao Visual DeepSearch (Busca Visual Profunda), um cenário onde os agentes devem inspecionar ativamente regiões de imagem relevantes para a tarefa, recuperar ou verificar evidências externas e conectar pistas visuais através de múltiplas etapas de raciocínio.

No entanto, os benchmarks existentes são insuficientes para avaliar essa capacidade. Os conjuntos de dados atuais focam primariamente em compreensão visual de etapa única ou perguntas-resposta de imagem isoladas. Eles sofrem de quatro limitações críticas:

1. Falta de Busca Centrada na Visão: As tarefas frequentemente dependem de pares imagem-pergunta estáticos onde o raciocínio procede via linguagem sem revisitar a evidência visual.
2. Profundidade de Raciocínio Superficial: As tarefas raramente exigem cadeias de evidências de múltiplos saltos, permitindo que os modelos resolvam problemas via reconhecimento superficial ou raciocínio de atalho.
3. Ausência de Inspeção Repetida: Os modelos não são avaliados em sua capacidade de revisitar iterativamente regiões da imagem ou fundamentar o raciocínio em âncoras visuais específicas.
4. Vazamento de Resposta (Answer Leakage): Muitos conjuntos de dados permitem que as respostas sejam inferidas de pistas textuais, conhecimento prévio ou associações memorizadas sem uma busca visual genuína.

Consequentemente, há uma falta de avaliação sistemática para determinar se os MLRMs atuais podem suportar uma busca visual profunda, iterativa e fundamentada em evidências.

Metodologia

1. Construção do Benchmark VISTAHOP

Os autores introduzem o VISTAHOP, um benchmark abrangente projetado para avaliar o raciocínio visual de múltiplos saltos e a inspeção repetida de imagens. O pipeline de construção envolve sete etapas automatizadas e verificadas por humanos:

• Filtragem de Fonte de Imagem e Extração de Entidades: Imagens de alta resolução (4K+) de fontes como Wikimedia Commons e Unsplash são filtradas por riqueza visual. Um LLM (GEMINI-3.1-PRO) extrai entidades em nível de região (ex: logotipos, marcos, texto) com caixas delimitadoras (bounding boxes) e atributos.
• Enriquecimento de Conhecimento de Entidade e Seleção de Sementes: As entidades extraídas são enriquecidas com conhecimento de Wikipedia/Wikidata. Entidades semente válidas são selecionadas com base na disponibilidade de propriedades estruturadas para suportar a recuperação de vizinhos.
• Construção de Cadeia de Evidências: Cadeias de múltiplos saltos são construídas começando de uma entidade visual semente ($v_0$) até uma resposta alvo ($v_k$) através de saltos relacionais ($k \ge 5$). As relações são normalizadas em categorias (ex: parte-todo, temporal, espacial). Um verificador de relação baseado em LLM valida cada salto com um limiar de confiança ($\tau_{nli} = 0.9$) e filtra entidades excessivamente familiares para garantir a dificuldade.
• Construção de QA Textual: Perguntas em linguagem natural são geradas para os nós terminais dessas cadeias. As perguntas são escritas de forma indireta para evitar correspondência direta de strings.
• Geração de VQA e Verificação de Anti-Vazamento: Um loop de três agentes (Solver, Judge, Rewrite) garante que as perguntas não possam ser resolvidas apenas por texto; se o Solver conseguir responder usando apenas texto, o Judge sinaliza o vazamento, e o agente Rewrite modifica a pergunta para obscurecer atalhos textuais enquanto preserva a dependência visual.
• Fusão de Múltiplas Cadeias: Para avaliar o raciocínio entre cadeias (cross-chain), múltiplas instâncias de VQA relacionadas são fundidas. Valores intermediários (ex: anos, contagens) são extraídos e combinados via operações aritméticas ou condicionais (adição, subtração, max/min) para formar perguntas fundidas complexas que exigem múltiplos âncoras visuais.
• Revisão Humana: Anotadores verificam caminhos de raciocínio, unicidade de resposta e legibilidade.

Estatísticas do Dataset: O VISTAHOP contém 300 imagens de alta resolução em 25 cenários de busca visual (Vida, Ciência, Sociedade, Tecnologia, Cultura). Inclui 350 tarefas de QA de múltiplos saltos: 190 tarefas de cadeia única e 160 tarefas fundidas de múltiplas cadeias, com um comprimento médio de cadeia de 7,43 saltos.

2. Estrutura de Avaliação VISTAARENA

Para testar modelos no VISTAHOP, os autores propõem o VISTAARENA, um ambiente de avaliação unificado que suporta:

• Agente de Busca (Search Agent): Um agente iterativo que observa a pergunta, a imagem e o histórico. Ele pode invocar ferramentas: Busca de Texto (recuperação web), Busca de Imagem (busca reversa de imagem) e Recorte de Imagem (inspeção de região local).
• Agente de Validação (Validation Agent): Um LLM-como-juiz que avalia a resposta final quanto à equivalência semântica com a verdade fundamental (Pass@1), verifica a fundamentação da evidência e monitora a utilização de ferramentas.

Principais Contribuições

1. Benchmark VISTAHOP: O primeiro benchmark especificamente projetado para Visual DeepSearch, avaliando o raciocínio visual de múltiplos saltos, a inspeção repetida de imagens e a geração de respostas fundamentadas em evidências através de tarefas de VQA de múltiplas cadeias.
2. Pipeline de Construção Automatizado: Um processo escalável e automatizado para gerar tarefas de raciocínio de cadeia longa, visualmente fundamentadas, que controla a qualidade dos dados e minimiza atalhos puramente textuais através de rigorosa verificação de anti-vazamento.
3. Estrutura VISTAARENA: Um ambiente de avaliação unificado para analisar o desempenho de MLRMs em configurações de resposta direta, raciocínio aumentado por busca e raciocínio de múltiplos âncoras.

Resultados Experimentais

Os autores avaliaram sete MLRMs representativos, incluindo modelos de propósito geral (Gemini 2.5 Pro, GPT-5, Claude-4-Sonnet, variantes Qwen3-VL) e modelos de busca agênticos treinados (SenseNova-MARS-32B, Tongyi-DeepResearch-30B-A3B).

• Desempenho Geral: Mesmo modelos de última geração lutam significativamente. O melhor modelo, SenseNova-MARS-32B, alcançou um Pass@1 de apenas 24,31% sob a configuração de Busca+Recorte (Search+Crop).
• Impacto das Ferramentas: O uso de ferramentas é crítico. O desempenho melhorou de 7,72% (Sem Ferramenta) para 20,11% (Busca+Recorte) em média. O melhor modelo utilizou ferramentas em 89,4% das rodadas permitidas.
• Escalonamento de Dificuldade: O desempenho cai drasticamente com a dificuldade. Sob Busca+Recorte, o Pass@1 diminuiu de 24,40% (Nível 2, 5-10 saltos) para 15,03% (Nível 3, >10 saltos).
• Modos de Falha: A análise de rastros incorretos revelou que os principais tipos de falha foram âncoras visuais erradas/ausentes (27,4%), deriva de recuperação (24,1%) e colapso de planejamento de cadeia longa (21,5%).

Significância e Alegações

O artigo afirma que os MLRMs atuais permanecem longe de resolver os desafios do Visual DeepSearch. Os baixos escores de desempenho destacam que:

• Benchmarks Especializados são Necessários: Os benchmarks existentes falham em capturar a complexidade da busca iterativa de evidência visual e da fundamentação em nível de região.
• Lacunas de Treinamento Existem: Os modelos atuais carecem de capacidades robustas em raciocínio visual de saltos longos, revisão de evidência visual e fusão de evidência de múltiplos âncoras.
• Direção Futura: O trabalho ressalta a necessidade de métodos de treinamento e benchmarks especializados para avançar agentes capazes de busca visual profunda e fundamentada em evidências.

Os autores enfatizam que suas descobertas são modestas em relação às capacidades atuais dos modelos, observando que mesmo os modelos agênticos mais avançados falham em executar confiavelmente o raciocínio de múltiplos passos centrado na visão exigido pelo VISTAHOP. O dataset e o código são disponibilizados publicamente para facilitar pesquisas futuras neste domínio.