Resumo Técnico: Visual-Seeker

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) tenham demonstrado proficiência em diversas tarefas visuais, eles frequentemente enfrentam dificuldades com o embasamento factual (factual grounding) em cenários complexos de mundo aberto. Os agentes atuais de busca profunda multimodal tentam mitigar isso utilizando ferramentas externas, porém o paradigma de busca visual nativa permanece subexplorado. Os métodos existentes exibem duas limitações primárias:

1. Percepção Visual Passiva: Eles frequentemente dependem de imagens simples com semântica explícita ou tratam a visão meramente como um adjunto estático de entrada de texto. Isso impede a capacidade do agente de lidar com imagens do mundo real complexas que contêm múltiplas entidades interconectadas e detalhes minuciosos.
2. Falta de Evidência Visual Ativa: As trajetórias de busca existentes são predominantemente focadas em texto ou dependem de inserção simples de imagens. Elas carecem de raciocínio visual ativo, onde o agente colhe e integra dinamicamente evidências visuais da web para sustentar o raciocínio multimodal de múltiplos passos (multi-hop).

Metodologia: Visual-Seeker

Para abordar essas lacunas, os autores propõem o Visual-Seeker, um agente de busca profunda multimodal de natureza visual nativa, projetado para realizar raciocínio visual ativo. O sistema opera tratando a visão não como uma entrada estática, mas como um elemento dinâmico onde o agente atende ativamente a detalhes granulares e colhe evidências visuais ao longo do processo de busca.

1. Pipeline de Dados de Raciocínio Visual Ativo

Um componente central do trabalho é a síntese de 5.000 trajetórias de busca multimodais de alta qualidade por meio de um pipeline de três estágios:

• Seleção de Entidade Semente Granular: Utilizando o conjunto de dados LiveVQA, o pipeline extrai informações estruturadas de entidades (nome, descrição, tipo) de imagens complexas do mundo real com múltiplas entidades. Ele emprega uma estratégia de filtragem de três etapas (Filtragem de Menção Genérica, Filtragem de Entidade-Imagem Complexa e Desambiguação de Entidade) para garantir que as entidades semente sejam específicas, visualmente fundamentadas e adequadas para raciocínio complexo.
• Síntese de Trajetória Multi-hop: Usando um grafo de conhecimento da Wikipedia offline, o sistema gera trajetórias de busca diversas e não lineares. Ele utiliza uma estratégia dupla de caminhada aleatória (random walk):
  • Backtracking (Retrocesso): Simula o reexame de suposições anteriores para criar ramos de raciocínio em forma de árvore.
  • Restrição de Ciclo: Gera ramos disjuntos que convergem, garantindo topologias de ciclo estritas para simular comportamentos complexos de navegação.
  • Essas trajetórias são convertidas em perguntas baseadas em texto que obedecem às restrições do subgrafo.
• Injeção de Evidência Visual (VEI): Para forçar o modelo a engajar-se na busca visual, o pipeline localiza entidades e atributos de resposta, gera palavras-chave de busca e recupera imagens candidatas. Um MLLM extrai detalhes visuais granulares (ex: padrões de cores, layouts espaciais) dessas imagens. Esses detalhes são fundidos ao VQA original como um par de QA de "dois passos" (two-hop), compelindo o agente a realizar recuperação de texto-para-imagem e raciocínio ao nível de pixel.

2. Arquitetura do Agente e Treinamento

• Fluxo de Trabalho: O Visual-Seeker opera em um loop estilo ReAct, interagindo com cinco ferramentas externas: text_search (busca de texto), reverse_image_search (busca reversa de imagem), search_image (para evidência visual ativa), visit (para sumarização de página web) e image_crop (para raciocínio granular).
• Estratégia de Treinamento: O modelo é treinado usando Ajuste Fino Supervisionado (SFT) nas 5 mil trajetórias sintetizadas, evitando o custo elevado de aprendizado por reforço. Um modelo professor (Claude-4.6-Opus) gera as trajetórias de busca multimodais. Os dados de treinamento incluem:
  • 3.000 instâncias de VQA sem VEI.
  • 800 instâncias de VQA com VEI.
  • 500 trajetórias de QA apenas de texto.
  • 700 trajetórias amostradas do conjunto de treinamento FVQA.
• Modelo Base: O sistema é construído sobre o Qwen3-VL-8B-Instruct.

Principais Contribuições

1. Agente Visual-Seeker: Um novo agente de busca profunda multimodal que unifica capacidades visuais nativas com a busca. É capaz de percepção visual granular em cenas complexas de múltiplas entidades e coleta proativamente evidências visuais para busca cross-modal.
2. Pipeline de Raciocínio Visual Ativo: Um framework de síntese de dados que permite aos modelos desenvolver percepção granular e coleta de evidências ativa. Ele gera 5 mil trajetórias de alta qualidade especificamente desenhadas para treinar agentes em raciocínio visual de múltiplos passos.
3. Desempenho de Estado da Arte: O agente alcança desempenho superior em cinco benchmarks de busca multimodal desafiadores, superando agentes de busca profunda multimodais de código aberto e proprietários existentes.

Resultados Experimentais

O modelo foi avaliado em cinco benchmarks: MMSearch, MMSearch-Plus, BrowseComp-VL, MM-BrowseComp e VisBrowse-Bench.

• Desempenho Geral: O Visual-Seeker alcançou uma acurácia média de 39,6%, superando todos os agentes de busca profunda multimodais atuais e competindo com vários modelos proprietários (ex: GPT-5, Gemini-2.5-Pro).
• Comparação com Baselines: Comparado ao modelo base Qwen3-VL-8B-Instruct operando em um fluxo de trabalho agêntico, o Visual-Seeker demonstrou quase o dobro de desempenho em todos os benchmarks (uma melhoria média de +16,6%).
• Benchmarks Específicos:
  • No MMSearch-Plus (consultas complexas de múltiplas entidades), o modelo mostrou uma melhoria significativa na compreensão visual.
  • No MM-BrowseComp e VisBrowse-Bench (que exigem integração de evidência visual), o Visual-Seeker superou modelos proprietários como GPT-5 e Gemini-2.5-Pro.
• Estudos de Ablação:
  • Dados: A inclusão de trajetórias com Injeção de Evidência Visual (VEI) foi crítica, gerando ganhos significativos em benchmarks que exigem evidência visual (ex: +17,2% no MMSearch-Plus).
  • Ferramentas: A remoção de qualquer uma das ferramentas image_crop ou search_image resultou em quedas substanciais de desempenho, particularmente no benchmark VisBrowse, confirmando a necessidade de fundamentação visual ativa e coleta de evidências.

Significância e Alegações

O artigo afirma que o Visual-Seeker consegue preencher a lacuna entre a percepção visual passiva e a busca cross-modal ativa em ambientes de mundo aberto. Ao mudar o paradigma de tratar a visão como uma entrada estática para um processo ativo e orientado pelo raciocínio, o agente demonstra capacidades robustas em:

• Identificar entidades alvo dentro de imagens do mundo real complexas e ricas em entidades.
• Realizar raciocínio de múltiplos passos dinamicamente.
• Coletar e integrar proativamente evidências visuais para responder a consultas que agentes puramente textuais ou multimodais passivos não conseguem resolver.

O trabalho valida que o raciocínio visual ativo é essencial para a próxima geração de agentes de busca multimodal, permitindo que naveguem em ambientes web do mundo real com um nível de precisão e fundamentação anteriormente inalcançável.