Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models

O artigo apresenta o Vision-DeepResearch, um novo paradigma para Modelos de Linguagem Multimodal (MLLMs) que, por meio de treinamento supervisionado e por reforço, internaliza capacidades de pesquisa profunda multi-turno e multi-escala para superar ruído visual e resolver questões complexas, superando tanto modelos existentes quanto fluxos de trabalho baseados em fundações proprietárias de ponta.

O essencial

Imagine que você tem um assistente superinteligente, um "robô gênio" que consegue ver fotos e ler textos. O problema é que, quando você pede para ele responder perguntas complexas sobre uma foto (como "Quem é o treinador do time de basquete que está jogando contra o time do jogador da esquerda?"), ele muitas vezes falha. Por quê? Porque ele tenta adivinhar tudo de cabeça, sem consultar a internet, ou então faz uma busca muito superficial e rápida.

O artigo "Vision-DeepResearch" (Pesquisa Profunda com Visão) apresenta uma nova maneira de treinar esses robôs para que eles se tornem verdadeiros detetives, e não apenas adivinhos.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: O Detetive Desajeitado

Atualmente, os robôs inteligentes (chamados MLLMs) têm dois grandes defeitos quando tentam pesquisar na internet:

• A Foto Inteira é Confusa: Imagine que você mostra uma foto de um estádio lotado para o robô e pergunta sobre um jogador específico. O robô tenta pesquisar a foto inteira na internet. É como tentar encontrar uma agulha em um palheiro jogando o palheiro inteiro na máquina de busca. O resultado? A máquina retorna lixo, anúncios e fotos erradas. O robô perde o foco.
• Pouca Persistência: Se a primeira busca não der certo, o robô desiste rápido. Ele faz uma pergunta, recebe uma resposta ruim e diz "não sei". Na vida real, um bom investigador não desiste na primeira tentativa; ele muda a pergunta, foca em um detalhe, procura em outro lugar e tenta de novo.

2. A Solução: O Detetive "DeepResearch"

Os autores criaram um novo método chamado Vision-DeepResearch. Eles ensinaram o robô a agir como um investigador humano experiente.

A. O Poder do "Zoom" (Corte Multi-Escala)

Em vez de jogar a foto inteira na busca, o robô agora aprende a cortar a foto.

• Analogia: Imagine que você está procurando o rosto de um amigo em uma foto de uma festa. Você não mostra a foto inteira para o segurança da porta. Você aponta para o rosto dele e diz: "É ele aqui".
• O robô faz isso automaticamente: ele identifica onde está o objeto de interesse, corta essa parte da imagem e pesquisa apenas aquele pedaço. Isso aumenta muito a chance de encontrar a resposta certa (o "hit-rate").

B. A Dança da Investigação (Raciocínio Profundo)

O robô não faz apenas uma busca. Ele faz dezenas de passos.

• Analogia: É como jogar xadrez. O robô pensa: "Se eu pesquisar 'João', não encontro nada. Talvez eu precise pesquisar 'O time de João'. Ah, encontrei o time! Agora, quem é o treinador desse time? Vou pesquisar isso."
• O sistema permite que o robô faça centenas de interações com a internet, misturando buscas de imagens e textos, até montar o quebra-cabeça completo.

3. Como eles ensinaram isso? (O Treinamento)

Eles não apenas deram um manual de instruções. Eles criaram um simulador de realidade para treinar o robô.

• Criando Casos Difíceis: Eles pegaram fotos reais e criaram perguntas que eram propositalmente difíceis e confusas (como esconder o nome do objeto e pedir para descobrir através de pistas indiretas).
• O "Treino de Fogo": Eles deixaram o robô tentar resolver esses casos milhares de vezes. Quando ele acertava, ganhava um "ponto" (recompensa). Quando errava ou desistia cedo, não ganhava ponto.
• Aprendizado por Reforço: É como treinar um cachorro. Se ele faz o truque certo, ganha um biscoito. Com o tempo, o robô aprendeu que a melhor estratégia é ser persistente, cortar a foto corretamente e fazer várias perguntas até achar a resposta.

4. O Resultado: O Campeão

O resultado desse treinamento é impressionante:

• O novo robô (chamado Vision-DeepResearch) é muito melhor do que os modelos atuais, mesmo sendo menor e mais leve.
• Ele consegue resolver problemas que os gigantes da tecnologia (como GPT-5 ou Gemini) têm dificuldade, porque ele sabe como pesquisar, não apenas o que sabe de cabeça.
• Ele consegue lidar com o "ruído" do mundo real: fotos bagunçadas, informações faltando e perguntas confusas.

Resumo em uma frase:

O Vision-DeepResearch transformou o robô de um "aluno que tenta adivinhar a resposta" em um "detetive experiente" que sabe exatamente como cortar a foto, fazer as perguntas certas e não desistir até encontrar a verdade, mesmo que tenha que pesquisar 50 vezes.

Resumo técnico

Título: Vision-DeepResearch: Incentivando a Capacidade de Pesquisa Profunda em Modelos de Linguagem Multimodal (MLLMs)

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) atuais, embora bem-sucedidos em várias tarefas, enfrentam limitações críticas ao lidar com questões factuais complexas que exigem conhecimento de mundo extenso. O trabalho identifica duas falhas principais nas abordagens existentes de "pesquisa profunda multimodal" (Deep Research):

1. Problema de Taxa de Acerto (Hit-Rate Problem):
   • As abordagens atuais tratam a busca por imagens de forma ingênua, assumindo que uma única consulta de imagem completa (full-image) ou de nível de entidade é suficiente.
   • Na realidade, motores de busca são ruidosos. Imagens completas contêm muito ruído visual, e consultas de diferentes escalas (cortes/zooms) da mesma entidade podem produzir resultados de busca drasticamente diferentes. Ignorar essa variabilidade leva a falhas na recuperação de evidências.
2. Profundidade de Raciocínio e Amplitude de Busca Limitadas:
   • Métodos existentes tendem a gerar trajetórias de raciocínio curtas (poucas interações com ferramentas).
   • Eles não conseguem realizar pesquisas profundas de "múltiplos saltos" (multi-hop) que agreguem evidências de diversas fontes visuais e textuais, falhando em resolver problemas que exigem exploração iterativa e refinamento de consultas.

2. Metodologia

O authors propõem o Vision-DeepResearch, um novo paradigma que permite ao MLLM realizar buscas visuais e textuais multi-turno, multi-entidade e multi-escala. A abordagem é dividida em três pilares principais:

A. Pipeline de Geração de Dados Automatizado

Para superar a falta de dados de treinamento de alta qualidade para cenários de pesquisa profunda, os autores criaram um pipeline altamente automatizado:

• Síntese de VQA Factuais: Coleta de imagens complexas do mundo real e filtragem rigorosa para garantir que as perguntas não possam ser respondidas apenas pelo conhecimento interno do modelo.
• Obfuscação e Síntese Multi-hop:
  • Obfuscação de Resposta: Cadeia de relações para aumentar a profundidade do raciocínio (ex: em vez de "quem é o dono?", pergunta-se "quem é o professor da filha do dono?").
  • Obfuscação de Entidade: Uso de "random walks" (passeios aleatórios) na web para substituir entidades originais por entidades relacionadas através de múltiplos saltos, forçando o modelo a navegar por links.
• Geração de Trajetórias Multimodais:
  • O pipeline gera trajetórias de busca visual onde o modelo faz cortes (crops) em múltiplas escalas e regiões da imagem para encontrar a evidência correta (superando o problema de taxa de acerto).
  • Essas trajetórias visuais são "ponte" (bridged) para um modelo de linguagem baseado em texto (Deep Research LLM) através de descrições textuais detalhadas da imagem, permitindo que o modelo de texto continue o raciocínio e a busca na web.
  • O resultado final é uma trajetória completa contendo dezenas de passos de raciocínio e centenas de interações com motores de busca.

B. Estratégias de Treinamento

• Ajuste Fino Supervisionado (SFT): O modelo é treinado com as trajetórias geradas acima para aprender padrões de raciocínio de longo horizonte, multi-entidade e multi-escala.
• Aprendizado por Reforço (RL):
  • Utiliza GRPO (Group Relative Policy Optimization) com o truque Leave-One-Out.
  • Arquitetura Assíncrona de Alto Desempenho: Para contornar a latência das chamadas de ferramentas, foi desenvolvido um pipeline de rollout assíncrono e multithreaded, permitindo chamadas de ferramentas concorrentes (ex: buscar múltiplos cortes de imagem em paralelo).
  • Truques de Engenharia: Implementação de detecção de repetição de n-gramas, terminação de trajetórias com falhas em cascata e mascaramento de gradientes para trajetórias anômalas, garantindo estabilidade no treinamento.

C. Paradigma de Pesquisa

Diferente de métodos anteriores que fazem uma única busca, o Vision-DeepResearch adota uma estratégia de "tentativa e erro":

1. Identifica entidades e gera múltiplos bounding boxes (caixas delimitadoras) em diferentes escalas.
2. Realiza buscas visuais iterativas nessas regiões.
3. Se a evidência visual for insuficiente, transita para a busca textual baseada em descrições.
4. Refina as consultas com base nos resultados intermediários até acumular evidências suficientes para a resposta final.

3. Principais Contribuições

1. Novo Paradigma de Pesquisa Multimodal: Introdução de um sistema que suporta dezenas de passos de raciocínio e centenas de interações com motores de busca, superando as limitações de trajetórias curtas.
2. Solução para o Problema de Taxa de Acerto: Demonstração de que a busca visual deve ser feita em múltiplas escalas e regiões (crops) e não apenas na imagem inteira, aumentando drasticamente a probabilidade de encontrar a evidência correta em ambientes ruidosos.
3. Pipeline de Dados Sintéticos Robusto: Criação de um método automatizado para gerar dados de treinamento de alta qualidade com obfuscação complexa, simulando cenários reais de pesquisa profunda.
4. Desempenho com Modelos de Tamanho Reduzido: O método permite que modelos menores (ex: 8B e 30B parâmetros) alcancem desempenho superior a modelos proprietários massivos (como GPT-5, Gemini-2.5-Pro e Claude-4-Sonnet) em tarefas de pesquisa factual.

4. Resultados

Os experimentos foram conduzidos em seis benchmarks de VQA factual (VDR, FVQA, MMSearch+, MMSearch, LiveVQA, BC-VL).

• Desempenho Geral: O modelo Vision-DeepResearch-30B-A3B alcançou a melhor média geral (56.9%), superando significativamente o modelo base Qwen3-VL-30B-A3B-Instruct (40.9%) e superando fluxos de trabalho de agentes baseados em modelos proprietários de ponta (como GPT-5 e Gemini-2.5 Pro).
• Ganhos Específicos:
  • No benchmark MMSearch+, o modelo atingiu 28.5%, uma melhoria de +18.5 pontos em relação à versão base.
  • No LiveVQA, alcançou 77.6%, superando o estado da arte anterior.
• Ablação:
  • A combinação de Busca Visual Multi-escala (CIS) + Busca Textual (TS) provou ser essencial. A busca apenas na imagem inteira (WIS) teve desempenho inferior, e a falta de busca textual limitou o desempenho em benchmarks ricos em conhecimento.
  • O treinamento com RL trouxe melhorias adicionais de ~3% sobre o SFT, refinando a tomada de decisão de longo horizonte.

5. Significância

O trabalho Vision-DeepResearch é significativo porque:

• Democratiza a Pesquisa Profunda: Demonstra que não é necessário um modelo de tamanho massivo (bilhões de parâmetros) para realizar pesquisas complexas; a arquitetura e o método de treinamento (dados sintéticos + RL) são os fatores determinantes.
• Avança a Capacidade de Agentes Multimodais: Estabelece um novo padrão para como MLLMs devem interagir com o mundo real, tratando a busca não como uma operação única, mas como um processo iterativo e adaptativo de exploração visual e textual.
• Impacto Prático: Oferece uma solução viável para aplicações que exigem verificação factual rigorosa em imagens complexas (ex: análise de notícias, verificação de fatos em mídias sociais, diagnóstico médico baseado em imagens com contexto web), onde o ruído visual e a necessidade de contexto externo são altos.

Em resumo, o paper redefine o estado da arte em MLLMs para tarefas factuais, provando que a combinação de busca visual multi-escala, raciocínio de longo horizonte e treinamento com RL assíncrono é a chave para desbloquear capacidades de pesquisa profunda robustas.