MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline

O artigo apresenta o MM-DeepResearch, um agente de pesquisa multimodal que supera desafios como a escassez de dados e os custos de treinamento ao combinar a geração de dados via Hyper-Search, a otimização de especialistas em ferramentas de busca com DR-TTS e um mecanismo de aprendizado por reforço offline, resultando em um sistema capaz de raciocínio explícito e síntese de informações cruzadas.

O essencial

Imagine que você tem um detetive muito inteligente, mas que, até agora, só conseguia resolver crimes olhando para uma única foto e usando o que já sabia de cabeça. Se a resposta não estivesse na foto ou na memória dele, ele ficava perdido.

O papel "MM-DeepResearch" apresenta uma evolução desse detetive. Eles criaram um novo agente (um assistente de IA) que não apenas "pensa", mas sabe pesquisar ativamente na internet, misturando imagens e textos, como um investigador de verdade que vai à biblioteca, tira fotos de documentos e pergunta a especialistas.

Aqui está a explicação simples de como eles fizeram isso, usando analogias do dia a dia:

1. O Problema: O Detetive sem Ferramentas

Antes, os modelos de IA eram como estudantes que estudaram muito, mas nunca saíram da sala de aula.

• Falta de dados: Não havia muitos exemplos de perguntas que exigissem "ir à internet" para responder (especialmente misturando fotos e textos).
• Falta de roteiro: Ninguém sabia ensinar o modelo como pesquisar passo a passo (ex: "primeiro pesquise a foto, depois leia o site, depois pergunte ao especialista").
• Custo proibitivo: Ensinar um modelo a pesquisar na internet real é como pagar uma taxa de entrada cara em um parque de diversões a cada vez que ele tenta uma montanha-russa. É muito caro para testar e errar.

2. A Solução: Três Grandes Inovações

Para criar o MM-DeepResearch, os autores usaram três truques de mágica:

A. Hyper-Search: O "Mapa do Tesouro"

Imagine que você quer criar um jogo de caça ao tesouro, mas não tem os mapas.

• O que fizeram: Eles criaram um sistema chamado Hyper-Search. Pense nele como um "teia de aranha" gigante (um hipergrafo) que conecta fotos a textos na internet.
• A analogia: É como se eles pegassem uma foto de um castelo, e automaticamente dessem um "pulo" para encontrar o texto sobre quem o construiu, depois um "pulo" para encontrar uma foto de outro castelo parecido, e assim por diante.
• Resultado: Eles geraram milhares de perguntas difíceis que obrigam o modelo a usar essa teia de conexões para responder. É como criar um manual de instruções para o detetive aprender a investigar.

B. DR-TTS: A "Equipe de Especialistas"

Imagine que você precisa montar um time para resolver um crime complexo. Em vez de ter um único detetive generalista que é mediano em tudo, você contrata especialistas.

• O que fizeram: Eles criaram o DR-TTS. Primeiro, eles dividiram o trabalho: um especialista só sabe usar a ferramenta de "pesquisa por imagem", outro só sabe usar "pesquisa por texto", outro só sabe "ler documentos".
• A analogia: É como ter uma equipe de cirurgiões onde cada um é mestre em uma parte do corpo. Depois, eles juntam esses especialistas em uma "sala de guerra" (uma árvore de busca) para simular milhares de cenários de investigação. Eles testam: "E se o especialista de imagens tentar isso? E se o de textos tentar aquilo?".
• Resultado: Eles criaram os melhores "roteiros" de investigação possíveis para ensinar o modelo principal.

C. O Motor de Busca Offline: O "Simulador de Voo"

Aqui está a parte que economizou milhões de dólares.

• O problema: Treinar com a internet real (APIs online) é como voar um avião real para aprender a pilotar: é perigoso e custa uma fortuna em combustível.
• A solução: Eles construíram um Motor de Busca Offline. É como um simulador de voo ultra-realista. Eles baixaram uma "biblioteca" gigante de textos e imagens antes de começar.
• A analogia: Quando o modelo precisa pesquisar, ele não vai para a internet real. Ele vai para essa biblioteca interna. É instantâneo e gratuito. Isso permitiu que eles fizessem milhões de tentativas de treinamento sem gastar um centavo em taxas de internet.

3. O Resultado: O Super-Detetive

Com esses três ingredientes, eles treinaram o MM-DeepResearch.

• Como ele funciona: Você mostra uma foto (ex: um prédio estranho) e faz uma pergunta. O modelo pensa: "Não sei quem construiu isso. Vou usar minha ferramenta de busca por imagem para identificar o prédio. Agora que sei o nome, vou usar minha ferramenta de texto para ler a história dele. Agora vou cruzar as informações e te dar a resposta."
• Desempenho: Nos testes, esse novo agente superou outros modelos famosos (como o GPT-5 e o Qwen) em tarefas que exigem pesquisa profunda, mesmo sendo treinado de forma mais barata e inteligente.

Resumo Final

Pense no MM-DeepResearch como a diferença entre um aluno que decorou a enciclopédia e um pesquisador profissional que sabe usar a biblioteca, o laboratório e a internet para descobrir coisas novas.

Eles não apenas criaram um modelo mais inteligente; eles criaram um método mais barato e eficiente para ensinar qualquer modelo a ser um pesquisador, usando mapas de conexões (Hyper-Search), times de especialistas (DR-TTS) e um simulador de treinamento (Busca Offline).

Resumo técnico

Resumo Técnico: MM-DeepResearch

1. O Problema

O objetivo central é desenvolver um agente de pesquisa multimodal capaz de realizar "pesquisa profunda" (deep research), envolvendo raciocínio explícito, planejamento, invocação de múltiplas ferramentas e síntese de informações cruzadas entre modalidades (texto e imagem). No entanto, o desenvolvimento desses agentes enfrenta três desafios fundamentais:

1. Escassez de Dados: Há uma falta crítica de dados de QA (Pergunta e Resposta) multimodais intensivos em busca, que exijam múltiplas voltas de interação e o uso de várias ferramentas de busca.
2. Trajetórias de Busca Ineficazes: As abordagens tradicionais de síntese de trajetórias são projetadas para buscas de turno único, sendo inadequadas para cenários complexos que exigem interação iterativa com diferentes ferramentas.
3. Custo Proibitivo: O treinamento com APIs de busca online (como SerpAPI ou Jina) é extremamente caro, podendo custar milhares de dólares por execução de treinamento, o que limita a experimentação extensiva e a exploração sistemática.

2. Metodologia

Para superar esses desafios, os autores propõem o MM-DeepResearch, um agente multimodal treinado através de três componentes principais:

A. Hyper-Search (Geração de Dados)

• Conceito: Um método baseado em hipergrafos para gerar pares de QA multimodais intensivos em busca.
• Funcionamento:
  • Modela informações da web (imagens e textos) como nós e suas relações como hiperarestas.
  • Realiza expansão de nós: uma imagem pode gerar textos relacionados (busca reversa) ou imagens visualmente similares; um texto pode gerar novas imagens ou textos relacionados.
  • Gera perguntas de dois níveis:
    • Nível 1 (Intra-hiperaresta): Requer busca dentro de um único contexto de hiperaresta.
    • Nível 2 (Inter-hiperaresta): Requer integrar informações de múltiplas hiperarestas, forçando múltiplas rodadas de busca.
• Resultado: Um dataset de 3.000 pares de QA de alta qualidade (Hyper-Search-3K) que exigem a invocação de múltiplas ferramentas para serem resolvidos.

B. DR-TTS (Decompose–Recompose Tool Tree Search)

• Conceito: Um método de busca em árvore para sintetizar trajetórias de raciocínio eficazes que utilizam diversas ferramentas de busca.
• Funcionamento:
  • Decomposição: Divide tarefas de busca em categorias baseadas no tipo de ferramenta necessária. Treina "especialistas" (experts) específicos para cada ferramenta (ex: busca texto-para-texto, imagem-para-imagem) via Reinforcement Learning (RL), simplificando a complexidade de aprendizado.
  • Recomposição: Combina esses especialistas para explorar conjuntamente a árvore de busca. O sistema ramifica decisões entre diferentes especialistas em cada nível da árvore.
  • Seleção: Se um especialista gera uma resposta final correta (verificada por um LLM), o caminho é mantido; caso contrário, é podado.
• Resultado: Geração de 10.000 trajetórias de busca de alta qualidade (DR-TTS-10K) para Supervised Fine-Tuning (SFT), com maior diversidade e taxa de sucesso.

C. Motor de Busca Offline

• Conceito: Um ambiente de busca simulado para permitir o treinamento de RL sem custos de API.
• Funcionamento:
  • Constrói um corpus multimodal pré-coletado (imagens e textos da web e Wikipedia).
  • Utiliza modelos de embedding (E5 para texto, Jina-CLIP para multimodal) para recuperação eficiente.
  • Inclui ferramentas baseadas em informação (recuperação de dados reais) e baseadas em conhecimento (respostas geradas por modelos especialistas).
• Vantagem: Elimina o custo de APIs online e reduz drasticamente a latência (1s vs 60s), permitindo treinamento escalável com algoritmos como GRPO.

D. Treinamento do Agente
O modelo passa por duas etapas:

1. SFT (Ajuste Fino Supervisionado): Usa as trajetórias do DR-TTS para ensinar o modelo a invocar ferramentas e integrar informações.
2. RL (Reinforcement Learning): Usa o motor de busca offline e o algoritmo GRPO para otimizar o agente, recompensando a precisão da resposta e o formato correto da interação com as ferramentas.

3. Contribuições Principais

1. Hyper-Search: Primeira introdução do conceito de hipergrafos para síntese de dados de QA intensivos em busca, permitindo modelar dependências complexas multimodais.
2. DR-TTS: Uma arquitetura inovadora que decompõe o treinamento em especialistas por ferramenta e depois os recomponha via busca em árvore, mitigando viés de uso de ferramentas e aumentando a diversidade de exploração.
3. Motor de Busca Offline: Uma infraestrutura que viabiliza o treinamento de agentes de RL multimodais sem depender de APIs caras, tornando a pesquisa reprodutível e acessível.
4. Desempenho Superior: O MM-DeepResearch estabelece um novo baseline forte, superando modelos anteriores treinados com APIs online caras.

4. Resultados Experimentais

O modelo foi avaliado em seis benchmarks intensivos em informação (SimpleVQA, MMSearch, LiveVQA, FVQA, InfoSeek, Browsecomp-VL).

• Comparação Geral: O MM-DeepResearch-8B superou significativamente modelos base (como Qwen3-VL-8B) e agentes de busca anteriores (como MMSearch-R1 e WebWatcher).
  • No benchmark MMSearch, alcançou 67.8, superando o Qwen3-VL-8B (37.4) e o MMSearch-R1 (49.0).
  • No SimpleVQA, alcançou 65.9, superando o Qwen3-VL-8B (52.0).
• Escala: Ao escalar para 32B parâmetros, o MM-DeepResearch-32B atingiu 65.3 de média, mostrando ganhos consistentes sobre a base Qwen3-VL-32B.
• Ablação:
  • O uso de dados do Hyper-Search no RL aumentou o número médio de chamadas de ferramentas (profundidade de busca) e a precisão.
  • A combinação de SFT com DR-TTS e RL com Hyper-Search foi crucial para o desempenho final.
  • O motor de busca offline, embora ligeiramente inferior ao online em avaliação final, foi suficiente para treinar agentes altamente competentes, validando sua eficácia e custo-benefício.

5. Significado e Impacto

O trabalho MM-DeepResearch oferece um baseline simples, mas altamente eficaz, para a pesquisa de agentes multimodais.

• Acessibilidade: Ao eliminar a dependência de APIs de busca pagas para treinamento, democratiza o desenvolvimento de agentes de pesquisa profunda.
• Eficiência: Demonstra que a decomposição de tarefas em especialistas e a síntese de dados via hipergrafos são estratégias superiores para ensinar raciocínio complexo e uso de ferramentas.
• Futuro: Estabelece um novo padrão para a comunidade, provando que é possível construir agentes de "pesquisa profunda" robustos com infraestrutura controlada e dados sintéticos de alta qualidade, superando modelos que dependem de treinamento caro em tempo real.

O código e os dados estão disponíveis publicamente, facilitando a reprodução e o avanço futuro na área de agentes multimodais.