VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning

O artigo apresenta o VSearcher, um agente de busca multimodal de longo horizonte que utiliza aprendizado por reforço e um pipeline de síntese de dados para transformar modelos estáticos em agentes capazes de realizar buscas complexas na web, superando modelos proprietários em tarefas de busca multimodal.

O essencial

Imagine que você tem um detetive muito inteligente, mas que só conhece o mundo através de livros antigos e fotos que ele já tem na memória. Ele é ótimo em resolver mistérios simples, mas se você perguntar sobre algo que aconteceu ontem ou mostrar uma foto de um objeto estranho que ele nunca viu, ele fica perdido. Ele não sabe usar a internet, não sabe pesquisar no Google e não consegue "olhar" para a foto atual para entender o contexto.

O VSearcher é o projeto que transforma esse detetive estático em um super-agente de investigação multimodal.

Aqui está a explicação do funcionamento, usando analogias do dia a dia:

1. O Problema: O Detetive "Cego" e "Surdo"

A maioria das inteligências artificiais atuais é como um bibliotecário que nunca saiu da biblioteca. Ele sabe de tudo o que está nos livros (conhecimento estático), mas não sabe o que está acontecendo no mundo lá fora (informação atual) e não consegue processar bem imagens novas ou navegar em sites complexos.

2. A Solução: O Treinamento "Maratona"

Os autores criaram o VSearcher para ensinar esse detetive a sair da biblioteca, pegar um computador, navegar na internet e usar ferramentas (como busca de texto, busca de imagens e visita a sites) para resolver problemas complexos.

Para isso, eles usaram três etapas principais de treinamento, que podemos comparar a um curso de formação de elite:

Etapa 1: A Fábrica de Mistérios (Síntese de Dados)

Antes de treinar o agente, eles precisavam de exercícios difíceis. Em vez de escrever perguntas manualmente (o que levaria anos), eles criaram uma máquina automática de criar mistérios.

• A Analogia: Imagine que você pega um fato comum (ex: "O presidente dos EUA") e começa a escondê-lo, substituindo por detalhes estranhos e difíceis de encontrar.
  • Passo 1: "Quem foi o 3º presidente?" (Fácil).
  • Passo 2: "Quem foi o presidente que orquestrou a Compra da Louisiana, mostrado na imagem de um mapa antigo?" (Médio).
  • Passo 3: "Qual é o nome da erva descrita pelo filho de um botânico britânico, que aparece nesta foto de um inseto raro, e que foi usada em uma expedição..." (Difícil).
• Eles fizeram isso milhares de vezes, criando perguntas que exigem várias voltas na internet, misturando texto e imagens, para garantir que o agente não possa "chutar" a resposta.

Etapa 2: O Aprendizado com um Mestre (Ajuste Fino por Rejeição)

Agora que eles tinham os exercícios, precisavam de um professor.

• A Analogia: Eles pegaram um modelo de IA superpoderoso e caro (o "Mestre", como o Gemini-3-Pro) e pediram para ele resolver esses mistérios.
• O Mestre tentou resolver. Se ele acertou, o agente aprendeu com a solução. Se ele errou, a solução foi jogada no lixo (rejeitada).
• O agente estudou apenas as soluções corretas do Mestre, aprendendo o "caminho" certo de pensar e agir antes de tentar sozinho. Isso é como um aluno de xadrez estudando as partidas de um Grande Mestre.

Etapa 3: A Arena de Combate (Reinforcement Learning - RL)

Aqui é onde a mágica acontece de verdade. O agente não apenas copia o Mestre; ele joga o jogo.

• A Analogia: Imagine que o agente foi solto em uma arena de videogame (a internet real). Ele recebe uma missão: "Encontre a resposta certa".
• Ele tenta, clica em links, busca imagens, lê páginas.
  • Se ele errar, recebe um "ponto zero" e tenta de novo.
  • Se ele acertar, recebe um "ponto de recompensa".
• Com o tempo, ele aprende quais ferramentas usar, quando parar de pesquisar e como combinar informações de texto e imagem para vencer. É como treinar um atleta: ele falha muitas vezes, mas cada erro o torna mais forte e adaptável.

3. O Resultado: O Agente VSearcher

O resultado é um agente que consegue:

1. Ver a imagem: Analisar uma foto de um objeto estranho.
2. Pesquisar: Usar o Google Imagens para achar de onde veio a foto.
3. Navegar: Entrar nos sites encontrados, ler o conteúdo e extrair informações.
4. Pensar: Combinar tudo isso para responder perguntas que nem os melhores modelos de IA atuais conseguem resolver.

4. A Prova de Fogo (O Benchmark MM-SearchExam)

Para ver se o treinamento funcionou, eles criaram um exame final extremamente difícil (o MM-SearchExam).

• É como um vestibular onde as perguntas são feitas com base em informações que mudam a cada segundo e exigem que você navegue por 10 sites diferentes e analise 3 fotos.
• O VSearcher passou nesse exame com notas altíssimas, superando até mesmo modelos "privados" e caros de grandes empresas (como o GPT-5 e o Gemini), que muitas vezes falharam nas perguntas mais complexas.

Resumo em uma frase

O VSearcher é como pegar um gênio da biblioteca, ensinar a ele a usar o Google, dar a ele um mapa do tesouro cheio de pistas visuais e textuais, e treiná-lo até que ele se torne o melhor detetive de internet do mundo, capaz de resolver mistérios que exigem horas de pesquisa e múltiplas ferramentas.

Resumo técnico

Título: VSearcher: Agente de Busca Multimodal de Longo Horizonte via Aprendizado por Reforço

1. O Problema

Os modelos de linguagem grandes (LLMs) evoluíram para agentes autônomos capazes de interagir com o mundo real e utilizar ferramentas externas. No entanto, a maioria dos avanços recentes foca em modelos de texto único, limitando suas aplicações a cenários que não exigem percepção visual. Por outro lado, os Modelos de Linguagem Multimodal Grandes (MLLMs) possuem capacidades perceptivas superiores, mas permanecem restritos ao conhecimento estático (treinamento prévio) e carecem da habilidade de acessar e utilizar informações atualizadas da web em tempo real.

Existe uma lacuna crítica: não há agentes multimodais robustos capazes de realizar buscas de longo horizonte (long-horizon), envolvendo múltiplas voltas de interação, raciocínio complexo e o uso combinado de ferramentas de busca de texto, busca de imagens e navegação web para resolver problemas do mundo real.

2. Metodologia

O VSearcher propõe um framework de pós-treinamento sistemático para transformar modelos multimodais estáticos em agentes de busca autônomos. A abordagem divide-se em três pilares principais:

A. Síntese de Dados Baseada em Injeção Iterativa (Iterative Injection-based Data Synthesis)

Para treinar o agente, é necessário um grande volume de tarefas de busca complexas. O autor propõe um pipeline totalmente automatizado:

1. Seleção de Sementes: Utiliza o Wikidata para selecionar entidades raras (poucos links em diferentes idiomas, mas com muitas afirmações factuais) para garantir que o modelo não possa responder apenas com conhecimento estático.
2. Geração Inicial: Cria um par Pergunta-Resposta (QA) simples baseado no conteúdo da Wikipedia da entidade.
3. Injeção de Informação Textual: Realiza múltiplas rodadas onde entidades na pergunta são "escondidas" e substituídas por informações extraídas da Wikipedia sobre essas entidades. Isso aumenta progressivamente a complexidade e a necessidade de navegação na web.
4. Injeção de Imagem: Seleciona uma entidade crítica para a resposta, recupera sua imagem da Wikipedia e substitui a menção textual na pergunta por uma frase como "mostrado na imagem". Isso força o modelo a usar ferramentas de busca de imagem.
5. Filtragem Rigorosa: Aplica métricas para descartar perguntas que podem ser respondidas sem ferramentas, que são muito simples visualmente ou que contêm a resposta acidentalmente no texto.

B. Ajuste Fino com Amostragem de Rejeição (Rejection Sampling Fine-Tuning - RFT)

Esta etapa visa "inocular" habilidades de busca no modelo base:

• Utiliza um modelo proprietário forte (Gemini-3-Pro-Thinking) como professor.
• O professor gera trajetórias de raciocínio e ação (framework ReAct) para as tarefas sintetizadas.
• Aplica-se amostragem de rejeição: apenas as trajetórias que resultam na resposta correta são mantidas.
• O modelo base é ajustado (SFT) nessas trajetórias de alta qualidade para adquirir a capacidade inicial de uso de ferramentas em múltiplas voltas.

C. Aprendizado por Reforço (Reinforcement Learning - RL)

Para generalizar e robustecer as habilidades de busca:

• Utiliza o algoritmo GRPO (Group Relative Policy Optimization).
• O treinamento ocorre em ambientes web reais, onde o agente interage com APIs de busca (Google Custom Search, Google Vision Web Detection, e ferramentas de visita a páginas via JINA API).
• A recompensa é baseada na correção da resposta final (1 para correto, 0 para incorreto), verificada por um modelo LLM como juiz.
• O processo inclui verificações estritas de formato para garantir a estabilidade do treinamento.

3. Contribuições Principais

1. Pipeline de Síntese de Dados Automatizado: Desenvolvimento de um método escalável para gerar milhares de tarefas de busca multimodal complexas e de alta qualidade, com níveis variados de dificuldade (fácil, médio, difícil).
2. Pipeline de Pós-Treinamento Completo: Uma abordagem integrada que combina SFT com amostragem de rejeição (para aprendizado inicial de ferramentas) e RL (para generalização em ambientes reais), superando a limitação de conhecimento estático dos MLLMs.
3. Benchmarks Desafiadores (MM-SearchExam): Criação de um novo benchmark dedicado à avaliação de agentes de busca multimodal, contendo 283 tarefas sintetizadas com alto grau de dificuldade, onde modelos proprietários de ponta obtêm desempenho baixo.
4. Desempenho Superior: Demonstração de que um modelo de código aberto treinado com essa metodologia supera agentes multimodais recentes e iguala ou supera modelos proprietários (como GPT-5 e Gemini-3-Pro) em tarefas de busca na web.

4. Resultados

Os experimentos foram conduzidos em 5 benchmarks de busca multimodal (MMSearch, BrowseComp-VL, MM-BrowseComp, SimpleVQA e MM-SearchExam).

• Comparação com Baselines: O VSearcher superou consistentemente modelos de código aberto equipados com ferramentas web (como Qwen-VL e InternVL) e agentes multimodais especializados (como MMSearch-R1).
• Superação de Modelos Proprietários: Em benchmarks como MMSearch e BrowseComp-VL, o VSearcher alcançou desempenho superior ao GPT-5 e ao Gemini-3-Pro.
• Análise de Dinâmica de RL: O treinamento mostrou um aumento estável na recompensa e uma entropia controlada, indicando que o modelo aprendeu a selecionar ferramentas adaptativamente (principalmente busca de texto e visita a páginas) sem colapsar em exploração excessiva.
• Qualidade dos Dados: A análise das chamadas de ferramentas mostrou que as tarefas sintetizadas exigem um número de chamadas de ferramentas comparável a benchmarks existentes, validando a complexidade dos dados gerados.

5. Significado e Impacto

O trabalho VSearcher representa um avanço significativo na área de agentes autônomos multimodais. Ele demonstra que é possível transformar modelos de visão-linguagem estáticos em agentes dinâmicos capazes de raciocinar e buscar informações em tempo real através de um ciclo de treinamento estruturado (Síntese de Dados -> SFT -> RL).

A principal implicação é que a combinação de dados sintéticos de alta qualidade e aprendizado por reforço em ambientes reais pode nivelar o campo de jogo, permitindo que modelos de código aberto superem soluções proprietárias em tarefas complexas de busca e raciocínio multimodal. Isso abre caminho para assistentes pessoais e sistemas de pesquisa mais inteligentes que podem entender imagens, navegar na web e resolver problemas que exigem a integração de múltiplas fontes de informação.