Resumo Técnico: UNIBROWSE

Declaração do Problema

Tarefas de BrowseComp multimodais exigem que agentes resolvam questões onde as respostas não estão disponíveis diretamente, mas devem ser compostas a partir de múltiplos fragmentos de evidência web dinâmica. Diferente das tarefas padrão de busca de fatos, esses problemas demandam raciocínio de longo horizonte, uso de ferramentas e a integração de modalidades textuais e visuais. A navegação no mundo real envolve três padrões distintos de fluxo de informação:

1. Apenas texto: As respostas são compostas exclusivamente de evidências textuais.
2. Imagem-para-texto: Uma pista inicial de imagem deve ser resolvida para iniciar a navegação textual.
3. Texto-para-imagem: A navegação textual estreita um alvo, exigindo verificação visual para a etapa final.

Os métodos existentes de construção de dados para treinar tais agentes sofrem de três limitações críticas:

• Cobertura de Padrões Incompleta: Datasets anteriores (ex: WebWatcher, Vision-DeepResearch) cobrem predominantemente o padrão imagem-para-texto, negligenciando o igualmente importante padrão texto-para-imagem, onde o raciocínio textual precede a verificação visual.
• Compromissos de Paradigma: Métodos que dependem de grafos de conhecimento curados carecem de diversidade web, enquanto aqueles que utilizam caminhadas aleatórias na web introduzem ruído massivo e evidências falsas.
• Treinamento Ineficiente: Trabalhos anteriores aplicam aprendizado por reforço (RL) diretamente em dados sintéticos não filtrados, desperdiçando recursos computacionais em trajetórias de baixo sinal que carecem de caminhos de raciocínio diversos.

Metodologia

Os autores propõem o UNIBROWSE, um framework unificado de dado-para-agente que compreende um novo pipeline de construção de dados e uma estratégia de treinamento para um agente de navegação multimodal de escala 35B.

1. Pipeline de Construção de Dados

O pipeline gera dados de treinamento de alta qualidade ao unir conhecimento estruturado com recuperação web ao vivo:

• KG Textual com Expansão Web: O processo começa com um grafo de conhecimento textual ($G_{KG}$) para definir caminhos de raciocínio estruturados. Para cada entidade semente, um subgrafo conectado é construído. Para garantir o realismo, o pipeline aumenta esses nós do grafo com atributos extraídos de recuperação web ao vivo, retendo apenas aqueles corroborados por múltiplos resultados de busca.
• Expansão de Padrão Multimodal Unificada: O pipeline avalia subgrafos de evidência gerados para suportar todos os três padrões de fluxo de informação:
  • Imagem-para-texto: Anexa nós de imagem recuperáveis às entidades sementes iniciais.
  • Texto-para-imagem: Anexa nós de imagem à entidade da resposta final se a entidade possuir um atributo distinto e visualmente verificável que não esteja presente no texto.
  • Apenas texto: Gera questões baseadas puramente na estrutura de evidência em camadas.
    Esses padrões podem ser combinados dentro de uma única questão (ex: começando com uma imagem e terminando com verificação visual).
• Seleção Baseada em Exploração: Para melhorar a eficiência do RL, o pipeline introduz uma métrica de Grau de Exploração ($E(q)$). Esta métrica mede a variância no comprimento das trajetórias de navegação bem-sucedidas através de múltiplas execuções (rollouts). Um alto grau de exploração indica que respostas corretas podem ser alcançadas via caminhos diversos (ex: direto vs. retrocesso), fornecendo sinais contrastivos mais ricos para o aprendizado da política. Instâncias de baixo sinal são filtradas.

2. Treinamento do Agente

O framework treina um agente de escala 35B (baseado em Qwen3.5-35B-A3B) em duas etapas:

• Ajuste Fino Supervisionado (SFT) de Inicialização a Frio (Cold-Start): Utiliza ~8.000 trajetórias de uso de ferramentas para estabelecer uma gramática de ação estável e um prior consciente de padrões.
• Aprendizado por Reforço (RL) Consciente de Exploração: Otimiza o modelo SFT usando ~10.000 pares de QA selecionados a partir dos 30% superiores de instâncias baseadas na métrica de grau de exploração. O agente interage com ferramentas SEARCH (texto, imagem-para-texto, texto-para-imagem) e LINKSUMMARY usando um processo de decisão sequencial estilo ReAct. A função de recompensa combina correção da resposta e conformidade de formato, otimizada via Otimização de Política Relativa de Grupo (GRPO).

Principais Contribuições

1. Pipeline de Dados Unificado: O UNIBROWSE é o primeiro framework a gerar simultaneamente dados de treinamento cobrindo os padrões apenas texto, imagem-para-texto e texto-para-imagem, enquanto aumenta grafos de conhecimento com recuperação web ao vivo para melhor fidelidade.
2. Filtragem Consciente de Exploração: A introdução da métrica de grau de exploração permite a seleção de instâncias de RL de alto valor, melhorando significativamente a eficiência do treinamento ao focar em problemas com sinais de raciocínio ricos e diversos.
3. Agente de Estado da Arte: O agente UNIBROWSE resultante alcança desempenho superior em benchmarks de navegação multimodal, demonstrando a eficácia da abordagem dado-para-agente.

Resultados Experimentais

O agente UNIBROWSE foi avaliado em cinco benchmarks diversos: BrowseComp-VL (BC-VL), MM-BrowseComp (MM-BC), MMSearch+, MMSearch e FVQA.

• Desempenho: O modelo final (SFT + RL) alcançou uma acurácia média de 54,4% nos cinco benchmarks.
• Melhoria: Isso representa um aumento de 10,5 pontos percentuais sobre o modelo base (Qwen3.5-35B-A3B, 43,9%).
• Comparação: O agente supera vários fluxos de trabalho proprietários, incluindo GPT-5 (42,9%), Gemini-2.5 Pro (44,8%) e Gemini-2.5 Flash (41,3%). Ele também supera baselines de código aberto anteriores como WebWatcher-32B (31,7%) e Vision-DeepResearch-30B-A3B.
• Estudos de Ablação:
  • Cobertura de Padrão: O treinamento nos três padrões rendeu resultados significativamente melhores do que o treinamento apenas em texto ou apenas em imagem-para-texto, particularmente no desafiador MM-BC.
  • Estratégia de Seleção: Filtrar os dados de RL para os 30% superiores por grau de exploração rendeu o melhor desempenho; filtragens excessivamente rigorosas (top 10%) ou frouxas (top 100%) resultaram em pontuações menores.

Significância

O artigo postula que a construção de dados multimodais controlável e o pós-treinamento consciente de exploração são essenciais para construir agentes de navegação eficazes. Ao abordar a lacuna na cobertura de padrões (especificamente a modalidade texto-para-imagem) e otimizar o sinal de treinamento de RL através da diversidade de exploração, o UNIBROWSE demonstra que modelos de código aberto podem alcançar desempenho competitivo e de estado da arte em tarefas complexas de raciocínio web multimodal. O framework reduz a lacuna de desempenho entre agentes de código aberto e os fluxos de trabalho proprietários mais fortes em mais da metade, validando o paradigma "dado-para-agente" como um caminho escalável a seguir.