Resumo Técnico: SearchEyes

Definição do Problema

O treinamento de agentes de busca multimodais capazes de raciocínio de longo horizonte e múltiplos saltos (multi-hop) enfrenta um descompasso estrutural fundamental nos pipelines atuais. As abordagens existentes constroem dados de treinamento, ambientes de busca e sinais de recompensa de forma independente, levando a três problemas críticos:

1. Desacoplamento Dados-Ambiente: A síntese de dados de treinamento frequentemente descarta metadados estruturais intermediários (ex: estrutura de caminho, IDs de entidades), enquanto os ambientes de busca dependem de mecanismos externos irreprodutíveis com APIs não determinísticas.
2. Escassez de Recompensa: Os sinais de aprendizado por reforço (RL) são tipicamente computados apenas ao nível da trajetória (baseados na resposta final). Para o raciocínio de múltiplos saltos, a probabilidade de uma resposta final correta diminui drasticamente com o número de saltos, tornando as recompensas ao nível da trajetória excessivamente esparsas para uma otimização de política eficaz.
3. Falha de Atribuição de Crédito: Sem sinais ao nível do passo, os agentes têm dificuldade em aprender quais ações específicas em uma cadeia longa contribuíram para o sucesso ou fracasso, especialmente em tarefas multimodais complexas que exigem tanto percepção visual quanto recuperação de conhecimento textual.

Metodologia: SearchEyes

O SearchEyes aborda esses gargalos unificando a síntese de dados, a simulação de ambiente e o treinamento de RL através de um mundo de busca simulado construído sobre um grafo de conhecimento tipado (Wikidata5M). O framework consiste em três componentes estritamente acoplados:

1. Simulação de Mundo de Busca Unificado

O sistema constrói um ambiente de busca autocontido usando um grafo de conhecimento tipado $G = (V, R, T, \phi)$ derivado do Wikidata5M, Wiki6M (texto) e imagens da Wikipedia.

• Recuperação Autocontida: Em vez de APIs externas, o ambiente utiliza um mecanismo de recuperação híbrido (embeddings densos + BM25) fundido via Reciprocal Rank Fusion (RRF) sobre uma coleção de documentos pré-indexada. Isso garante uma recuperação determinística, reprodutível e auditável.
• Conjunto de Ferramentas: Os agentes interagem via ferramentas determinísticas: text_search, visual_search (recorte de imagem + recuperação de embedding), lookup, summarize e python_interpreter.

2. Síntese de Cadeia Percepção-Conhecimento (PKC)

Para gerar dados de treinamento de alta qualidade, o SearchEyes introduz um pipeline que amostra caminhos de múltiplos saltos restritos sobre a interseção de entidades visuais e de conhecimento:

• Amostragem de Caminho Restrita: Os caminhos são amostrados via caminhadas aleatórias restritas com restrições rigorosas:
  • Alternância P-K: Imposição de alternância entre saltos de Percepção (identificação de entidades visuais a partir de imagens) e saltos de Conhecimento (busca baseada em texto).
  • Restrições de Desambiguação: Introdução de predicados "um-para-poucos" e arestas de restrição para evitar soluções de caminho único triviais, aumentando a largura de árvore (treewidth) do grafo de raciocínio.
  • Diversidade de Domínio: Garantia de que os caminhos atravessem múltiplos domínios semânticos (Pessoa, Obra, Organização, Geografia).
  • Filtragem Anti-Atalho: Exclusão de entidades centrais (hubs) e predicados de meta-nível para evitar caminhos adivinháveis.
• Ocultação de Informação: As perguntas são geradas de modo que nomes de entidades e sequências completas de relações sejam ocultados. A entidade âncora é apresentada apenas via imagem, e as relações intermediárias são ofuscadas para dicas de nível de domínio, forçando o agente a realizar um raciocínio de múltiplos passos genuíno.
• Destilação de Dados SFT: Trajetórias de especialistas são sintetizadas usando um ambiente "privilegiado" com reforços de recuperação e denoising de observação. Essas trajetórias são então exportadas com observações brutas e ruidosas para o Ajuste Fino Supervisionado (SFT), ensinando o modelo a raciocinar sobre resultados de recuperação realistas.

3. Otimização de Política Ancorada por Salto (HaPO)

Para resolver o problema da escassez de recompensa, o SearchEyes propõe o HaPO, um algoritmo de pós-treinamento que reutiliza a sequência de entidades de ouro da síntese PKC para atribuição de crédito ao nível do passo sem a necessidade de um modelo de recompensa de processo separado.

• Grupos Ancorados por Salto: As trajetórias são agrupadas pelas entidades de ouro intermediárias que recuperam com sucesso. Dentro desses grupos, as vantagens são computadas em relação ao resultado do grupo, isolando o efeito das ações tomadas após atingir um estado intermediário específico.
• Vantagem Combinada: O sinal de vantagem final interpola entre as vantagens ao nível da trajetória e ao nível do passo ancorado pelo salto.
• Mascaramento de Consciência Fatal: O algoritmo detecta e mascara sufixos de trajetória degenerados causados por erros consecutivos de ferramenta, evitando que o ruído do gradiente corrompa as atualizações da política.
• Portão Assimétrico Suave: Substitui o corte rígido (hard clipping) por um portão baseado em sigmoide para estabilizar a otimização de longo horizonte, aplicando um amortecimento mais forte às vantagens negativas.

Principais Contribuições

1. Simulação de Mundo de Busca Unificado: Um novo framework usando um grafo de conhecimento tipado para co-projetar síntese de dados, simulação de ambiente e treinamento de RL, eliminando o descompasso entre dados-ambiente-recompensa.
2. Síntese de Cadeia Percepção-Conhecimento (PKC): Um pipeline baseado em KG que gera perguntas visuais-linguísticas de múltiplos saltos restritas com garantias estruturais estritas (alternância P-K, desambiguação) e ocultação de informação.
3. Pipeline de Pós-Treinamento Agêntico (HaPO): Um algoritmo de treinamento que aproveita metadados estruturais retidos (IDs de entidades de ouro) para permitir a atribuição de crédito ao nível do passo, mesclando sinais ancorados pelo salto e ao nível da trajetória sem exigir um modelo de recompensa de processo treinado.
4. VisSearch Bench: Um novo benchmark introduzido para avaliar a busca visual de múltiplos saltos com estruturas de alternância P-K.

Resultados Experimentais

O SearchEyes foi avaliado em seis benchmarks multimodais intensivos em conhecimento (SimpleVQA, VDR, MMSearch, LiveVQA, BC-VL, FVQA) e no novo VisSearch Bench.

• Desempenho: O SearchEyes-27B alcançou o estado da arte entre agentes de busca multimodais de código aberto, melhorando o baseline de código aberto mais forte em 6,2 pontos em média.
• Eficiência de Parâmetros: O SearchEyes-9B igualou o desempenho de baselines de escala 30B (ex: OpenSearch-VL-30B) utilizando 3,3x menos parâmetros, demonstrando superior eficiência de dados.
• Estudos de Ablação:
  • A remoção das restrições PKC (ex: alternância P-K, filtragem anti-atalho) causou quedas significativas de desempenho (até -7,7 pontos médios), confirmando a necessidade de restrições estruturais para o aprendizado de raciocínio de múltiplos passos genuíno.
  • A substituição do HaPO pelo GRPO padrão resultou em uma queda de -4,0 pontos médios, validando que a atribuição de crédito ao nível do passo é o principal gargalo na busca de múltiplos saltos.

Significância

O artigo argumenta que a principal limitação dos atuais agentes de busca multimodais não é a capacidade do modelo, mas o descompasso estrutural entre dados, ambiente e recompensa. Ao tratar o grafo de conhecimento como um backbone unificado, o SearchEyes demonstra que o co-design de dados-ambiente-algoritmo é essencial para treinar agentes eficazes de longo horizonte. Os resultados sugerem que a retenção de metadados estruturais ao longo do pipeline de treinamento permite uma atribuição de crédito precisa ao nível do passo, permitindo que modelos menores alcancem desempenho competitivo com sistemas proprietários muito maiores. O trabalho fornece uma receita reprodutível e de código aberto para construir agentes de busca multimodais robustos sem dependência de APIs externas e não determinísticas.