Resumo Técnico: InterLV-Search

Declaração do Problema

As benchmarks existentes para busca agênica multimodal avaliam principalmente a aquisição de evidências textuais ou tratam informações visuais como uma entrada estática ou um ponto final de resposta. Nesses frameworks, a evidência visual está confinada à consulta inicial do usuário ou recuperada exclusivamente para responder a uma pergunta visual local, após o que a trajetória de busca termina. Essa formulação ignora uma capacidade crítica na busca por informações realista: evidência visual como pivô de busca. Em tarefas complexas de mundo aberto, observações visuais (por exemplo, logotipos, inscrições, relações espaciais ou entidades visuais específicas) frequentemente contêm pistas granulares que desambiguam o estado atual e determinam o próximo alvo de busca, consulta ou decisão de ramificação. Os sistemas atuais lutam com a busca multimodal intercalada, onde os agentes devem alternar dinamicamente entre a aquisição de evidências visuais e textuais, usando evidências de uma modalidade para condicionar ações de recuperação na outra.

Metodologia

A Benchmark InterLV-Search

Os autores introduzem a InterLV-Search, uma benchmark composta por 2.061 exemplos projetada para avaliar a Busca Agênica Multimodal Intercalada de Linguagem e Visão. A benchmark é estruturada em três níveis progressivamente desafiadores:

1. Nível 1: Busca Ativa de Evidência Visual

   • Objetivo: Avaliar a capacidade primitiva de buscar evidência visual a partir de necessidades de informação textuais.
   • Tarefa: Formulada como uma tarefa "Busca para VQA" (Visual Question Answering). O agente recebe uma descrição textual de uma consulta visual sobre um alvo implicitamente especificado. Ele deve inferir a entidade oculta, recuperar a imagem correspondente e responder a uma pergunta visual granular (por exemplo, cor, material, padrão) fundamentada nessa imagem.
   • Construção: Pipeline totalmente automatizado usando MMKG-W (um grafo de conhecimento multimodal baseado na Wikimedia com ~15 mil entidades). O processo envolve a geração de subconsultas de busca de alvo implícito e subconsultas VQA correspondentes, compostas em perguntas em linguagem natural.

2. Nível 2: Busca Multimodal Intercalada Offline Controlada

   • Objetivo: Avaliar a busca de evidência intercalada de múltiplos saltos em um ambiente controlado, isolando a capacidade de usar evidência visual como pivôs intermediários.
   • Tarefa: Requer pelo menos duas rodadas de recuperação de evidência visual. O agente deve fundamentar uma pista visual, convertê-la no próximo alvo de recuperação e, finalmente, fundamentar uma imagem terminal para responder.
   • Tipos:
     • Probed visual inicial: A sondagem visual é injetada no início da cadeia de raciocínio.
     • Probed visual intermediário: A fundamentação visual é necessária em um estágio intermediário, onde uma entidade "ponte" (visualmente semelhante a um nó intermediário) redireciona o caminho de busca.
   • Construção: Pipeline totalmente automatizado aproveitando anotações de entidade-relação no MMKG-W para construir caminhos verificáveis de múltiplos saltos e ofuscar cadeias de busca.

3. Nível 3: Busca Multimodal Intercalada na Web Aberta

   • Objetivo: Avaliar as mesmas capacidades em um ambiente de web aberta ruidoso e dinâmico.
   • Tarefa: Os agentes operam sobre páginas web reais e resultados de busca. Este nível inclui tanto exemplos padrão de cadeia única quanto exemplos de múltiplas ramificações, onde os agentes devem explorar rotas de raciocínio paralelas, reunir evidências, comparar entidades e selecionar uma ramificação para continuar.
   • Construção: Pipeline liderado por máquina e supervisionado por humanos. O GPT-5.4-Thinking gera perguntas semente e cadeias candidatas, que são então verificadas e refinadas por anotadores humanos de nível de doutorado para garantir validade, respondibilidade e estrutura intercalada. Um otimizador CP-SAT seleciona o subconjunto final para equilibrar a dificuldade e minimizar a solvabilidade "sem busca".

Framework InterLV-Agent

Para padronizar a avaliação, os autores fornecem o InterLV-Agent, um framework de referência apresentando:

• Loop Raciocinar-Agir-Observar: Agentes planejam, invocam ferramentas e observam resultados.
• Conjunto de Ferramentas: Inclui busca de imagem, busca reversa de imagem, busca na web, navegação em páginas web, recorte de imagem e execução de código.
• Memória: Um sistema de memória leve de dois níveis (curto prazo para interações recentes, longo prazo para histórico resumido) para manter o estado de busca ao longo de trajetórias longas.
• Protocolo de Avaliação: Usa precisão da resposta final julgada por equivalência semântica (permitindo aliases e paráfrases) com orçamentos de interação específicos (3, 7 e 10 passos para os Níveis 1, 2 e 3, respectivamente).

Principais Contribuições

1. Benchmark InterLV-Search: A primeira benchmark a cobrir conjuntamente busca de texto para visual, recuperação visual de múltiplos saltos, intercalação recorrente visão-texto e busca multimodal de múltiplas ramificações. Ela desloca o paradigma de "evidência visual como ponto final" para "evidência visual como pivô de busca".
2. Construção de Dados Escalável: Pipelines automatizados para os Níveis 1 e 2, e um pipeline semi-automatizado com humano no loop para o Nível 3, permitindo a geração de dados de busca multimodal intercalada de alta qualidade.
3. Avaliação Abrangente: Um framework padronizado (InterLV-Agent) e experimentos extensivos em agentes multimodais proprietários e de código aberto.

Resultados Experimentais

Experimentos em modelos proprietários (por exemplo, GPT-5.4, Gemini-3.1-Pro, Claude-Sonnet-4.6) e agentes de código aberto (por exemplo, MMSearch-R1, SenseNova-MARS-32B) revelam:

• Lacuna de Desempenho: Os sistemas atuais permanecem longe de resolver a busca multimodal intercalada. Mesmo o modelo de melhor desempenho alcança precisão geral abaixo de 50%.
• Necessidade de Busca: O desempenho sem ferramentas é limitado (melhor ~20% no Nível 3), confirmando que o conhecimento paramétrico sozinho é insuficiente.
• Variância no Uso de Ferramentas: Enquanto modelos proprietários mostram ganhos consistentes com o uso de ferramentas, agentes orientados à busca de código aberto frequentemente mostram ganhos negligenciáveis ou degradação de desempenho, indicando limitações no planejamento de busca e fundamentação visual.
• Progressão de Dificuldade: O desempenho diminui do Nível 1 ao Nível 3. Dentro do Nível 3, os agentes performam significativamente pior em tarefas de múltiplas ramificações comparado a tarefas de cadeia única, destacando dificuldades com o controle de busca não linear.
• Gargalo de Recuperação: A análise de decomposição mostra que, embora os agentes possam responder corretamente uma vez que a entidade alvo seja recuperada (alta precisão dada a recuperação), o recall de recuperação (R@5) permanece baixo, particularmente no Nível 2. A localização de evidência alvo é um grande gargalo.
• Pivôs Visuais: A análise de trajetória confirma que agentes bem-sucedidos usam frequentemente evidência visual como pivôs de busca, mas muitos modelos falham em manter esse padrão intercalado efetivamente.

Significado

O artigo afirma que a InterLV-Search expõe desafios não capturados por benchmarks existentes. Os resultados demonstram que o sucesso na busca multimodal de mundo aberto depende não apenas do acesso a ferramentas externas, mas da capacidade de:

1. Localizar a evidência visual pretendida.
2. Usar essa evidência como um pivô dinâmico para guiar decisões subsequentes de recuperação.
3. Manter um estado de busca coerente ao longo de trajetórias longas ou ramificadas.

As grandes lacunas de desempenho observadas sugerem que os agentes multimodais atuais ainda não são robustos o suficiente para a busca multimodal complexa e intercalada, e a benchmark fornece uma base necessária para trabalhos futuros em agentes que possam adquirir, conectar e agir sobre evidência multimodal de forma confiável durante a busca.