Progressive Multimodal Search and Reasoning for Knowledge-Intensive Visual Question Answering

Título: PMSR: Busca Multimodal Progressiva e Raciocínio para Resposta a Perguntas Visuais Baseadas em Conhecimento

1. O Problema

A Resposta a Perguntas Visuais (VQA) baseada em conhecimento exige que o modelo vá além do conteúdo visual da imagem, integrando conhecimento externo para formular a resposta correta. Esse processo envolve três etapas críticas: (1) ancoragem visual precisa (grounding), (2) recuperação de conhecimento externo relevante e (3) síntese de evidências visuais e textuais.

As abordagens atuais, baseadas em Geração Aumentada por Recuperação Multimodal (RAG), geralmente seguem um paradigma de "recuperar e depois ler" (retrieve-then-read) em uma única passagem. Isso apresenta limitações significativas:

• Recuperação Insuficiente: Recuperadores imperfeitos frequentemente falham em coletar todo o conhecimento necessário na primeira tentativa ou introduzem passagens distratoras.
• Distratores Multimodais: Em ambientes multimodais, distratores textuais podem enviesar a atenção do modelo, enquanto distratores visuais podem corromper a ancoragem visual e desviar o raciocínio.
• Acúmulo de Erros em Abordagens Agênticas: Métodos agênticos iterativos existentes condicionam cada passo em todo o histórico de interação. Isso faz com que erros iniciais na geração de consultas ou resumo se acumulem no contexto, causando "deriva" (drift) no raciocínio subsequente e dificultando a correção de falhas iniciais.

2. Metodologia: PMSR (Progressive Multimodal Search and Reasoning)

O PMSR propõe uma estrutura que constrói progressivamente uma trajetória de raciocínio estruturada, composta por registros compactos sintetizados a partir de evidências recuperadas. Diferente de métodos que mantêm todo o histórico bruto, o PMSR atualiza o estado de raciocínio de forma controlada.

A arquitetura baseia-se em dois conceitos principais:

A. Atualização Isolada por Registro (Record-Isolated Updates)
Em vez de depender de todo o histórico de conversação, cada iteração sintetiza um novo Registro de Raciocínio ($r_t$) exclusivamente a partir das evidências recém-recuperadas ($D_t$). Este registro é então anexado à trajetória. Isso impede que erros intermediários se propaguem indefinidamente através de um contexto não estruturado.

B. Consulta de Dupla Escopo (Dual-Scope Querying)
Para recuperar conhecimento diverso e complementar, o PMSR gera duas consultas condicionadas em cada iteração $t$:

1. Consulta de Nível de Registro (Record-level): Baseada no registro de raciocínio mais recente ($r_{t-1}$). Visa refinar localmente a busca, focando em lacunas específicas ou deduções recentes.
2. Consulta de Nível de Trajetória (Trajectory-level): Baseada na trajetória acumulada de registros ($\langle r_0, \dots, r_{t-1} \rangle$). Visa uma reflexão global, identificando lacunas não resolvidas, conflitos ou a necessidade de contexto mais amplo.

Fluxo de Funcionamento:

1. Inicialização: Gera uma descrição visual inicial e recupera um conjunto candidato inicial para criar o primeiro registro de raciocínio.
2. Loop Iterativo:
   • Gera consultas de dupla escopo.
   • Realiza uma busca conjunta em bases de conhecimento heterogêneas (Texto e Multimodal).
   • Sintetiza as evidências recuperadas em um novo registro de raciocínio compacto usando um operador de raciocínio composicional.
   • Anexa o novo registro à trajetória.
3. Terminação Adaptativa: O processo para quando a similaridade entre novas consultas e consultas anteriores atinge um limiar de saturação ($\delta^{(t)}_{query} \geq \tau$), indicando que a recuperação adicional é redundante.

3. Contribuições Principais

• Estrutura de Trajetória de Raciocínio: Propõe um mecanismo onde o estado de raciocínio é mantido como uma sequência de registros sintéticos e compactos, mitigando a deriva de erros comum em métodos agênticos que usam histórico completo.
• Mecanismo de Dupla Escopo: Introduz a separação entre refinamento local (registro atual) e reflexão global (trajetória), permitindo uma busca mais robusta e diversificada em bases de conhecimento heterogêneas.
• Terminação Adaptativa: Implementa um critério de parada baseado na saturação de informação, melhorando a eficiência inferencial sem sacrificar a precisão.
• Validação Abrangente: Demonstra a eficácia do método em seis benchmarks diversos, cobrindo cenários enciclopédicos, factuais e de busca em tempo real.

4. Resultados Experimentais

Os experimentos foram conduzidos em seis benchmarks: Encyclopedic-VQA (E-VQA), InfoSeek, MMSearch, LiveVQA, FVQA e OK-VQA.

• Desempenho de Recuperação: O PMSR superou consistentemente os baselines de RAG multimodal em métricas de Recall (Recuperação).
  • No InfoSeek, alcançou 87,4% de Recall cumulativo (modelo 4B), superando o estado da arte anterior.
  • No E-VQA, atingiu 64,3% de Recall, superando o método OMGM em 5,6 pontos percentuais.
  • No OK-VQA, demonstrou estabilidade cruzada, alcançando 92,1% (4B) e 97,1% (8B) de Recall cumulativo.
• Precisão de Resposta (Accuracy):
  • No E-VQA, com o modelo Gemini-2.5-Flash para gerar a trajetória, atingiu 59,9% de precisão, superando o melhor anterior em 8,7 pontos.
  • No InfoSeek, alcançou 50,5% de precisão (configuração Gemini-2.5-Flash).
  • Em benchmarks de busca (FVQA, LiveVQA), superou agentes baseados em busca como MMSearch-R1 e DeepEyesV2.
• Análise de Trajetória: A análise mostrou que o PMSR corrige falhas iniciais com muito mais frequência do que os métodos existentes. Enquanto abordagens concorrentes tendem a falhar persistentemente (51,8% de Persistent-Fail no WebWatcher), o PMSR mantém uma taxa de falha persistente baixa (4,9%) e uma alta taxa de correção (30,1%).

5. Significância e Impacto

O trabalho PMSR representa um avanço significativo na área de VQA baseada em conhecimento ao abordar a fragilidade dos métodos de recuperação única e a instabilidade dos métodos agênticos iterativos tradicionais.

• Estabilidade de Raciocínio: Ao isolar a atualização do estado de raciocínio em registros compactos, o modelo consegue "esquecer" ou corrigir erros iniciais de ancoragem visual ou textual, algo que métodos baseados em histórico longo não conseguem fazer eficientemente.
• Eficiência: A terminação adaptativa reduz o número médio de iterações necessárias (de 5 para ~3,3-3,5), tornando o processo mais viável para aplicações práticas sem perda de qualidade.
• Generalização: A capacidade de operar em bases de conhecimento heterogêneas (texto e imagem) e de se adaptar a diferentes tipos de conhecimento (fatos enciclopédicos vs. notícias em tempo real) sugere que a arquitetura é robusta e escalável.

Em resumo, o PMSR estabelece um novo paradigma para VQA baseada em conhecimento, demonstrando que uma busca progressiva, estruturada e guiada por raciocínio é superior às abordagens estáticas ou puramente acumulativas.