Resumo Técnico: DualG-MRAG

Declaração do Problema

A Geração Aumentada por Recuperação Multimodal (MM-RAG) demonstrou potencial em alavancar fontes de dados heterogêneas (texto, imagens, tabelas) para Grandes Modelos de Linguagem (LLMs). No entanto, os métodos existentes enfrentam limitações significativas ao lidar com tarefas de raciocínio complexas de múltiplos saltos (multi-hop). As abordagens atuais baseiam-se principalmente no pareamento ao nível de instância usando embeddings estáticos, que falham em capturar relações explícitas entre modalidades e documentos.

O artigo identifica três desafios centrais ao estender métodos baseados em grafos para cenários multimodais:

1. Compromisso Granularidade vs. Ruído: A integração ingênua de características visuais de grão fino em um grafo global leva à expansão rápida e ao ruído de recuperação, enquanto representações de grão grosso descartam evidências locais críticas.
2. Descompasso Estático vs. Dinâmico: Os recuperadores de grafos existentes frequentemente dependem de topologias estáticas e regras de propagação agnósticas à consulta, falhando em se adaptar à intenção específica de uma consulta do usuário em contextos multimodais complexos.
3. Falta de Fusão Estrutural Explícita: O MM-RAG convencional trata os documentos recuperados como uma lista achatada, forçando o modelo generativo a reconstruir implicitamente as relações entre documentos, o que aumenta a carga cognitiva e dificulta o raciocínio de múltiplos saltos.

Metodologia: DualG-MRAG

Os autores propõem o DualG-MRAG, um framework de dois níveis que desacopla o Raciocínio Macro (topologia global) do Pareamento Micro (verificação local). O sistema opera através de três fases orientadas pela consulta:

1. Construção de Grafo Multimodal de Dois Níveis

Em vez de um único grafo achatado, o framework constrói duas camadas distintas:

• Grafo de Raciocínio Macro ($T_M$): Uma espinha dorsal estrutural de alto nível que representa entidades e relações globais. A informação visual é incorporada via legendas factuais concisas geradas por um Modelo de Linguagem-Visão (VLM) congelado, fundida com texto e processada via Extração de Informação Aberta (OpenIE). Arestas de equivalência são adicionadas com base na resolução semântica de entidades para aumentar a conectividade.
• Grafo de Pareamento Micro ($T_m$): Projetado para capturar dependências de grão fino dentro de imagens e tabelas específicas. Os micro-fatos são definidos como 4-tuplas $(u, r, v, d)$, onde $u$ e $v$ são âncoras textuais, $r$ codifica detalhes visuais ricos (relações espaciais, atributos) e $d$ é um ponteiro para o documento de origem (imagem/tabela bruta). Esta abstração preserva a fidelidade visual sem explodir o tamanho do grafo global.

2. Recuperador GNN Orientado por Consulta

A recuperação é formulada como um processo dinâmico de passagem de mensagem sobre o Grafo Macro, utilizando uma Rede Neural de Grafos (GNN) baseada na arquitetção NBFNet.

• Alinhamento e Ativação Cross-Tier: O sistema primeiro realiza o pareamento de subgrafos no Grafo Micro para identificar micro-fatos relevantes. Estes são alinhados com entidades globais para inicializar uma máscara binária específica da consulta.
• Inicialização de Estado Dinâmica: Diferente das GNNs estáticas, os estados ocultos são inicializados dinamicamente. Nós relevantes para a consulta recebem o embedding semântico da consulta, enquanto outros são zerados, podando efetivamente o espaço de busca.
• Passagem de Mensagem Relacional: A GNN realiza $L$ camadas de passagem de mensagem onde as mensagens de aresta integram estados de nós de origem, projeções de relação e estados de nós de destino. Isso permite que o modelo aprenda uma lógica de travessia distinta em diferentes profundidades de raciocínio.
• Pontuação de Relevância: Os scores finais dos nós são projetados de volta para o espaço de documentos. Crucialmente, os scores visuais são modulados pelo score de pareamento Micro para suprimir o ruído visual não verificado, garantindo que documentos com evidência visual estruturalmente verificada sejam classificados mais alto.

3. Decodificação de Caminho Explícito

Para guiar o MLLM subsequente, o framework extrai caminhos de raciocínio explícitos diretamente da passagem direta da GNN usando um algoritmo de programação dinâmica camada por camada.

• Decomposição de Fluxo Local: A contribuição de cada aresta durante a passagem de mensagem é quantificada como uma Probabilidade de Fluxo Local.
• Extração de Caminho: O algoritmo identifica as cadeias de raciocínio (caminhos) mais prováveis no Grafo Acíclico Dirigido (DAG) computacional formado pelos $L$ saltos.
• Serialização: Esses caminhos são serializados em um grafo de evidência estruturado. Entidades macro abstratas são mapeadas inversamente para suas fontes multimodais originais (regiões de imagem, texto, tabelas) e verbalizadas como cadeias de raciocínio passo a passo no prompt de geração.

Principais Contribuições

1. Arquitetura de Dois Níveis: Um framework inovador que desacopla o roteamento topológico macro da verificação de características micro, mitigando o ruído de recuperação visual enquanto preserva a conectividade para o raciocínio de múltiplos saltos.
2. Mecanismo GNN Orientado por Consulta: A primeira aplicação de um mecanismo de passagem de mensagem guiado por consulta em MM-RAG, permitindo o alinhamento dinâmico de evidências heterogêneas e a extração explícita de cadeias de raciocínio lógico.
3. Injeção de Caminho Explícito: Um mecanismo que transforma instâncias recuperadas isoladas em caminhos de raciocínio transparentes e verificáveis, reduzindo o fardo de raciocínio implícito no modelo generativo.

Resultados Experimentais

O framework foi avaliado nos benchmarks MMQA, WebQA e ScienceQA contra baselines de estado da arte, incluindo RAG baseado em vetores (ex: VisRAG, VLM2Vec) e RAG potencializado por grafos (ex: HM-RAG, MMGraphRAG).

• Desempenho em QA: O DualG-MRAG superou todos os baselines em todas as métricas. No MMQA com um backbone Qwen3-VL-4B, alcançou um Exact Match (EM) de 44,20%, uma melhoria absoluta de 7% sobre o baseline mais forte. No ScienceQA, alcançou uma precisão média de 90,99%, superando o desempenho humano em subcategorias específicas e superando o GPT-4 com Chain-of-Thought.
• Efetividade de Recuperação: O modelo demonstrou recall superior, alcançando 61,9% R@5 no MMQA, superando significativamente o baseline baseado em grafos MMGraphRAG (42,1%).
• Eficiência: Apesar da complexidade do raciocínio em grafos, o DualG-MRAG manteve uma latência média de consulta inferior a um segundo (~0,44s), oferecendo um compromisso competitivo entre eficiência de recuperação e profundidade de raciocínio em comparação com métodos baseados em grafos mais lentos.
• Estudos de Ablação: Remover o Grafo Macro causou uma queda drástica no recall (de 61,9% para 21,8% R@5 no MMQA), confirmando a necessidade da topologia global. Remover o Grafo Micro reduziu o desempenho no WebQA, destacando seu papel na filtragem do ruído visual local.

Significância

O artigo afirma que o DualG-MRAG aborda o dilema fundamental na recuperação multimodal: equilibrar a necessidade de evidência visual de grão fino com o risco de ruído de recuperação. Ao desacoplar essas tarefas, o framework permite o raciocínio profundo de múltiplos saltos sem sacrificar a precisão da recuperação. Além disso, ao extrair e injetar explicitamente caminhos de raciocínio, o método reduz a carga cognitiva dos MLLMs subsequentes, permitindo que gerem respostas mais precisas a partir de fontes de evidência complexas e heterogêneas. O trabalho estabelece um novo paradigma para o raciocínio multimodal estruturado e potencializado por grafos que é tanto eficaz quanto computacionalmente eficiente.