mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA

1. Declaração do Problema

Resposta Visual a Perguntas (VQA) Intensiva em Conhecimento exige que os modelos respondam a perguntas que dependem de fatos externos, enciclopédicos ou de cauda longa não presentes nos dados de treinamento ou na entrada visual imediata. Embora os Modelos de Linguagem Multimodais (MLLMs) se destaquem no raciocínio de senso comum, eles lutam com consultas factuais específicas, frequentemente alucinando ou recusando-se a responder.

As abordagens atuais de Geração Aumentada por Recuperação (RAG) tentam resolver isso recuperando documentos externos. No entanto, os métodos existentes sofrem de três limitações críticas:

1. Ruído Não Estruturado: Eles dependem de fragmentos de texto ou parágrafos não estruturados, que introduzem contexto irrelevante e "ruído", dificultando para os MLLMs isolar fatos-chave.
2. Falta de Relações Estruturais: Eles ignoram as conexões lógicas entre elementos de conhecimento, limitando a capacidade do modelo de realizar raciocínio multi-hop.
3. Lacuna de Modalidade: A maioria dos sistemas RAG usa recuperadores unimodais (apenas texto ou apenas visão) ou falha em alinhar efetivamente evidências visuais e textuais, levando a recuperações subótimas em cenários multimodais.

2. Metodologia: mKG-RAG

Os autores propõem o mKG-RAG, um framework que integra Grafos de Conhecimento Multimodais (KGs) no pipeline RAG. O framework consiste em duas etapas principais:

A. Construção de Grafo de Conhecimento Multimodal

Em vez de usar KGs pré-existentes (que carecem de conhecimento específico/de cauda longa), o mKG-RAG constrói KGs dinâmicos e de alta qualidade a partir de documentos multimodais não estruturados (por exemplo, páginas da Wikipedia com texto e imagens).

• Extração de Grafo Textual: Usa um MLLM para extrair entidades e relações de segmentos de texto, formando um subgrafo textual ($G_t$).
• Extração de Grafo Visual: Usa técnicas de Geração de Grafo de Cena (SGG) para detectar objetos e suas relações espaciais/semânticas dentro das imagens, formando um subgrafo visual ($G_v$).
• Agregação de Grafo Multimodal: Uma inovação central onde um MLLM atua como um Casador Visão-Texto. Ele alinha entidades e relações de $G_t$ e $G_v$ com base na consistência semântica.
  • Mecanismo: O MLLM recebe a imagem, o grafo textual (como linguagem natural) e o grafo visual (como IDs de objetos, categorias e caixas delimitadoras). Ele produz pares correspondentes, efetivamente anexando atributos visuais (caixas delimitadoras, categorias de objetos) a entidades textuais.
  • Resultado: Um KG multimodal unificado onde nós e arestas possuem tanto descrições textuais quanto fundamentação visual.

B. Recuperação Multimodal em Duas Etapas

Para lidar com o custo computacional de pesquisar grandes grafos, o mKG-RAG emprega uma estratégia de recuperação em duas etapas:

1. Recuperação de Documentos Granulares:
   • Usa um Recuperador Multimodal Consciente da Consulta (QM-Retriever) para realizar busca vetorial sobre todo o corpus de documentos.
   • O QM-Retriever é treinado para alinhar consultas multimodais (Imagem + Pergunta) com evidências (Imagem + Texto). Ele inclui um "Conversor de Perguntas" que transforma perguntas interrogativas em declarações declarativas no espaço latente para melhor corresponder ao texto de evidência.
   • Esta etapa reduz o espaço de busca para os documentos candidatos top-$K$.
2. Recuperação de Grafo Multigranular:
   • Constrói um subgrafo específico da consulta mesclando os KGs offline dos documentos candidatos.
   • Recuperação de Entidade/Relação: Recupera nós e arestas específicos com base na similaridade de embedding em relação à consulta.
   • Expansão de Subgrafo: Realiza travessia de vizinhos $l$-hop (Busca em Largura) no subgrafo recuperado para capturar conexões contextuais, mas inclui apenas vizinhos que excedem um limiar de similaridade para evitar ruído.

C. Geração de Resposta

O contexto final alimentado ao MLLM inclui a imagem original, a pergunta, os elementos de grafo estruturado recuperados (fornecendo um esboço de conhecimento) e os fragmentos de texto associados (fornecendo detalhes).

3. Principais Contribuições

1. RAG Aumentado por KG Multimodal: O primeiro framework a integrar especificamente KGs multimodais construídos no RAG para VQA intensiva em conhecimento, capturando relações estruturais e pistas cruzadas entre modalidades.
2. Pipeline de Construção Novel: Um método para destilar documentos multimodais não estruturados em KGs estruturados usando extração orientada por MLLM e casamento visão-texto, garantindo consistência semântica entre modalidades.
3. Recuperação em Duas Etapas e QM-Retriever: Um paradigma de recuperação em duas etapas (Documento $\to$ Grafo) e um Recuperador Multimodal Consciente da Consulta especializado, treinado com objetivos de aprendizado contrastivo e reformulação de perguntas para fechar a lacuna de modalidade.
4. Desempenho Estado da Arte: A abordagem supera significativamente as linhas de base existentes em benchmarks padrão.

4. Resultados Experimentais

O método foi avaliado em dois benchmarks: E-VQA (5,8 mil amostras) e InfoSeek (73 mil amostras de validação).

• Desempenho:
  • E-VQA: Alcançou 36,3% de precisão (conjunto Todos), superando o melhor anterior (ReflectiVA*) por uma margem significativa.
  • InfoSeek: Alcançou 40,5% de precisão (conjunto Todos), estabelecendo um novo estado da arte.
  • Melhoria: Comparado a MLLMs zero-shot, o mKG-RAG melhorou a precisão em mais de 20% no E-VQA e 31% no InfoSeek.
• Eficiência de Recuperação: O QM-Retriever alcançou melhorias médias de Recall de 9,9% (E-VQA) e 7,0% (InfoSeek) sobre as melhores linhas de base unimodais/cross-modais (como CLIP).
• Estudos de Ablação:
  • Remover o QM-Retriever (usando CLIP em vez disso) reduziu a precisão em ~4-5%.
  • Substituir a recuperação de grafo por recuperação baseada em fragmentos reduziu a precisão em ~8%.
  • A expansão de subgrafo contribuiu com um ganho adicional de ~1,3%.
• Generalização: O framework mostrou ganhos de desempenho consistentes (média +9,4%) em várias arquiteturas de MLLM (Phi3V, LLaMA-3.2, Qwen2.5-VL, etc.), independentemente do tamanho dos parâmetros.
• Eficiência: Apesar do pipeline complexo, a pesada construção de KG é offline. A inferência online adiciona apenas um custo computacional de 1,14x comparado à geração zero-shot, enquanto entrega uma melhoria de precisão de 1,37x sobre o RAG ingênuo.

5. Significado

Este artigo aborda um gargalo crítico na IA multimodal: a incapacidade dos modelos atuais de raciocinar sobre conhecimento estruturado e externo quando pistas visuais e textuais estão entrelaçadas. Ao mudar da recuperação de texto não estruturado para a recuperação de grafo multimodal estruturado, o mKG-RAG:

• Reduz Alucinações: Fornece evidências precisas e estruturadas que orientam o MLLM.
• Melhora o Raciocínio: A estrutura do grafo modela explicitamente relacionamentos, auxiliando no raciocínio multi-hop (por exemplo, conectar um objeto em uma imagem a um fato específico em um documento).
• Conecta Modalidades: O QM-Retriever e o casamento visão-texto garantem que evidências visuais e textuais sejam recuperadas e alinhadas coerentemente, em vez de tratá-las como silos separados.

O trabalho demonstra que integrar representações de conhecimento estruturado (KGs) com modelos generativos é um paradigma superior para tarefas intensivas em conhecimento em comparação com o RAG tradicional, abrindo caminho para sistemas de IA multimodal mais confiáveis e factuais.