mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA

1. Planteamiento del Problema

La Respuesta a Preguntas Visuales (VQA) Intensiva en Conocimiento requiere que los modelos respondan preguntas que dependen de hechos externos, enciclopédicos o de cola larga que no están presentes en los datos de entrenamiento ni en la entrada visual inmediata. Aunque los Modelos de Lenguaje Grandes Multimodales (MLLM) sobresalen en el razonamiento de sentido común, luchan con consultas factuales específicas, a menudo alucinando o negándose a responder.

Los enfoques actuales de Generación Aumentada por Recuperación (RAG) intentan resolver esto recuperando documentos externos. Sin embargo, los métodos existentes sufren tres limitaciones críticas:

1. Ruido No Estructurado: Dependen de fragmentos de texto o párrafos no estructurados, que introducen contexto irrelevante y "ruido", dificultando que los MLLM aíslen los hechos clave.
2. Falta de Relaciones Estructurales: Ignoran las conexiones lógicas entre los elementos de conocimiento, limitando la capacidad del modelo para realizar razonamiento de múltiples saltos.
3. Brecha de Modalidad: La mayoría de los sistemas RAG utilizan recuperadores unimodales (solo texto o solo visión) o no logran alinear efectivamente la evidencia visual y textual, lo que conduce a una recuperación subóptima en escenarios multimodales.

2. Metodología: mKG-RAG

Los autores proponen mKG-RAG, un marco que integra Grafos de Conocimiento (KG) Multimodales en el pipeline de RAG. El marco consta de dos etapas principales:

A. Construcción de Grafos de Conocimiento Multimodales

En lugar de utilizar KGs preexistentes (que carecen de conocimiento específico o de cola larga), mKG-RAG construye KGs dinámicos y de alta calidad a partir de documentos multimodales no estructurados (por ejemplo, páginas de Wikipedia con texto e imágenes).

• Extracción de Grafo Textual: Utiliza un MLLM para extraer entidades y relaciones de segmentos de texto, formando un subgrafo textual ($G_t$).
• Extracción de Grafo Visual: Utiliza técnicas de Generación de Grafos de Escena (SGG) para detectar objetos y sus relaciones espaciales/semánticas dentro de las imágenes, formando un subgrafo visual ($G_v$).
• Agregación de Grafo Multimodal: Una innovación central donde un MLLM actúa como un Emparejador Visión-Texto. Alinea entidades y relaciones de $G_t$ y $G_v$ basándose en la consistencia semántica.
  • Mecanismo: El MLLM recibe la imagen, el grafo textual (como lenguaje natural) y el grafo visual (como IDs de objetos, categorías y cajas delimitadoras). Genera pares emparejados, adjuntando efectivamente atributos visuales (cajas delimitadoras, categorías de objetos) a las entidades textuales.
  • Resultado: Un KG multimodal unificado donde los nodos y las aristas poseen tanto descripciones textuales como anclaje visual.

B. Recuperación Multimodal de Dos Etapas

Para manejar el costo computacional de buscar en grafos grandes, mKG-RAG emplea una estrategia de recuperación de dos etapas:

1. Recuperación de Documentos de Granularidad Gruesa:
   • Utiliza un Recuperador Multimodal Consciente de la Consulta (QM-Retriever) para realizar una búsqueda vectorial sobre todo el corpus de documentos.
   • El QM-Retriever está entrenado para alinear consultas multimodales (Imagen + Pregunta) con la evidencia (Imagen + Texto). Incluye un "Convertidor de Preguntas" que transforma preguntas interrogativas en declaraciones declarativas en el espacio latente para coincidir mejor con el texto de evidencia.
   • Esta etapa reduce el espacio de búsqueda a los documentos candidatos superiores-$K$.
2. Recuperación de Grafos de Múltiples Granularidades:
   • Construye un subgrafo específico de la consulta fusionando los KGs fuera de línea de los documentos candidatos.
   • Recuperación de Entidad/Relación: Recupera nodos y aristas específicos basándose en la similitud de incrustación con la consulta.
   • Expansión de Subgrafo: Realiza una traversía de vecinos de $l$ saltos (Búsqueda en Anchura) en el subgrafo recuperado para capturar conexiones contextuales, pero solo incluye vecinos que superen un umbral de similitud para evitar el ruido.

C. Generación de Respuestas

El contexto final alimentado al MLLM incluye la imagen original, la pregunta, los elementos de grafo estructurados recuperados (proporcionando un esquema de conocimiento) y los fragmentos de texto asociados (proporcionando detalles).

3. Contribuciones Clave

1. RAG Aumentado con KG Multimodal: El primer marco que integra específicamente KGs multimodales construidos en RAG para VQA intensiva en conocimiento, capturando relaciones estructurales y pistas cruzadas entre modalidades.
2. Pipeline de Construcción Novel: Un método para destilar documentos multimodales no estructurados en KGs estructurados utilizando extracción impulsada por MLLM y emparejamiento visión-texto, asegurando consistencia semántica a través de las modalidades.
3. Recuperación de Dos Etapas y QM-Retriever: Un paradigma de recuperación de dos etapas (Documento $\to$ Grafo) y un Recuperador Multimodal Consciente de la Consulta especializado, entrenado con objetivos de aprendizaje contrastivo y reformulación de preguntas para cerrar la brecha de modalidad.
4. Rendimiento de Vanguardia: El enfoque supera significativamente a las líneas base existentes en los estándares de referencia.

4. Resultados Experimentales

El método se evaluó en dos estándares de referencia: E-VQA (5.8K muestras) e InfoSeek (73K muestras de validación).

• Rendimiento:
  • E-VQA: Logró una precisión del 36.3% (conjunto All), superando al mejor anterior (ReflectiVA*) por un margen significativo.
  • InfoSeek: Logró una precisión del 40.5% (conjunto All), estableciendo un nuevo estado del arte.
  • Mejora: Comparado con MLLM de cero disparos, mKG-RAG mejoró la precisión en más del 20% en E-VQA y en un 31% en InfoSeek.
• Eficiencia de Recuperación: El QM-Retriever logró mejoras promedio en la Recuperación (Recall) del 9.9% (E-VQA) y del 7.0% (InfoSeek) sobre las mejores líneas base unimodales/cruzadas (como CLIP).
• Estudios de Ablación:
  • Eliminar el QM-Retriever (usando CLIP en su lugar) redujo la precisión en aproximadamente un 4-5%.
  • Reemplazar la recuperación de grafos con recuperación basada en fragmentos redujo la precisión en aproximadamente un 8%.
  • La expansión de subgrafos contribuyó con una ganancia adicional de aproximadamente un 1.3%.
• Generalización: El marco mostró ganancias de rendimiento consistentes (promedio +9.4%) en diversas arquitecturas de MLLM (Phi3V, LLaMA-3.2, Qwen2.5-VL, etc.), independientemente del tamaño de los parámetros.
• Eficiencia: A pesar del pipeline complejo, la construcción pesada de KG es fuera de línea. La inferencia en línea añade solo un costo computacional de 1.14x en comparación con la generación de cero disparos, mientras que entrega una mejora de precisión de 1.37x sobre el RAG ingenuo.

5. Significado

Este artículo aborda un cuello de botella crítico en la IA multimodal: la incapacidad de los modelos actuales para razonar sobre conocimiento externo estructurado cuando las pistas visuales y textuales están entrelazadas. Al cambiar de la recuperación de texto no estructurado a la recuperación de grafos multimodales estructurados, mKG-RAG:

• Reduce la Alucinación: Proporciona evidencia precisa y estructurada que guía al MLLM.
• Mejora el Razonamiento: La estructura del grafo modela explícitamente las relaciones, ayudando en el razonamiento de múltiples saltos (por ejemplo, conectar un objeto en una imagen con un hecho específico en un documento).
• Cierra las Modalidades: El QM-Retriever y el emparejamiento visión-texto aseguran que la evidencia visual y textual se recuperen y alineen coherentemente, en lugar de tratarlas como silos separados.

El trabajo demuestra que integrar representaciones de conocimiento estructurado (KGs) con modelos generativos es un paradigma superior para tareas intensivas en conocimiento en comparación con el RAG tradicional, allanando el camino para sistemas de IA multimodal más fiables y fácticos.