QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering

El paper presenta QA-Dragon, un sistema de Recuperación Aumentada por Generación (RAG) dinámico y consciente de la consulta que orquesta agentes de búsqueda de texto e imágenes para mejorar el razonamiento multimulti-hop y la precisión en preguntas visuales complejas, logrando mejoras significativas sobre los modelos base en el desafío Meta CRAG-MM de KDD Cup 2025.

Lo esencial

¡Claro que sí! Imagina que tienes un amigo muy inteligente, pero a veces se le olvida lo que estudió en la escuela o inventa cosas cuando no está seguro. A este amigo le llamamos "Inteligencia Artificial Multimodal" (un cerebro que ve imágenes y lee texto).

El problema es que cuando le haces una pregunta difícil sobre una foto (por ejemplo, "¿Qué modelo de coche es este y cuánto cuesta?"), a veces alucina y te da una respuesta falsa porque no tiene esa información en su memoria.

Para solucionar esto, los autores crearon QA-Dragon. Aquí te explico cómo funciona usando una analogía sencilla:

🐉 El Dragón Investigador (QA-Dragon)

Imagina que QA-Dragon no es un simple robot, sino un detective privado muy organizado que tiene un equipo de especialistas a su disposición. Cuando le das una foto y una pregunta, no intenta adivinar la respuesta de inmediato. Sigue un proceso de 4 pasos mágicos:

1. El Recepcionista Experto (El "Domain Router")

Primero, el detective mira la foto y la pregunta.

• La analogía: Imagina que entras a un hospital. El recepcionista no te manda al quirófano si solo tienes un resfriado. Él te pregunta: "¿Es un problema de ojos, de estómago o de huesos?".
• Qué hace el sistema: Identifica de qué trata la pregunta (¿es sobre comida? ¿vehículos? ¿animales?). Si es sobre un coche, llama al especialista en coches. Si es sobre un libro, llama al bibliotecario. Esto asegura que el detective use el "cerebro" correcto para el tema.

2. El Jefe de Estrategia (El "Search Router")

Una vez que el especialista da una respuesta preliminar, el Jefe de Estrategia la revisa.

• La analogía: Es como un jefe que pregunta: "¿Estás 100% seguro de esta respuesta? ¿O necesitas llamar a un experto externo para confirmar?".
• Qué hace el sistema:
  • Si la respuesta es obvia (ej. "¿Qué color es el paraguas?"), dice: "¡Listo! Dilo tal cual" (Direct Output).
  • Si la respuesta es dudosa, dice: "Busquemos pruebas" (Search Verify).
  • Si la pregunta es muy difícil y requiere datos que no están en la foto (ej. "¿Quién fundó esta marca?"), dice: "¡Necesitamos investigar a fondo!" (RAG).

3. Los Agentes de Búsqueda (Los "Search Agents")

Aquí es donde el detective se pone manos a la obra. Tiene dos herramientas principales:

• El Agente de Imágenes: Si la pregunta es sobre "¿Qué objeto es este?", el agente recorta la parte de la foto que importa y busca en una base de datos de millones de fotos similares para encontrar el nombre exacto del objeto.
• El Agente de Texto: Si ya saben qué es el objeto pero necesitan saber su precio o historia, el agente va a "Google" (una base de datos de internet) y busca artículos, noticias y datos reales.

El truco: A veces, el detective divide una pregunta difícil en varias pequeñas. Si preguntas "¿Quién fundó la marca de este coche?", el sistema primero busca "¿Qué marca es este coche?" y luego busca "¿Quién fundó esa marca?". ¡Es como desarmar un rompecabezas pieza por pieza!

4. El Editor de Verdad (El "Reranker" y "Verifier")

El detective puede tener mucha información, pero mucha puede ser basura o irrelevante.

• La analogía: Imagina que tienes 50 noticias sobre un coche. El Editor es como un editor de periódico que lee todo, tira las noticias falsas, deja solo las 3 más importantes y las ordena para que tengan sentido.
• Qué hace el sistema: Revisa toda la información encontrada, la ordena de la más útil a la menos útil y, finalmente, un "juez" (otro modelo de IA) revisa si la respuesta final tiene sentido y si coincide con las pruebas. Si no está seguro, el sistema prefiere decir "No lo sé" en lugar de inventar una mentira.

¿Por qué es tan bueno?

En la competencia donde probaron este sistema (el KDD Cup 2025), QA-Dragon ganó porque:

1. No alucina: No inventa datos. Si no sabe, busca o admite que no sabe.
2. Es rápido y preciso: No pierde tiempo buscando en el lugar equivocado.
3. Es flexible: Puede responder preguntas simples mirando solo la foto, o preguntas complejas buscando en internet y combinando ambas cosas.

En resumen:
QA-Dragon es como tener un asistente personal súper inteligente que sabe cuándo mirar sus notas, cuándo llamar a un experto, cuándo buscar en Google y, lo más importante, cuándo verificar que todo lo que dice es verdad antes de hablarte. ¡Y todo esto ocurre en segundos!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering", presentado en la conferencia KDD '25.

1. El Problema

Los Modelos de Lenguaje Multimodal (MLLMs) han demostrado capacidades notables en tareas de Visión-Lenguaje, como la Respuesta a Preguntas Visuales (VQA). Sin embargo, enfrentan desafíos críticos en escenarios que requieren:

• Conocimiento de cola larga (Long-tail knowledge): Información específica que no está presente en los datos de entrenamiento.
• Razonamiento multi-paso (Multi-hop reasoning): Preguntas que requieren conectar múltiples fuentes de información.
• Alucinaciones: Los modelos tienden a generar respuestas incorrectas o inventadas cuando carecen de conocimiento interno.

Aunque la Generación Aumentada por Recuperación (RAG) ha sido una solución prometedora, los métodos existentes suelen recuperar información de texto o imágenes de forma aislada, lo que limita su capacidad para abordar consultas complejas que requieren una integración dinámica de ambos modos y razonamiento en múltiples vueltas.

2. Metodología: QA-Dragon

Para abordar estas limitaciones, los autores proponen QA-Dragon, un sistema RAG dinámico y consciente de la consulta. El sistema no trata todas las consultas por igual; en su lugar, orquesta agentes de búsqueda de texto e imágenes mediante una arquitectura modular que incluye:

A. Módulo Pre-Respuesta (Pre-Answer Module)

• Enrutador de Dominio (Domain Router): Utiliza un modelo ligero (BLIP-2) para clasificar la consulta y la imagen en un dominio semántico específico (ej. vehículos, comida, libros). Esto permite invocar agentes de razonamiento especializados y plantillas de prompts adaptadas al dominio.
• Cadena de Pensamiento Específica del Dominio (D-CoT): El MLLM genera una respuesta preliminar y una trazas de razonamiento paso a paso. Este paso es introspectivo: el modelo debe identificar qué sabe con certeza y dónde le falta información, señalando explícitamente la incertidumbre.

B. Enrutamiento Dinámico

• Enrutador de Búsqueda (Search Router): Analiza la trazas de razonamiento y la respuesta preliminar para decidir la ruta de ejecución óptima entre tres opciones:
  1. Salida Directa: Si la respuesta puede derivarse con confianza solo de la imagen (ej. OCR, cálculos visuales).
  2. Verificación de Búsqueda: Si la respuesta es incierta y requiere verificación externa.
  3. RAG Aumentado: Si la consulta depende de conocimiento externo no presente en la imagen.
• Enrutador de Herramientas (Tool Router): Decide si se necesita búsqueda de imágenes, búsqueda de texto, o ambas, basándose en la naturaleza de la información faltante (ej. identidad del objeto vs. atributos factuales como precio o especificaciones).

C. Agentes de Búsqueda y Recuperación

• Agente de Búsqueda de Imágenes: Realiza extracción de objetos multimodales, segmentación (usando DINO) para aislar regiones relevantes, y búsqueda en un motor de imágenes basado en similitud semántica (CLIP). Incluye un módulo de selección de entidades para asegurar que los resultados coincidan visualmente con el objeto de la consulta.
• Agente de Búsqueda de Texto: Reformula consultas complejas en sub-preguntas claras (Query Rephrasing) y fusiona la información del objeto identificado en la imagen para crear consultas web más precisas (ej. cambiar "¿Cuál es el precio?" por "Precio del coche deportivo rojo BMW M4").

D. Reordenamiento Multimodal (Reranker)

• Utiliza un enfoque de dos etapas (Coarse-to-Fine):
  1. Reordenamiento Grueso: Usa un modelo Q-Former para filtrar evidencia basada en la relevancia conjunta de la imagen y la pregunta.
  2. Reordenamiento Fino: Usa un LLM (Qwen3-Reranker) para evaluar la relevancia contextual precisa de los fragmentos restantes.
• Esto asegura que solo la evidencia de alta calidad y semánticamente alineada se pase al generador final.

E. Generador y Verificador Post-Respuesta

• Genera la respuesta final utilizando técnicas de CoT sobre la evidencia reordenada.
• Implementa un mecanismo de doble verificación:
  1. Verificador "White-box": Analiza las probabilidades de los tokens generados para cuantificar la incertidumbre.
  2. Verificador basado en MLLM: Evalúa la coherencia lógica y el soporte de la evidencia de la respuesta.
• Si la confianza es baja, el sistema se abstiene de responder o devuelve un mensaje de "no lo sé", reduciendo las alucinaciones.

3. Contribuciones Clave

1. Arquitectura Híbrida Dinámica: A diferencia de los sistemas RAG estáticos, QA-Dragon adapta su estrategia de recuperación (texto, imagen o ambas) en tiempo real según la intención de la consulta y el dominio.
2. Gestión de Incertidumbre: La introducción del módulo D-CoT y los verificadores posteriores permite al sistema reconocer sus límites y solicitar evidencia externa solo cuando es necesario, mejorando la eficiencia y la precisión.
3. Orquestación Multimodal: La capacidad de fusionar evidencia de bases de conocimiento de imágenes (KG) y búsqueda web textual en un solo flujo de razonamiento para tareas de VQA intensivas en conocimiento.
4. Evaluación Exhaustiva: Validación en el desafío Meta CRAG-MM Challenge (KDD Cup 2025), un entorno de prueba realista con imágenes de gafas inteligentes, búsquedas web simuladas y escenarios de múltiples vueltas.

4. Resultados

El sistema se evaluó en tres tareas del desafío: Aumento de Fuente Única, Aumento de Múltiples Fuentes y VQA de Múltiples Vueltas.

• Rendimiento General: QA-Dragon superó significativamente a las líneas base (LLM solo, CoT, RAG directo).
  • Tarea de Fuente Única: Mejora del 5.06% en precisión sobre las líneas base.
  • Tarea de Múltiples Fuentes: Mejora del 6.35% en precisión.
  • Tarea de Múltiples Vueltas: Mejora del 5.03% en precisión.
• Calidad de la Respuesta: Se observaron mejoras sustanciales en la puntuación de solapamiento de conocimiento (Knowledge Overlap), indicando que las respuestas están mejor fundamentadas en la evidencia real.
• Análisis de Ablación: La eliminación de componentes clave (Enrutador de Dominio, Enrutador de Herramientas, Reordenamiento) resultó en caídas significativas de precisión, demostrando que cada módulo es esencial para el rendimiento óptimo.
• Eficiencia: Aunque el sistema completo tiene una latencia mayor debido a los pasos de verificación, la capacidad de "Salida Directa" para consultas simples mantiene la eficiencia en casos donde no se necesita recuperación.

5. Significado e Impacto

QA-Dragon representa un avance importante en la intersección de la recuperación de información y los modelos multimodales. Su enfoque demuestra que para resolver tareas de VQA complejas en el mundo real, no basta con recuperar información; es necesario un sistema de razonamiento adaptativo que:

• Comprenda el contexto del dominio.
• Decida dinámicamente qué herramientas de búsqueda utilizar.
• Valide rigurosamente la veracidad de la información antes de generar una respuesta.

Este trabajo establece un nuevo estándar para sistemas RAG multimodales robustos, ofreciendo una solución viable para reducir las alucinaciones en aplicaciones críticas como asistentes de gafas inteligentes, diagnóstico médico visual o investigación científica basada en imágenes. El código fuente ha sido liberado públicamente, fomentando la reproducibilidad y el desarrollo futuro en este campo.