Resumen Técnico: Razonar antes de Recuperar: Planificación Agéntica para RAG Multimodal

Declaración del Problema

La Generación Aumentada por Recuperación Multimodal (mRAG) tiene como objetivo responder a consultas de imagen y texto aprovechando el conocimiento externo. Sin embargo, los sistemas existentes suelen emplear un flujo de trabajo de "recuperar y luego generar" que opera sobre un espacio de evidencia plano y débilmente estructurado. Los autores identifican dos limitaciones críticas en este diseño prevaleciente:

1. Ambigüedad de la Intención de Recuperación: En entornos multimodales, la pregunta de texto define la necesidad de información, mientras que la imagen fundamenta el referente visual específico. Los sistemas existentes a menudo fallan al fundamentar explícitamente la consulta al referente visual correcto, lo que conduce a una deriva de la recuperación hacia los sesgos textuales o hacia coincidencias genéricas tipo descripción, en lugar de evidencia específica para el par imagen-pregunta.
2. Espacio de Búsqueda Débilmente Estructurado: La mayoría de los sistemas integran evidencia diversa en un único espacio de representación y dependen de funciones de similitud global. Esto obliga a que la evidencia semánticamente distinta compita en un único paso de clasificación, favoreciendo a menudo el contenido genérico sobre la evidencia precisa y específica del dominio.

El artículo argumenta que la recuperación multimodal debe replantearse como "razonar antes de recuperar", trazando una analogía con la Teoría de Esquemas en la ciencia cognitiva, donde marcos de conocimiento estructurados guían la atención y el acceso a la memoria.

Metodología: El Marco MM-R2

Los autores proponen MM-R2 (MultiModal Reason-to-Retrieve), un marco de recuperación agéntica que modela explícitamente qué recuperar y dónde buscar antes de ejecutar la recuperación. El marco opera a través de los siguientes componentes:

1. Módulo de Vinculación de Intención-Referente

Antes de la recuperación, el sistema construye un estado de recuperación estructurado a partir del par imagen-pregunta $(I, Q)$. Este módulo, denotado como $\Phi$, produce una tripleta $z = (i, r, c)$:

• $i$ (Necesidad de Información): El conocimiento específico requerido (por ejemplo, taxonomía, ubicación, función).
• $r$ (Referente Fundamentado): El objeto, entidad o región específica en la imagen a la que se refiere la consulta.
• $c$ (Restricciones): Condiciones específicas de la tarea, tales como el tipo de respuesta, la granularidad o el alcance temporal.

Este paso resuelve la intención de recuperación antes de la búsqueda, reduciendo la deriva de la consulta.

2. Mapa de Conocimiento Estructurado (KnowledgeMap)

En lugar de un corpus plano, la base de conocimientos externa se preestructura en un KnowledgeMap ($K$), que consiste en unidades de recuperación semánticamente coherentes ($u_1, \dots, u_N$).

• Construcción: Los pasajes se codifican, se agrupan mediante HDBSCAN (para manejar densidades variables sin fijar previamente el número de clústeres) y se les asignan metadatos ligeros (títulos y descripciones) mediante un LLM.
• Función: Actúa como un andamiaje de enrutamiento. El agente primero selecciona las unidades relevantes ($a_t$) y luego ejecuta consultas fundamentadas ($q_t$) dentro de esas unidades, en lugar de buscar en todo el corpus de forma global.

3. Bucle de Planificación Agéntica

El agente $A$ (un modelo de lenguaje multimodal) realiza un proceso de toma de decisiones secuencial:

1. Enrutamiento: Selecciona una o más unidades de recuperación del KnowledgeMap basándose en el estado actual (intención $z$ e historial $h_t$).
2. Generación de Consulta: Formula una consulta fundamentada específica para la unidad seleccionada.
3. Recuperación y Actualización: Recupera la evidencia $e_t$ y actualiza el historial $h_{t+1}$.
4. Decisión de Terminación: El agente decide iterativamente si continuar recuperando o generar la respuesta final $\hat{y}$ basándose en la evidencia acumulada.

4. Estrategia de Entrenamiento

Para entrenar al agente para realizar esta planificación de múltiples pasos, los autores introducen MM-R2-Traj, un conjunto de datos a gran escala de 900 mil trayectorias de recuperación de múltiples pasos fundamentadas, sintetizadas utilizando un modelo profesor. El entrenamiento sigue un flujo de post-entrenamiento de dos etapas:

• Etapa 1 (Ajuste Fino Supervisado - SFT): El agente aprende la estructura básica de los comportamientos de recuperación (selección de unidad, generación de consulta, resumen, generación de respuesta) imitando las trayectorias estructuradas.
• Etapa 2 (Optimización de Política Relativa de Grupo - GRPO): El agente se optimiza aún más mediante aprendizaje por refuerzo con una función de recompensa a nivel de despliegue ($R_i$) que evalúa conjuntamente la calidad del enrutamiento ($R_{route}$) y la corrección de la respuesta final ($R_{ans}$). Esto fortalece la capacidad del agente para planificar rutas de recuperación bajo retroalimentación a nivel de tarea.

Contribuciones Clave

1. Marco Novedoso: MM-R2 es un marco agéntico multimodal que razona explícitamente sobre el objetivo de recuperación y el espacio de búsqueda antes de la recuperación, haciendo que el "qué" y el "dónde" de la recuperación sean interpretables.
2. Innovaciones Arquitectónicas: El diseño del Módulo de Vinculación de Intención-Referente y del KnowledgeMap proporciona un estado de decisión explícito y un espacio de búsqueda estructurado, abordando la ambigüedad y la falta de estructura de los sistemas mRAG previos.
3. Conjunto de Datos y Entrenamiento: La construcción de MM-R2-Traj y la adopción de una estrategia de entrenamiento de dos etapas (SFT+GRPO) permiten que los agentes aprendan una planificación de recuperación compleja y de múltiples pasos.
4. Análisis a Nivel de Proceso: El marco permite un análisis ligero a nivel de proceso, permitiendo la inspección de la intención inferida, las unidades seleccionadas y la evidencia por separado.

Resultados Experimentales

Los autores evaluaron MM-R2 en dos referentes: InfoSeek y Encyclopedic VQA.

• Efectividad a Nivel de Tarea: MM-R2 supera sustancialmente a los fuertes modelos de referencia. En InfoSeek, alcanzó un 54.3% de precisión (All), mejorando en 7.8 puntos respecto al modelo de referencia más fuerte previo (Wiki-R1-7B con 46.5%). En Encyclopedic VQA, alcanzó un 39.4%. Las mejoras en el rendimiento fueron consistentes en diferentes presupuestos de recuperación (Top-1 a Top-5), con mejoras que aumentan a medida que el presupuesto se expande, lo que sugiere una utilización efectiva de la evidencia adicional.
• Verificabilidad a Nivel de Proceso:
  • Precisión de Enrutamiento: El Recall@1 de la ruta mejoró significativamente de 0.2339 (referencia) a 0.7400, lo que indica que el agente identifica con éxito las regiones correctas del KnowledgeMap.
  • Calidad de la Traza: Las puntuaciones de "LLM-as-a-Judge" para la consistencia entre traza y respuesta, así como la cobertura de evidencia, mejoraron.
  • Fidelidad: El modelo logró una puntuación de fidelidad de 0.9011, lo que indica que la predicción final es altamente reproducible a partir del resumen de la evidencia revelada, a diferencia de los modelos de referencia que a menudo dependen del conocimiento paramétrico oculto.

Significado y Reivindicaciones

El artículo afirma que MM-R2 demuestra que replantear la recuperación multimodal como una tarea de razonamiento ("razonar antes de recuperar") genera beneficios sustanciales. Al fundamentar explícitamente la intención de recuperación y estructurar el espacio de búsqueda, el sistema logra:

1. Mayor Precisión: Una recuperación de evidencia más precisa conduce a una mejor generación de respuestas.
2. Interpretabilidad: La trayectoria de recuperación es transparente, permitiendo a los usuarios inspeccionar el razonamiento del agente, las decisiones de enrutamiento y el uso de la evidencia.
3. Verificabilidad: Los resúmenes de evidencia expuestos son suficientes para justificar la respuesta final, reduciendo la dependencia del conocimiento paramétrico de "caja negra".

Los autores concluyen que MM-R2 ofrece un enfoque más robusto y confiable para consultas multimodales complejas en comparación con los flujos de trabajo de recuperación estáticos y planos.