VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents

Resumen Técnico: VLD-RAG

Declaración del Problema

Los documentos visualmente ricos (por ejemplo, informes, diapositivas, manuales) suelen distribuir la evidencia necesaria para responder a una pregunta a través de múltiples páginas, mezclando texto con diseños complejos, tablas, gráficos y figuras. Los pipelines de Generación Aumentada por Recuperación (RAG) estándar, diseñados principalmente para entornos centrados en el texto, se degradan en estos escenarios. La conversión de páginas a texto plano suele resultar en una pérdida de información, oscureciendo la semántica del diseño, las relaciones espaciales y las señales no textuales esenciales para una interpretación correcta. Además, los enfoques actuales basados primero en la visión enfrentan desafíos: la dependencia de la extracción de texto o OCR puede omitir señales estructurales; la fusión ingenua de señales léxicas y semánticas puede ser frágil cuando las modalidades discrepan; y la recuperación de un solo paso suele ser insuficiente para documentos largos que requieren el descubrimiento de evidencia en múltiples pasos dispersos a través de las páginas.

Metodología: Marco de Trabajo VLD-RAG

Los autores proponen VLD-RAG, un marco de trabajo de RAG multimodal agéntico diseñado para la recuperación de evidencia de múltiples páginas y el razonamiento entre páginas. El sistema opera en tres etapas principales:

1. Representación de Documentos en Espacio Dual

VLD-RAG emplea una arquitectura de índice dual para preservar señales complementarias:

• Índice Visual: Las imágenes de las páginas se codifican en incrustaciones (embeddings) densas de lenguaje-visión ($v_i$) utilizando un codificador de visión (ColPali). Esto preserva el diseño visual y la semántica textual en un espacio unificado, adhiriéndose a la filosofía de "recuperar por imagen de página".
• Índice de Texto: Las páginas se analizan en Markdown estructurado, preservando la información del diseño (tablas, figuras, encabezados). Estos se serializan e indexan como incrustaciones de fragmentos (chunks) ($t_{i,j}$). Esto permite una reconstrucción fiel de la evidencia y un emparejamiento léxico preciso (IDs, números, entidades raras).

2. Formulación de Consultas Multimodales y Recuperación Híbrida

Al recibir una consulta $q$, el sistema realiza una descomposición de consulta multimodal para generar intenciones de recuperación estructuradas, incluyendo entidades salientes, anclajes visuales y tipos de evidencia esperados. El proceso de recuperación combina dos ramas:

• Recuperación Léxica Dispersa (Sparse): Extrae palabras clave ($k$) de la consulta para realizar una búsqueda estándar basada en la frecuencia de términos.
• Recuperación Semántica Densa: Genera un "documento hipotético" ($h$) condicionado por la consulta utilizando un modelo de lenguaje (Gemma3n). Este documento sintético aproxima el contenido de una página ideal que contenga la respuesta, cerrando la brecha semántica entre la consulta y el documento. El documento hipotético se codifica en una incrustación densa de lenguaje-visión ($e_h$) y se empareja con las incrustaciones de las páginas mediante búsqueda ANN.

Fusión Consistente de Modalidades:
Los candidatos de ambas ramas se fusionan. Para manejar la discrepancia cross-modal, se aplica una puntuación de fusión con restricción de consistencia:
$$s(i) = \alpha s_{sparse}(i) + (1 - \alpha) s_{dense}(i) - \lambda \Delta(i)$$
donde $\Delta(i)$ penaliza a los candidatos donde las señales dispersas y densas discrepan significativamente.

3. Flujo de Trabajo Agéntico y Refinamiento Iterativo

VLD-RAG utiliza un flujo de trabajo de agente guiado por un verificador que involucra un Agente de Recuperación, un Agente de Respuesta y un Agente de Validación.

• Generación Basada en Evidencia: El generador produce una respuesta fundamentada en regiones de páginas recuperadas, fragmentos de Markdown analizados y metadatos.
• Bucle de Verificación: Un agente de validación comprueba si la respuesta generada está suficientemente respaldada por la evidencia (umbral de confianza $\tau$). Si la validación falla (por ejemplo, falta de citas o baja confianza), el sistema activa un paso de refinamiento iterativo. La consulta se refina ($q'$) basándose en la evidencia faltante, y el proceso de recuperación se repite con intenciones actualizadas.

Contribuciones Clave

1. Arquitectura de Índice Dual: Un marco de RAG de documentos de lenguaje-visión que preserva tanto las pistas de diseño visual (mediante incrustaciones a nivel de página) como las señales léxicas precisas (mediante la serialización en Markdown estructurado).
2. Recuperación Híbrida con Consistencia de Modalidad: Una estrategia de recuperación que modela explícitamente el acuerdo entre las modalidades dispersas y densas, utilizando restricciones de consistencia para mejorar la robustez contra desajustes cross-modales.
3. Bucle Agéntico Guiado por Verificador: Un mecanismo que permite la localización de evidencia de múltiples páginas de manera confiable mediante el refinamiento iterativo de consultas, abordando la insuficiencia de la recuperación de un solo paso para preguntas complejas distribuidas en varias páginas.

Resultados Experimentales

El marco fue evaluado en dos benchmarks de documentos largos multimodales: LongDocURL y MMLongBench-Doc.

• Desempeño de Recuperación: VLD-RAG demostró mejoras consistentes sobre las líneas base (incluyendo M3DocRAG, MDocAgent y MoLoRAG) en Recall@K, NDCG y MRR en todos los ajustes de top-K ($K \in \{1, 3, 5\}$).
  • En MMLongBench-Doc, VLD-RAG alcanzó los valores más altos en métricas de Recall y calidad de ranking.
  • En LongDocURL (que presenta documentos más largos y un mayor porcentaje de preguntas de múltiples páginas), VLD-RAG mostró ganancias particularmente fuertes en Recall y NDCG, superando a las líneas base de solo texto y solo imagen.
• Análisis: Los resultados indican que el enfoque híbrido captura eficazmente la relevancia basada en la posición, lo cual es crítico para la recuperación de múltiples páginas. La integración de la generación de documentos hipotéticos ayudó a cerrar las brechas semánticas, especialmente cuando la evidencia estaba embebida en diseños complejos. Aunque algunas líneas base lograron una mayor Precisión en valores intermedios de K, el Recall superior y las métricas de ranking de VLD-RAG sugieren una mejor efectividad general para tareas de generación aumentada por recuperación que requieren una cobertura de evidencia exhaustiva.

Significancia

El artículo postula que la verificación coordinada de agentes y la recuperación híbrida multimodal son cruciales para una fundamentación confiable cuando las respuestas correctas dependen de evidencia dispersa en varias páginas. Al preservar la información del diseño visual mientras mantiene un emparejamiento léxico preciso, VLD-RAG aborda las limitaciones de los sistemas RAG existentes en contextos de documentos largos y visualmente ricos. Los hallazgos resaltan que una RAG multimodal efectiva requiere no solo mejores codificadores, sino también estrategias estructurales para fusionar modalidades y mecanismos iterativos para recuperar la evidencia faltante.