LFRAG: Layout-oriented Fine-grained Retrieval-Augmented Generation on Multimodal Document Understanding

Resumen Técnico: LFRAG – Generación Aumentada por Recuperación de Alta Granularidad Orientada a la Disposición para la Comprensión de Documentos Multimodales

Enunciado del Problema
La Generación Aumentada por Recuperación (RAG) multimodal ha surgido como un paradigma para potenciar los Modelos de Lenguaje Grandes (LLM) con conocimiento externo procedente de documentos visualmente ricos (por ejemplo, artículos científicos, informes financieros). Sin embargo, los sistemas RAG multimodales existentes dependen predominantemente de una recuperación a nivel de página de granularidad gruesa. Este enfoque trata una página completa del documento como la unidad mínima de recuperación, lo que introduce limitaciones significativas:

1. Pérdida de la Estructura de Alta Granularidad: No logra capturar las semánticas jerárquicas intra-página y las estructuras de disposición, como las relaciones de filas y columnas en tablas o las asociaciones entre figuras y texto.
2. Contexto Redundante: Recuperar páginas enteras introduce contenido irrelevante sustancial, aumentando la sobrecarga computacional para la generación posterior y elevando el riesgo de alucinación.
3. Pérdida de Resolución: El fragmentado de imágenes de resolución fija en Modelos Visuales-Lingüísticos (VLM) a menudo reduce la escala de páginas de alta resolución, provocando la pérdida de información de alta granularidad.

Las soluciones actuales o bien convierten documentos a texto plano mediante OCR (descartando datos visuales/estructurales) o utilizan VLM para codificar páginas completas (ignorando la disposición intra-página). Existe una carencia de marcos que segmenten eficazmente los documentos en bloques semánticamente coherentes mientras preservan la información de disposición para una recuperación precisa.

Metodología: Marco LFRAG
Para abordar estos desafíos, los autores proponen LFRAG (Generación Aumentada por Recuperación de Alta Granularidad Orientada a la Disposición), un marco que desplaza el paradigma de recuperación de nivel de página a nivel de bloque. El sistema opera a través de cuatro etapas clave:

1. Segmentación de Disposición y Agregación de Bloques Semánticos:

   • El sistema utiliza primero un modelo de detección de disposición (DocLayout-YOLO) para identificar regiones estructurales (por ejemplo, títulos, figuras, tablas, párrafos).
   • Para prevenir una fragmentación excesiva (por ejemplo, separar una figura de su leyenda), se emplea un algoritmo de agregación de bloques semánticos basado en grafos. Este algoritmo fusiona regiones espacialmente adyacentes y semánticamente compatibles (basado en superposición, distancia vertical y consistencia de tipo) en bloques coherentes.
   • También se crea un bloque auxiliar de "página enmascarada" para retener el contexto global de fondo no capturado en recortes individuales.

2. Codificación de Fusión de Características Semánticas y de Disposición:

   • Se diseña una estrategia de codificación jerárquica. Las imágenes de bloque son codificadas por un codificador visual, mientras que la página completa es codificada para generar una incrustación global.
   • Un mecanismo de atención cruzada integra el contexto global de disposición en las representaciones locales de los bloques.
   • Las etiquetas de tipo de disposición (por ejemplo, <Figura>, <Tabla>) son codificadas y concatenadas con las incrustaciones visuales proyectadas para mejorar la conciencia estructural.

3. Recuperación de Interacción Tardía a Nivel de Bloque:

   • La recuperación utiliza un mecanismo de interacción tardía (inspirado en ColBert). Los tokens de consulta y las representaciones de bloque son codificados en incrustaciones de múltiples vectores.
   • La relevancia se calcula utilizando una puntuación MaxSim (producto punto máximo entre los tokens de consulta y los tokens de bloque), permitiendo una alineación de alta granularidad sin fusión temprana.
   • Los bloques más relevantes (top-$k$) son recuperados basándose en esta puntuación.

4. Generación Aumentada:

   • Los bloques recuperados (top-$k$) y la consulta original se introducen en un VLM para la generación de respuestas. Al restringir la entrada a bloques precisos en lugar de páginas completas, el modelo opera sobre evidencia fundamentada estructuralmente, reduciendo el ruido.

Construcción de la Prueba de Rendimiento: LFDocQA
Reconociendo la falta de estándares de evaluación de alta granularidad, los autores construyeron LFDocQA, la primera prueba de rendimiento de documentos multimodales con anotaciones de cajas delimitadoras a nivel de bloque.

• Composición: Consiste en dos subconjuntos: LF-Docmatix (derivado de documentos generales) y LF-PaperTab (derivado de artículos académicos con disposiciones complejas).
• Anotación: Una pipeline semi-automática utiliza LLM para identificar los bloques relevantes de verdad fundamental para consultas específicas, asegurando que las consultas estén explícitamente alineadas con regiones de disposición en lugar de páginas enteras.
• Escala: El conjunto de datos incluye 1.000 pares de preguntas y respuestas con anotaciones detalladas a nivel de bloque, cubriendo diversos tipos de contenido como texto, tablas y gráficos.

Resultados Experimentales
Extensos experimentos en LFDocQA y pruebas de rendimiento públicas (ViDoRe V1, VisDoMBench) demuestran lo siguiente:

• Rendimiento de Recuperación: LFRAG logra un rendimiento de vanguardia. En LFDocQA (dominio interno), supera a la mejor línea base (ColQwen2.5-v0.2) en un 4,95% en nDCG@3 y en un 3,85% en Recall@3 a nivel de bloque.
• Rendimiento de Generación: LFRAG mejora la precisión de las respuestas en un 7,20% en comparación con la mejor línea base.
• Eficiencia: Al filtrar el contexto irrelevante, LFRAG reduce el consumo de tokens de entrada en un 73,07% en tareas de generación (disminuyendo de ~8–10k tokens a ~1,7–2,9k tokens) mientras mantiene o mejora la calidad de las respuestas.
• Generalización: El marco demuestra una fuerte generalización en pruebas de rendimiento públicas a nivel de página, logrando el Recall@5 promedio más alto en ViDoRe V1 y el ANLCS promedio más alto en VisDoMBench.

Significado y Contribuciones
El artículo afirma tres contribuciones principales:

1. Marco LFRAG: Un marco RAG multimodal novedoso que integra segmentación de disposición, codificación de fusión semántico-disposicional e interacción tardía a nivel de bloque para permitir una recuperación precisa y una generación eficiente.
2. Prueba de Rendimiento LFDocQA: La primera prueba de rendimiento de recuperación y preguntas-respuestas multimodal a nivel de bloque, llenando el vacío en las evaluaciones a nivel de página existentes y permitiendo una evaluación rigurosa de alta granularidad.
3. Validación Empírica: Extensos experimentos que confirman que el desplazamiento de la recuperación a nivel de página a nivel de bloque mejora significativamente la precisión de la recuperación, reduce la sobrecarga de generación y mitiga los riesgos de alucinación en la comprensión de documentos visualmente ricos.

Los autores concluyen que una recuperación de alta granularidad efectiva depende de una segmentación semánticamente significativa en lugar de una división arbitraria, y que integrar información de disposición es crucial para manejar estructuras documentales complejas. Se planea trabajo futuro para extender el marco y manejar mejor datos estructurados como tablas y explorar estrategias de granularidad adaptativa.