PDF Retrieval Augmented Question Answering

Resumen Técnico: PIER-QA (PDF Integrated Enhanced Retrieval Question Answering)

1. El Problema

Los sistemas actuales de Preguntas y Respuestas (QA) basados en Recuperación Aumentada por Generación (RAG) presentan limitaciones significativas al procesar archivos PDF. La mayoría de estos sistemas están diseñados principalmente para contenido textual, ignorando o tratando de manera deficiente elementos no textuales ricos en información como imágenes, diagramas vectoriales, gráficos y tablas.

• Desafío Principal: La extracción automática de estos elementos multimodales es compleja. Los métodos tradicionales fallan al no capturar el contexto visual o estructural, lo que resulta en respuestas incompletas o alucinaciones por parte de los Modelos de Lenguaje Grande (LLM).
• Brecha Actual: Existe una falta de sistemas integrales capaces de integrar y razonar sobre datos heterogéneos (texto + imágenes + tablas) dentro de un mismo documento PDF para responder a consultas complejas y multifacéticas.

2. Metodología: Sistema PIER-QA

Los autores proponen PIER-QA, un sistema de extremo a extremo diseñado para superar estas limitaciones mediante un pipeline de tres componentes principales:

• A. Preprocesamiento Avanzado de PDF:

  • Eliminación de Encabezados y Pie de Página: Se utiliza el algoritmo de agrupamiento DBSCAN (Density-Based Spatial Clustering of Applications with Noise) para identificar y eliminar patrones repetitivos de encabezados y pies de página basándose en sus coordenadas espaciales, reduciendo el ruido en los datos.
  • Conversión a Markdown: Se emplea la herramienta Marker para convertir el PDF limpio a formato Markdown. Esto facilita la manipulación y el procesamiento posterior.
  • Procesamiento de Imágenes y Tablas:
    • Imágenes: Se generan descripciones (captions) para cada imagen utilizando el modelo LLaVA (fine-tuned LLaMA/Vicuna). Esto transforma la información visual en texto nativo para el LLM, permitiendo su indexación y recuperación.
    • Tablas: Las tablas en Markdown se comprimen a un formato de diccionario para una almacenamiento y recuperación más eficientes.

• B. Incrustación y Almacenamiento (Embedding & Storage):

  • Los documentos procesados se dividen en fragmentos (chunks) de 1000 caracteres.
  • Se utilizan el modelo de incrustación GTE-large para convertir el texto, las descripciones de imágenes y las tablas en vectores de alta dimensión.
  • Los vectores se almacenan en ElasticSearch.
  • Se implementa RAPTOR (Recursive Abstractive Processing for Tree-Organized Retrieval) para crear un índice jerárquico basado en semántica, mejorando la precisión de la recuperación.

• C. Generación de Respuestas y LLM Consciente de RAG:

  • Fine-tuning: Se realiza un ajuste fino (fine-tuning) del modelo Llama3-70B-Instruct utilizando LoRA (Low-Rank Adaptation). El modelo se entrena específicamente para ser "consciente de RAG", entendiendo el formato Markdown, la estructura de imágenes y tablas, y el contexto de recuperación.
  • Generación: Al recibir una consulta, el sistema recupera los top-10 fragmentos relevantes. El LLM genera la respuesta y, si es necesario, incluye referencias a IDs de imágenes o tablas.
  • Recuperación Visual: Si la respuesta contiene un ID de imagen o tabla, el sistema recupera el elemento original del PDF y lo presenta al usuario junto con el texto.

3. Contribuciones Clave

• Integración Multimodal en RAG: Desarrollo de un marco que no solo recupera texto, sino que integra eficazmente imágenes, diagramas y tablas en el proceso de razonamiento del QA.
• Pipeline de Preprocesamiento Robusto: Implementación de técnicas avanzadas (DBSCAN para limpieza, LLaVA para descripción de imágenes, compresión de tablas) que mejoran la calidad de los datos de entrada para el LLM.
• Modelo Fine-tuned Específico: Creación de un modelo RAG-Llama3-70B adaptado a la estructura de documentos PDF y al formato de datos del sistema, superando las limitaciones de los modelos genéricos.
• Recuperación y Visualización Dinámica: Capacidad del sistema para identificar cuándo una respuesta requiere una imagen o tabla específica y recuperar ese recurso visual para mostrarlo al usuario.

4. Resultados

El sistema fue evaluado en un conjunto de datos interno de 100 preguntas (mezcla de texto, imágenes y tablas) comparado con un sistema base (basado en texto plano sin preprocesamiento avanzado).

• Comparación con la Línea Base (Baseline):
  • PIER-QA superó consistentemente a los sistemas base (usando GPT-3.5-turbo y GPT-4o) en todas las métricas.
  • Precisión (Accuracy@0.95): PIER-QA con GPT-4o alcanzó un 19.1%, frente al 11.1% del sistema base.
  • Similitud: Se observó un aumento en la puntuación de similitud semántica (0.8837 vs 0.8647 para GPT-4o).
• Impacto del Fine-tuning:
  • El modelo RAG-Llama3-70B (ajustado) demostró un rendimiento superior al modelo base Llama3-70B-Instruct y se acercó significativamente al rendimiento de GPT-4o, incluso operando con precisión cuantizada de 4 bits.
  • Logró la mayor precisión en el umbral más estricto (Accuracy@0.95: 21.35%), superando a GPT-4o (19.1%) en este métrica específica.
• Recuperación de Elementos No Textuales:
  • Precisión en recuperación de imágenes: 65.66%.
  • Precisión en recuperación de tablas: 48.38%.
  • Estos resultados demuestran la viabilidad de manejar estructuras complejas sin depender exclusivamente de modelos multimodales masivos costosos.

5. Significado e Impacto

Este trabajo representa un avance significativo en el campo de la IA aplicada a documentos:

• Superación de Limitaciones de RAG Tradicional: Demuestra que es posible construir sistemas RAG robustos que no se limitan al texto, cerrando la brecha entre la riqueza de datos de los PDFs y la capacidad de comprensión de los LLMs.
• Eficiencia y Costo: Al utilizar técnicas de preprocesamiento inteligente y fine-tuning de modelos de código abierto (Llama3), se logra un rendimiento comparable o superior a soluciones propietarias costosas (como GPT-4o) con un control mayor sobre los datos y costos reducidos.
• Fundamento para Futuras Investigaciones: Establece una base sólida para la integración de datos multimodales, sugiriendo que el preprocesamiento y la adaptación del dominio son tan críticos como la arquitectura del modelo en sí.

En conclusión, PIER-QA ofrece una solución práctica y efectiva para la extracción de información precisa de documentos PDF complejos, transformando cómo las organizaciones pueden interactuar con sus bases de conocimiento documentales.