From PDF to RAG-Ready: Evaluating Document Conversion Frameworks for Domain-Specific Question Answering

Este estudio demuestra que la calidad de la preparación de datos, específicamente mediante la extracción jerárquica de metadatos y la reconstrucción de la estructura basada en fuentes, es el factor determinante para el rendimiento de los sistemas RAG, superando la elección del marco de conversión de PDF y desaconsejando el uso de GraphRAG sin guía ontológica en dominios específicos.

Lo esencial

¡Hola! Imagina que quieres construir un bibliotecario robot súper inteligente capaz de responder preguntas sobre miles de documentos legales y administrativos de un ejército. Este robot usa una tecnología moderna llamada RAG (Generación Aumentada por Recuperación). Básicamente, el robot busca en sus libros, lee lo relevante y te da una respuesta.

Pero, ¿qué pasa si los libros están escritos en un idioma que el robot no entiende bien, o si las páginas están arrugadas, con manchas o escritas en un código extraño?

Este artículo es como un informe de pruebas de cocina para ver qué "receta" (o herramienta) convierte mejor esos documentos PDF complicados en un texto limpio que el robot pueda entender.

Aquí tienes la explicación sencilla, con algunas analogías:

1. El Problema: La "Basura" entra, la "Basura" sale

Imagina que tienes una máquina de hacer jugo (el sistema de Inteligencia Artificial). Si metes frutas podridas o con tierra (documentos PDF mal convertidos), aunque la máquina sea la más cara del mundo, el jugo saldrá mal.

Los investigadores descubrieron que todos se obsesionaban con mejorar la máquina de hacer jugo (el modelo de lenguaje), pero nadie miraba cómo estaban lavando y cortando las frutas (la conversión de PDF a texto). Si el PDF tiene tablas, imágenes o letras especiales (como la "ç" en portugués) y la herramienta de conversión las estropea, el robot se confunde y empieza a alucinar (inventar respuestas).

2. La Competencia: ¿Quién es el mejor "Cocinero"?

Los investigadores probaron cuatro herramientas diferentes (Docling, MinerU, Marker y DeepSeek) para convertir esos PDFs. Fue como poner a cuatro chefs a preparar el mismo plato:

• El Chef Novato (PDFLoader): Solo arranca la fruta sin pelarla. Es rápido, pero deja muchas semillas y cáscaras.
• El Chef con Gafas de Rayos X (MinerU): Intenta ver a través del papel, pero a veces confunde las letras y pierde la estructura del plato.
• El Chef con Lupa Mágica (DeepSeek): Es muy preciso leyendo el texto, pero a veces olvida cómo estaba organizado el menú (los títulos y subtítulos).
• El Chef Maestro (Docling): Este fue el ganador. Usó herramientas especializadas para entender no solo el texto, sino también las tablas, las imágenes y la estructura del documento.

El resultado: El Chef Maestro (Docling) logró una precisión del 94%, muy cerca del 97% que se logra si un humano hace todo el trabajo a mano (lo cual es muy caro y lento).

3. El Secreto no es solo el Chef, sino el "Plato"

Lo más interesante del estudio es que descubrieron algo contraintuitivo: No importa tanto qué herramienta uses, sino cómo sirves el plato.

• La analogía de los bloques de construcción: Imagina que el texto es una casa de Lego.
  • Si cortas la casa en trozos al azar (estrategia de "recursión simple"), el robot no sabe qué pieza va con cuál.
  • Si cortas la casa respetando las habitaciones y los pisos (estrategia Jerárquica), y le pones una etiqueta a cada pieza que diga "Esto es la cocina, piso 2", el robot entiende perfectamente el contexto.
• El hallazgo: Añadir etiquetas de contexto (metadatos) y cortar el texto siguiendo la estructura del documento fue más importante que elegir la herramienta de conversión perfecta.

4. La Prueba del "Mapa del Tesoro" (GraphRAG)

Los investigadores pensaron: "¿Y si, en lugar de solo leer el texto, creamos un mapa de conexiones (un Grafo de Conocimiento) para que el robot vea cómo se relacionan las ideas?".

Pensaron que esto sería como darle al robot un mapa del tesoro en lugar de solo una lista de palabras. Pero, ¡sorpresa! El mapa no funcionó.

• ¿Por qué? Porque el mapa estaba mal hecho. Era un laberinto confuso con demasiadas rutas sin sentido. El robot se perdió más rápido que si solo hubiera leído los libros directamente.
• La lección: Crear un mapa de conexiones sin un guía experto (una ontología definida) es como intentar dibujar el metro de una ciudad sin haberla visitado: solo crea más confusión.

5. Conclusión: ¡Lava bien las frutas!

El mensaje principal para cualquiera que quiera usar Inteligencia Artificial con documentos es muy claro:

No gastes todo tu dinero en comprar el robot más caro si primero no limpias y organizas bien tus documentos.

La calidad de la preparación de los datos (convertir el PDF a un texto limpio, estructurado y con contexto) es el factor que más influye en si el robot será un genio o un tonto. En este estudio, la mejor preparación automática casi igualó al trabajo manual humano, ahorrando mucho tiempo y dinero.

En resumen:

1. Convierte bien: Usa herramientas como Docling que entiendan tablas e imágenes.
2. Corta con sentido: Divide el texto respetando los títulos y secciones, no al azar.
3. Etiqueta todo: Dile al robot en qué parte del documento está leyendo.
4. Olvídate de los mapas complejos (por ahora): Si tus textos están bien preparados, un sistema simple funciona mejor que uno complicado.

¡Espero que esta analogía te ayude a entender la importancia de "preparar bien los datos" antes de pedirle a la IA que trabaje!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "From PDF to RAG-Ready: Evaluating Document Conversion Frameworks for Domain-Specific Question Answering", presentado en español:

1. El Problema

El artículo aborda una brecha crítica en los sistemas de Generación Aumentada por Recuperación (RAG): la suposición de que la conversión de documentos PDF a texto legible por máquinas es un problema resuelto.

• Contexto: Los sistemas RAG dependen de la calidad de los datos de entrada. Sin embargo, la mayoría de las investigaciones se centran en algoritmos de recuperación, modelos de embeddings o LLMs, ignorando la etapa de preprocesamiento.
• Desafío Específico: Los archivos PDF están diseñados para la preservación visual, no para la extracción semántica. Esto genera errores como pérdida de jerarquía de documentos, tablas mal interpretadas, caracteres especiales corruptos (ej. la "ç" en portugués) y pérdida de contexto en imágenes.
• Consecuencia: Errores en la conversión inicial se propagan a las etapas de recuperación y generación, degradando la precisión y fiabilidad del sistema, o incluso induciendo alucinaciones. No existían estudios previos que evaluaran los frameworks de conversión de PDF basándose en su impacto directo en la precisión de la respuesta a preguntas (QA).

2. Metodología

Los autores diseñaron una arquitectura modular y reproducible para comparar sistemáticamente diferentes pipelines de conversión.

• Corpus de Datos:
  • 36 documentos administrativos militares portugueses (Comando de Personal del Ejército Portugués).
  • 1.706 páginas, ~492.000 palabras.
  • Alta complejidad: 94.4% con tablas, 44.4% con campos de formulario, múltiples orígenes de creación (Word, Acrobat, etc.) y contenido en imágenes.
• Frameworks Evaluados:
  Se probaron 4 herramientas de código abierto (y una carga básica):
  1. Docling: Pipeline modular con modelos especializados.
  2. MinerU: Herramienta basada en OCR local y VLM.
  3. DeepSeek OCR: Enfoque basado en Modelos de Lenguaje Visuales (VLM).
  4. PDFLoader (LangChain): Baseline inferior (extracción directa sin preprocesamiento).
  • Nota: Marker fue excluido de la prueba cuantitativa por problemas de privacidad en su versión en la nube y resultados inferiores en local.
• Configuración Experimental:
  • Se evaluaron 19 configuraciones de pipeline variando: el framework de conversión, transformaciones de limpieza (tablas HTML, fórmulas LaTeX), reconstrucción de jerarquía (basada en fuentes vs. LLM), estrategia de fragmentación (chunking) y enriquecimiento de metadatos.
  • Estrategias de Chunking: Recursiva básica, Recursiva en Markdown (consciente de estructura) y Recursiva Jerárquica (con "breadcrumbs" o contexto de ruta).
  • Evaluación: Un conjunto de 50 preguntas manualmente curadas sobre el corpus. La precisión se midió utilizando un LLM como juez (gpt-4o-mini), promediando 10 ejecuciones para cada configuración.
  • Exploración de GraphRAG: Se implementó un sistema de gráfico de conocimiento (Neo4j) usando LLMGraphTransformer para extraer entidades y relaciones, comparándolo con el RAG vectorial estándar.

3. Contribuciones Clave

• Evaluación Centrada en la Tarea: Es el primer estudio que evalúa frameworks de conversión de PDF no por métricas de edición de texto (como TEDS), sino por su impacto directo en la precisión de un sistema RAG.
• Arquitectura Modular: Propone un diseño de repositorio de datos inspirado en la arquitectura "Medallion" (Bronce, Plata, Oro) que permite cambiar frameworks y estrategias de procesamiento mediante un solo parámetro de configuración, facilitando la experimentación reproducible.
• Análisis de Factores de Éxito: Identifica que la calidad de la preparación de datos es el factor dominante, superando la elección del modelo LLM o de embeddings.
• Hallazgos sobre GraphRAG: Proporciona evidencia empírica de que la construcción de gráficos de conocimiento "ingenua" (sin ontología definida) puede ser contraproducente en comparación con un RAG vectorial bien configurado.

4. Resultados Principales

• Rendimiento General:

  • Mejor resultado automático: Docling con fragmentación jerárquica y descripciones de imágenes alcanzó un 94.1% de precisión.
  • Límite superior (Humanos): Markdown curado manualmente alcanzó 97.1%.
  • Límite inferior (Naïve): PDFLoader sin preprocesamiento alcanzó 86.9%.
  • Peor resultado: DeepSeek OCR con limpieza básica obtuvo solo 71.2%.
  • La brecha entre la peor y la mejor configuración automática fue de casi 23 puntos porcentuales.

• Factores Determinantes:

  1. Estrategia de Fragmentación y Metadatos: La reconstrucción de la jerarquía del documento y el uso de metadatos de "breadcrumbs" (ruta de navegación) tuvieron un impacto mayor que la elección del framework de conversión en sí. La fragmentación jerárquica mejoró la precisión en 3.8 puntos respecto a la recursiva básica.
  2. Reconstrucción de Jerarquía: El enfoque basado en fuentes (font-based) superó consistentemente al enfoque basado en LLM para documentos administrativos estructurados.
  3. Limpieza de Tablas: La conversión de tablas HTML a Markdown fue la transformación individual más impactante para el framework MinerU (+5.4 puntos).
  4. Profundidad de Recuperación (K): Un pipeline de alta calidad con pocos chunks recuperados (K=5) igualó el rendimiento de un pipeline mediocre con muchos chunks (K=50), demostrando que la calidad de los datos reduce la necesidad de recuperación agresiva.

• Resultados de GraphRAG:

  • La implementación de GraphRAG obtuvo un 82% de precisión, muy por debajo del RAG básico optimizado (94.1%).
  • La deduplicación de entidades semánticas empeoró ligeramente el resultado (81%).
  • Conclusión: Sin una ontología de dominio cuidadosa y densificación del gráfico, la complejidad añadida de GraphRAG no justifica su uso frente a un RAG vectorial bien preparado.

5. Significado e Implicaciones

• "Garbage In, Garbage Out": El estudio confirma que la preparación de datos es el cuello de botella más crítico en los sistemas RAG. Invertir en pipelines de conversión robustos ofrece un retorno de inversión mayor que optimizar la recuperación o el modelo generativo.
• Procesamiento de Idiomas No Ingleses: Se destaca la importancia de la precisión en caracteres especiales (como la "ç" en portugués). Herramientas entrenadas principalmente en inglés pueden corromper tokens críticos, afectando la recuperación. Docling destacó por su manejo correcto de estos caracteres.
• Guía para Practicantes: Antes de buscar arquitecturas complejas como GraphRAG o modelos LLM más grandes, las organizaciones deben priorizar la calidad de la extracción y la estructura del texto. Una estrategia de fragmentación consciente de la jerarquía y el enriquecimiento de metadatos son esenciales para el éxito en dominios técnicos y legales.
• Relevancia para el Sector Público: El estudio demuestra la viabilidad de crear sistemas RAG confiables para gestión documental administrativa y legal, incluso con documentos sensibles y en idiomas específicos, sin necesidad de intervención manual masiva.

En resumen, el artículo establece que la calidad de la preparación de datos es el factor dominante en el rendimiento de RAG, y que una combinación de herramientas como Docling con estrategias de fragmentación jerárquica puede acercarse al rendimiento de la curación humana, superando significativamente a las soluciones "out-of-the-box".