Empirical Evaluation of PDF Parsing and Chunking for Financial Question Answering with RAG

Este artículo presenta un estudio empírico que evalúa sistemáticamente diversos analizadores de PDF y estrategias de fragmentación para optimizar los sistemas de generación aumentada por recuperación (RAG) en tareas de respuesta a preguntas financieras, introduciendo además el nuevo benchmark público TableQuest.

Lo esencial

Imagina que tienes una biblioteca gigante llena de informes financieros, contratos y estados de cuenta. Todos estos documentos están en formato PDF. El problema es que los PDFs están diseñados para que los humanos los lean (se ven bonitos, con tablas, gráficos y texto), pero son un verdadero dolor de cabeza para las computadoras. Para una máquina, un PDF es como un rompecabezas desordenado donde las letras, los números y las líneas de las tablas están mezclados sin un orden lógico.

Los investigadores de este estudio querían enseñar a una Inteligencia Artificial (IA) a leer estos documentos y responder preguntas sobre ellos, como un analista financiero experto. Para ello, usaron una tecnología llamada RAG (Generación Aumentada por Recuperación).

Aquí tienes la explicación sencilla, usando analogías:

1. El Problema: La IA se pierde en el laberinto

Imagina que le pides a un robot que busque una receta específica en un libro de cocina de 500 páginas. Si le das el libro entero, el robot se ahoga (no tiene memoria suficiente). Si le das solo una página al azar, podría no encontrar la receta.

• El PDF: Es el libro de cocina desordenado.
• El RAG: Es el sistema que intenta encontrar la página correcta y dársela al robot para que responda.

El estudio se pregunta: ¿Cómo debemos cortar y organizar ese libro desordenado para que el robot encuentre la respuesta perfecta?

2. Las Dos Herramientas Clave: El "Cortador" y el "Cuchillo"

Para que la IA funcione, hay dos pasos críticos que los autores probaron exhaustivamente:

• El Parser (El Analista de Texto): Es el programa que abre el PDF y trata de entender qué es texto, qué es una tabla y qué es una imagen.

  • Analogía: Imagina que tienes un pastel. Algunos parsers son como cuchillos de mantequilla (lentos pero cortan todo perfecto, incluso las capas de fruta). Otros son como sierras rápidas (cortan rápido, pero a veces rompen la fruta o mezclan las capas).
  • Hallazgo: No todos los parsers son iguales. Para documentos con mucho texto, uno funciona mejor; para documentos con muchas tablas financieras, otro es superior.

• El Chunking (El Cortador de Pizzas): Una vez que el PDF está "limpio", hay que cortarlo en trozos pequeños (llamados "chunks") para que la IA pueda procesarlos.

  • Analogía: ¿Cortas la pizza en 4 trozos grandes o en 20 trocitos pequeños?
  • El superpoder del "Solapamiento" (Overlap): Los investigadores descubrieron que si cortas la pizza y dejas que el borde de un trozo se superponga un poco con el siguiente (como si los trozos se tocaran), la IA no pierde el contexto. Si cortas sin dejar ese borde, la IA puede olvidar la mitad de la frase.
  • Hallazgo: Un solapamiento del 25% (dejar que un trozo se solape un poco con el siguiente) fue la "zona dorada". Demasiado solapamiento es desperdicio de espacio; muy poco hace que la IA se pierda.

3. El Nuevo Desafío: Las Tablas (TableQuest)

La mayoría de las pruebas anteriores solo preguntaban sobre texto (ej: "¿Cuál fue el beneficio de la empresa?"). Pero en finanzas, la información más importante suele estar en tablas (filas y columnas de números).

• La innovación: Crearon un nuevo banco de pruebas llamado TableQuest.
• Analogía: Antes, le preguntaban al robot sobre la historia del libro. Ahora, le preguntan: "Suma los números de la fila 3 de la tabla 5". Esto es mucho más difícil porque las tablas en PDFs suelen romperse o desordenarse al ser leídas por máquinas.
• Resultado: Encontraron que para leer tablas, se necesitan parsers muy inteligentes y un tipo de búsqueda de IA diferente (que mira palabra por palabra, no solo el significado general).

4. ¿Qué tamaño de "Cerebro" (IA) necesitamos?

Probaron diferentes modelos de IA, desde pequeños y rápidos hasta gigantes y potentes.

• Hallazgo: Los cerebros pequeños (modelos de IA pequeños) a menudo alucinan o se equivocan en finanzas. Los cerebros medianos y grandes funcionan mucho mejor. Sin embargo, una vez que llegas a un tamaño "mediano", hacer la IA más grande no mejora tanto la respuesta, pero sí cuesta mucho más dinero y energía.

5. Las Conclusiones Prácticas (El "Manifiesto" para la Industria)

Si eres un banco o una empresa que quiere automatizar sus documentos, el estudio te dice:

1. No necesitas el motor más caro: A veces, una combinación sencilla de herramientas (un parser rápido + un cortador inteligente) funciona casi tan bien como las soluciones complejas y lentas.
2. Corta con solapamiento: Nunca cortes el texto sin dejar un pequeño margen de repetición entre trozos. Eso ayuda a la IA a no perder el hilo.
3. El cerebro importa: Para tareas financieras serias, no uses un modelo de IA pequeño y barato; invierte en uno de tamaño medio o grande para evitar errores costosos.
4. Las tablas son difíciles: Si tus documentos tienen muchas tablas, necesitas herramientas específicas para leerlas, no solo las que sirven para leer párrafos de texto.

En resumen: Este estudio es como una guía de "bricolaje" para construir la mejor máquina de lectura de documentos financieros. Nos dice qué herramientas usar, cómo cortar la información y qué tipo de inteligencia artificial contratar para que no cometa errores que nos cuesten dinero.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Empirical Evaluation of PDF Parsing and Chunking for Financial Question Answering with RAG", presentado en la conferencia ICSE-SEIP '26.

1. El Problema

Los archivos PDF son el estándar para la divulgación de documentos financieros (informes anuales, estados de ganancias, etc.), pero están diseñados para la lectura humana, no para el procesamiento automatizado. La naturaleza heterogénea de los PDFs (mezcla de texto, tablas complejas, imágenes y formularios) plantea desafíos significativos para la extracción de información.

En el contexto de los sistemas de Generación Aumentada por Recuperación (RAG), la eficacia depende críticamente de dos etapas previas a la recuperación:

1. Parsing (Análisis sintáctico): Extraer texto y estructura lógica (tablas, encabezados) del PDF. Un parsing incorrecto (ej. tablas mal alineadas) destruye el contexto.
2. Chunking (Fragmentación): Dividir el documento en segmentos lógicos para su indexación. Una fragmentación inadecuada puede romper unidades lógicas o separar figuras de sus leyendas.

Existe una brecha en la literatura: no hay estudios integrales que evalúen conjuntamente cómo las diferentes herramientas de parsing y las estrategias de chunking interactúan y afectan el rendimiento final de un sistema RAG para la respuesta a preguntas (QA) en documentos financieros.

2. Metodología

Los autores realizaron un estudio empírico riguroso utilizando un pipeline RAG modular que evalúa componentes de forma aislada y combinada.

• Conjuntos de Datos:
  • FinanceBench: Un benchmark existente con 150 preguntas basadas en texto narrativo de informes financieros.
  • TableQuest (Nuevo): Un benchmark generado por los autores con 116 pares de preguntas-respuestas centradas específicamente en tablas. Se construyó mediante detección automática de tablas en los PDFs de FinanceBench, filtrado por dificultad (fácil, medio, difícil) y validación automática con LLMs.
• Componentes Evaluados:
  • 6 Analizadores de PDF (Parsers): PyPDF2, PyMuPDF, pdfminer.six, pdfplumber, pypdfium2 y Unstructured (este último basado en OCR y modelos).
  • 6 Estrategias de Chunking: Token, oración, semántica, recursiva, SDPM (Semantic Double-Pass Merging) y neuronal.
  • 4 Modelos de Recuperación (Retrievers): BM25 (palabras clave), SPLADE (disperso híbrido), E5 (denso de un solo vector) y ColBERT (interacción tardía densa).
  • 12 Modelos LLM: Desde modelos pequeños (1.5B-4B) hasta medianos (12B-27B) y modelos propietarios (GPT-4/5).
• Métricas:
  • Recuperación: Precisión@1 (P@1), Recall@3 (R@3) y Recíproco Medio de Rango (MRR) a nivel de página.
  • Respuesta: Precisión de la respuesta generada evaluada mediante un "juez" LLM (GPT-4o-mini).

3. Contribuciones Clave

1. Evaluación Sistemática: La primera comparación exhaustiva de múltiples analizadores de PDF y estrategias de fragmentación dentro de un pipeline RAG unificado para documentos financieros.
2. TableQuest: Introducción de un nuevo benchmark público y verificado automáticamente diseñado específicamente para evaluar la capacidad de los sistemas RAG para razonar sobre datos tabulares en PDFs, un área donde los benchmarks anteriores fallaban.
3. Guías Prácticas: Proporcionan directrices basadas en evidencia para ingenieros que construyen pipelines RAG en entornos industriales de alto riesgo.

4. Resultados Principales

A. Recuperación (RQ1 - RQ3)

• Modelos de Recuperación: Los modelos densos (E5) funcionan mejor para texto narrativo, mientras que los modelos de interacción tardía (ColBERT) son superiores para consultas basadas en tablas. Los modelos híbridos dispersos (SPLADE) ofrecen el mejor equilibrio general.
• Parsers:
  • Para texto narrativo: pdfminer es el más preciso.
  • Para tablas: pdfplumber es superior debido a su capacidad de detección y agrupación de celdas.
  • Unstructured (basado en OCR) es robusto pero extremadamente lento (dos órdenes de magnitud más lento que los parsers basados en flujo).
  • PyPDF2 mostró el peor rendimiento en ambos casos.
• Chunking:
  • La estrategia Neural (basada en modelos) obtuvo el mejor rendimiento general, seguida de cerca por la estrategia de Oración (más barata computacionalmente).
  • Un solapamiento (overlap) del 25% (128 tokens) es óptimo. El 0% reduce el rendimiento significativamente, y el 50% aumenta el costo de almacenamiento sin mejoras consistentes en la precisión.

B. Sinergias (RQ4)

• La combinación específica importa. Por ejemplo, pdfplumber + chunking de oraciones lideró en tablas, mientras que pdfminer + chunking recursivo fue excelente para texto narrativo.
• Los chunkers "conscientes de la estructura" (semánticos) solo rindieron bien cuando se combinaron con parsers que preservan el diseño (como pdfplumber); de lo contrario, la fragmentación excesiva dañó el contexto.

C. Impacto del LLM (RQ5)

• El tamaño del modelo es crítico. Los modelos pequeños (<4B) tienen un rendimiento muy bajo (<20% de precisión).
• Los modelos medianos (12B-27B) y los modelos propietarios (GPT-5) muestran saltos significativos en precisión.
• En tareas de tablas (TableQuest), los modelos propietarios (GPT-5) alcanzaron un 73.28% de precisión, superando a los modelos de código abierto, aunque los modelos medianos de código abierto (Gemma-3 27B, Qwen2.5 14B) lograron superar el 50%, cerrando la brecha.

5. Significado e Impacto

Este estudio es fundamental para la industria financiera y legal, donde la precisión en la extracción de datos de PDFs es crítica para evitar pérdidas financieras o incumplimientos regulatorios.

• Eficiencia vs. Precisión: Demuestra que no siempre se necesitan las herramientas más complejas (como OCR completo) para obtener buenos resultados; combinaciones ligeras como pdfplumber + SPLADE + chunking de oraciones pueden ofrecer un rendimiento robusto con menor costo computacional.
• Importancia de las Tablas: Destaca que ignorar la estructura tabular es un error fatal en QA financiera. Los sistemas deben estar diseñados específicamente para manejar tablas, no solo texto plano.
• Guía de Implementación: Ofrece un "mapa de ruta" para construir pipelines RAG escalables y precisos, recomendando el uso de solapamientos moderados, la selección de parsers según el tipo de documento (texto vs. tabla) y la escalabilidad selectiva de los LLMs para maximizar la corrección de las respuestas.

En resumen, el papel establece que la calidad de un sistema RAG para PDFs no depende solo del modelo de lenguaje final, sino fundamentalmente de cómo se procesan y estructuran los datos en las etapas iniciales de parsing y chunking.