A Reliability Evaluation of Hybrid Deterministic-LLM Based Approaches for Academic Course Registration PDF Information Extraction

A continuación presento un resumen técnico detallado del artículo "Evaluación de la fiabilidad de enfoques híbridos deterministas–LLM para la extracción de información de documentos PDF de registro académico", traducido y sintetizado al español.

1. Planteamiento del Problema

En el contexto académico indonesio, los estudiantes generan un "Plan de Estudios" (KRS) al inicio de cada semestre, que se entrega comúnmente en formato PDF. Aunque estos documentos contienen datos críticos (información del estudiante, lista de cursos, créditos y nombres de profesores), su extracción automatizada presenta desafíos significativos:

• Limitaciones de Acceso: Muchas instituciones carecen de recursos de TI para crear APIs o acceder directamente a bases de datos debido a restricciones de permisos y preocupaciones de gestión.
• Complejidad de los Datos: Los PDFs de KRS son de tipo texto (no escaneados/OCR), pero presentan variaciones estructurales entre diferentes programas de estudio, problemas de codificación (ligaduras Unicode, como "fi" vs "fi") y tablas con bordes irregulares.
• Privacidad: El procesamiento debe realizarse internamente para evitar compartir datos personales con servicios externos.
• Restricciones de Hardware: La necesidad de ejecutar estos sistemas en entornos con recursos limitados (solo CPU, sin GPU) y bajo costo.

2. Metodología

El estudio propone y evalúa tres estrategias de extracción de información utilizando un entorno de ejecución local en una laptop de consumo (CPU Ryzen 5, 16GB RAM, sin GPU):

• Modelos de LLM: Se probaron tres modelos de lenguaje grandes de 12-14B parámetros ejecutados localmente mediante Ollama: Gemma 3:12b, Phi 4:14b y Qwen 2.5:14b.
• Enfoques Comparados:
  1. Solo LLM: Extracción directa mediante prompts de pocos ejemplos (few-shot prompting).
  2. Híbrido Determinista-LLM: Uso de expresiones regulares (regex) para extraer metadatos estables (nombre, ID, semestre) y LLM para la lista de cursos y profesores.
  3. Pipeline con Fallback (Camelot + LLM): Uso de la biblioteca Camelot (modos lattice y stream) para extraer tablas, con un LLM como respaldo (fallback) solo si Camelot falla.
• Dataset: Se utilizaron 140 documentos para las pruebas iniciales (35 por programa de estudio) y 860 documentos para la evaluación del pipeline con fallback.
• Métricas de Evaluación:
  • Exact Match (EM): Coincidencia exacta con los datos de referencia (Ground Truth).
  • Similitud Levenshtein (LS): Tolerancia a errores menores (espacios, puntuación) con un umbral de 0.7.
  • Rendimiento (Throughput): Tiempo de procesamiento por documento.

3. Contribuciones Clave

• Evaluación en Contexto Específico: Es uno de los primeros estudios que evalúa la fiabilidad de la extracción de documentos académicos indonesios (KRS) considerando variaciones entre programas de estudio y problemas de codificación Unicode.
• Validación de Ejecución Local: Demuestra la viabilidad de ejecutar modelos de 14B parámetros en hardware de consumo sin GPU, abordando la privacidad de datos.
• Arquitectura Híbrida Propuesta: Propone un pipeline escalable que combina métodos deterministas (regex, Camelot) con redes neuronales (LLM), demostrando que la integración de ambos supera a los enfoques puramente basados en LLM en términos de eficiencia y estabilidad.
• Análisis de Modelos: Identifica que los modelos más pequeños (1-7B) fallan en tareas complejas de tablas, mientras que los de 12-14B ofrecen el mejor equilibrio entre precisión y recursos.

4. Resultados Principales

• Rendimiento de Modelos:
  • Qwen 2.5:14b demostró el rendimiento más consistente y robusto en todos los escenarios, logrando puntuaciones de EM y LS cercanas a 1.00.
  • Gemma 3:12b falló completamente en modo "Solo LLM" (produciendo JSON vacíos), pero funcionó perfectamente en modo híbrido con regex.
  • Phi 4:14b mostró problemas específicos, como la eliminación incorrecta de nombres de profesores duplicados (violando las reglas del prompt) y errores en la alineación de cursos y profesores.
• Eficiencia del Pipeline Híbrido (Camelot + LLM):
  • Esta fue la estrategia más eficiente. El modo Lattice de Camelot procesó el 93% de los documentos (799 de 860) con una precisión de 0.99 en menos de 1 segundo por PDF.
  • El LLM solo actuó como fallback en casos excepcionales (9 documentos), reduciendo drásticamente el tiempo de cómputo total en comparación con el uso exclusivo de LLM (que tardaba 1.5 - 1.8 minutos por documento).
• Precisión: El pipeline con fallback alcanzó puntuaciones de EM y LS entre 0.99 y 1.00, superando a los enfoques puramente deterministas o puramente neuronales por separado.

5. Significado y Conclusiones

El estudio concluye que, para la extracción de información de documentos académicos en entornos con restricciones de hardware y requisitos de privacidad:

1. La integración es superior: Un enfoque puramente basado en LLM es computacionalmente costoso y menos estable. La combinación de métodos deterministas (regex para metadatos, Camelot para tablas) con un LLM como mecanismo de respaldo ofrece el mejor equilibrio entre precisión, estabilidad y velocidad.
2. Viabilidad en CPU: Es posible lograr extracción de alta calidad en laptops de consumo sin GPU, lo que democratiza el acceso a herramientas de procesamiento de documentos para instituciones con recursos limitados.
3. Recomendación Futura: Se sugiere la implementación de este pipeline híbrido como solución estándar para la digitalización de registros académicos. Futuras líneas de trabajo incluyen la optimización mediante cuantización, el uso de GPU para mejorar el rendimiento y la expansión a documentos escaneados (OCR).

En resumen, el artículo valida que la arquitectura progresiva de fallback (Lattice → Stream → LLM) es la estrategia más robusta para extraer datos estructurados de PDFs académicos complejos en entornos de recursos limitados.