💬 NLP

Information Extraction from Electricity Invoices with General-Purpose Large Language Models

Este estudio demuestra que, para modelos de lenguaje grandes de propósito general que extraen información de facturas eléctricas españolas sin ajuste fino, la calidad de la ingeniería de prompts es el factor crítico que impulsa el rendimiento, con estrategias de pocos ejemplos superando significativamente a las líneas base de cero ejemplos para lograr puntuaciones F1 que superan el 96%.

Autores originales: Javier Gómez, Javier Sánchez

Publicado 2026-04-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Javier Gómez, Javier Sánchez

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una pila masiva de facturas de electricidad de diferentes compañías. Algunas están ordenadas y limpias, otras son desordenadas, y todas se ven ligeramente diferentes. Tu objetivo es extraer números y nombres específicos (como "Costo Total" o "Nombre del Cliente") de cada una y colocarlos en una hoja de cálculo ordenada.

Durante años, las computadoras lucharon con esto. Los programas de la vieja escuela eran como robots rígidos: si una factura se veía incluso un poco diferente de lo en lo que habían sido entrenados, se confundían y fallaban.

Este artículo trata sobre enseñar a un nuevo tipo de "robot superinteligente" (llamado Modelo de Lenguaje Grande, o LLM) a leer estas facturas sin necesidad de ser reentrenado para cada nuevo diseño individual. Los investigadores se preguntaron: ¿Podemos simplemente darles a estos robots inteligentes las instrucciones correctas y ellos lo resolverán?

Aquí está el desglose de sus hallazgos, usando algunas analogías cotidianas:

1. La "Receta" Importa Más que el "Gorro de Chef"

Los investigadores probaron dos "chefs" (modelos de IA) diferentes: Gemini 1.5 Pro (un chef masivo y complejo) y Mistral-small (un chef más pequeño, rápido y eficiente).

También intentaron ajustar los "ajustes de cocina" (parámetros técnicos como la temperatura y la aleatoriedad). Esperaban que quizás el chef más grande o los ajustes de cocina perfectos marcaran la mayor diferencia.

La Sorpresa: No importó mucho qué chef usaron ni cómo ajustaron los parámetros. La diferencia en los resultados fue mínima, como la diferencia entre un pastel que es 99% perfecto y uno que es 99.5% perfecto.

El Verdadero Ganador: El Prompt (las instrucciones dadas a la IA).
Piensa en el prompt como la receta.

Zero-Shot (Sin Receta): Solo decir "Lee esta factura y dame los números" es como pedirle a un chef que cocine sin una receta. Los resultados fueron aceptables (alrededor del 78% de precisión), pero no excelentes.
Few-Shot (Con Ejemplos): Darle a la IA unos pocos ejemplos de "Aquí hay una factura, y aquí están los datos que quiero" es como darle al chef un plato de muestra para copiar. La precisión saltó a más del 96%.

La Lección: No se trata de tener el chef más caro o el horno más lujoso; se trata de escribir una receta realmente buena.

2. La Estrategia del "Imitador" Funciona Mejor

Los investigadores probaron diferentes formas de dar ejemplos:

El Método "One-Shot": Mostrar un ejemplo. Bueno, pero no el mejor.
El Método "Cross-Validation" (Validación Cruzada): Este es el campeón. Mostraron a la IA tres tipos diferentes de facturas (como una tabular, una de lista y una compleja) y luego le pidieron que leyera un cuarto tipo que nunca había visto antes.
- Resultado: La IA se convirtió en un maestro imitador. Aprendió el concepto de una factura de electricidad, no solo la apariencia de una factura específica. Logró una precisión del 97.6% con Gemini y del 96.1% con Mistral.

3. El Problema de la "Traducción"

Antes de que la IA pudiera leer las facturas, los investigadores tuvieron que convertir los archivos PDF en texto (Markdown).

La Analogía: Imagina intentar leer una nota escrita a mano que fue fotocopiada a través de una ventana sucia. Si la nota está en una tabla ordenada, el texto sale claro. Si la nota está abigarrada en un diseño desordenado y de múltiples columnas, el texto se mezcla.
El Hallazgo: La IA era tan buena como el texto que recibía. Cuando la factura tenía un diseño limpio y similar a una tabla, la IA fue casi perfecta. Cuando la factura tenía un diseño denso y desordenado, la IA luchó porque la "traducción" de PDF a texto perdió pistas importantes.

4. La Trampa de la "Alucinación"

Notaron una diferencia de personalidad entre los dos chefs:

Gemini (El Chef Cuidadoso): Si no estaba seguro de dónde estaba un número, decía: "No lo veo". Era muy preciso, pero a veces se perdía cosas.
Mistral (El Chef Confiado): Si no estaba seguro, adivinaba un número de todos modos. Encontró casi todo (alta "Recall" o exhaustividad), pero inventó algunos números que no estaban allí (baja "Precisión").
La Conclusión: Si necesitas estar 100% seguro de que el número es real, quieres al chef cuidadoso. Si quieres encontrar todo y puedes verificar las respuestas más tarde, el chef confiado está bien.

5. Venciendo a los Viejos Robots

El artículo compara estos nuevos chefs de IA con los "robots" de la vieja escuela (aprendizaje automático tradicional).

El Viejo Robot: Si lo entrenabas con el Tipo de Factura A, podía leer el Tipo de Factura A perfectamente (91% de precisión). Pero si le entregabas el Tipo de Factura B, se estrellaba y quemaba (bajando al 67% de precisión). Memorizaba la apariencia del papel, no el significado.
La Nueva IA: No necesitaba ser entrenada con el Tipo de Factura B. Porque entendía el significado de una factura de electricidad, leía los nuevos tipos con más del 95% de precisión. Generalizó la habilidad en lugar de memorizar el patrón.

Resumen

El artículo concluye que para hacer que una computadora lea documentos comerciales perfectamente, no necesitas construir un cerebro personalizado para cada tipo de documento. En su lugar, solo necesitas escribir mejores instrucciones y mostrarle unos pocos buenos ejemplos.

La "salsa secreta" no es el tamaño del modelo de IA ni los ajustes matemáticos complejos; es la calidad del prompt (las instrucciones) y qué tan bien se convierte el documento en texto para que la IA lo lea.

1. Planteamiento del Problema

La extracción automatizada de información estructurada a partir de documentos comerciales semiestructurados (por ejemplo, facturas de electricidad) sigue siendo un cuello de botella crítico para la gestión empresarial. Los enfoques tradicionales enfrentan limitaciones significativas:

Sistemas basados en reglas/plantillas: Fallan al encontrar variaciones en la maquetación o diferentes proveedores.
Aprendizaje Automático (ML) Clásico: Métodos como las Máquinas de Vectores de Soporte (SVM) o los Bosques Aleatorios requieren conjuntos de datos anotados manualmente extensos para cada nuevo tipo de documento, lo que genera problemas de escalabilidad y un sobreajuste severo a maquetaciones específicas de entrenamiento.
Brecha Actual: Aunque los Modelos de Lenguaje Grandes (LLM) ofrecen potencial para una extracción flexible sin ajuste fino, existe una falta de estudios empíricos rigurosos que cuantifiquen su rendimiento en documentos comerciales específicos en comparación con las líneas base clásicas. Específicamente, no está claro si la ingeniería de prompts o el ajuste de parámetros de inferencia (por ejemplo, temperatura, Top-p) es el principal impulsor de la calidad de extracción.

2. Metodología

Conjunto de Datos: IDSEM

El estudio utiliza un subconjunto de la Base de Datos de Facturas del Mercado Eléctrico Español (IDSEM).

Escala: 75.000 facturas PDF generadas sintéticamente a través de 6 plantillas de entrenamiento y 9 plantillas de prueba.
Anotación: 107 etiquetas semánticas (por ejemplo, nombre del cliente, importe total, tarifas de energía) organizadas en 12 categorías.
Desafío: El conjunto de datos incluye plantillas no vistas en el conjunto de prueba para evaluar la generalización.
Preprocesamiento: Los PDFs se convirtieron a Markdown para preservar la estructura semántica (tablas, encabezados) para la entrada del LLM. Un proceso de refinamiento de la verdad fundamental mapeó las 107 etiquetas posibles a la subconjunto específico presente en cada plantilla para evitar penalizar a los modelos por campos faltantes.

Modelos Evaluados

Se probaron dos LLM de propósito general arquitectónicamente distintos sin ajuste fino específico de la tarea:

Gemini 1.5 Pro: Un modelo de gran escala de Mezcla de Expertos (MoE) con una ventana de contexto masiva.
Mistral-small: Un modelo denso de 24B parámetros optimizado con Ventana Deslizante y Atención de Consultas Agrupadas para la eficiencia.

Marco Experimental

El estudio aisló dos variables principales:

Parámetros de Inferencia: Se realizó una búsqueda en cuadrícula de 19 configuraciones (Temperatura, Top-K, Top-P) en Gemini 1.5 Pro para probar la sensibilidad.
Estrategias de Ingeniería de Prompts: Se compararon seis estrategias distintas en ambos modelos utilizando configuraciones deterministas (Temperatura = 0):
- Zero-shot: Solo instrucciones de tarea y esquema.
- Few-shot_v1: Un ejemplo anotado con marcadores de etiqueta explícitos.
- Few-shot_v2: Un ejemplo no anotado (texto plano).
- Cross-valid_v1: Tres ejemplos de plantillas secuenciales (T1-T3) probados en T4-T6.
- Cross-valid_v2: Tres ejemplos de plantillas estructuralmente similares (T1, T2, T4) probados en otras estructuralmente diferentes (T3, T5, T6).
- Iterativo: Extracción secuencial campo por campo.

Métricas de Evaluación

El rendimiento se midió utilizando Precisión, Recall y Puntuación F1 a nivel de campo, comparando la salida JSON del modelo contra la verdad fundamental después de la normalización.

3. Resultados Clave

A. Parámetros de Inferencia vs. Ingeniería de Prompts

Sensibilidad de Parámetros: La variación en la puntuación F1 a través de las 19 configuraciones de parámetros fue marginal (0,58 puntos porcentuales). La diferencia entre la decodificación determinista (Temp=0) y el muestreo estocástico fue insignificante.
Conclusión: El ajuste de hiperparámetros tiene un impacto insignificante en la fidelidad de extracción. Los practicantes pueden utilizar configuraciones deterministas para la reproducibilidad sin sacrificar el rendimiento.

B. Impacto de la Ingeniería de Prompts

Línea Base Zero-shot: Logró ~78% (Gemini) y ~83% (Mistral) de puntuación F1.
Mejora Few-shot: Introducir ejemplos en contexto produjo ganancias masivas (>11 puntos porcentuales).
Mejor Rendimiento: La estrategia Cross-valid_v2 (agrupación por similitud visual) logró las puntuaciones más altas:
- Gemini 1.5 Pro: 97,61% de puntuación F1.
- Mistral-small: 96,11% de puntuación F1.
Hallazgo Clave: La calidad del prompt es la palanca dominante para el rendimiento, superando con creces las diferencias de arquitectura del modelo o el ajuste de parámetros.

C. Comparación de Modelos (Gemini vs. Mistral)

Gemini 1.5 Pro: Exhibió una Precisión más alta (95,24% en validación cruzada), lo que significa que fue mejor identificando cuándo un campo estaba ausente (evitando alucinaciones).
Mistral-small: Exhibió un Recall más alto (a menudo 100%), pero una precisión más baja, indicando una tendencia a "alucinar" valores para campos no presentes en el documento.
Generalización: A pesar de que Mistral es más pequeño, logró resultados dentro del 1-2% de Gemini, demostrando que los modelos más pequeños y eficientes pueden ser altamente efectivos con estrategias de prompting adecuadas.

D. Comparación con ML Clásico

Línea Base Clásica (SVM): Logró 91,86% en plantillas vistas, pero cayó al 67,20% en plantillas no vistas (T7), demostrando un sobreajuste severo.
Rendimiento de LLM: Mantuvo una precisión de 95,24% (Gemini) y 91,50% (Mistral) en plantillas no vistas estructuralmente diferentes.
Conclusión: Los LLM generalizan la tarea de extracción a través de la comprensión semántica, mientras que el ML clásico memoriza patrones de maquetación.

E. Influencia Estructural

La estructura de la plantilla del documento se identificó como el determinante principal de la dificultad. Las plantillas con maquetaciones tabulares claras (T1) funcionaron significativamente mejor que los diseños densos y de múltiples columnas (T5), los cuales se degradaron durante la conversión de PDF a Markdown.

4. Contribuciones Clave

Validación Empírica de la Ingeniería de Prompts: Demostró que el diseño del prompt es el factor crítico para el procesamiento de documentos basado en LLM, haciendo innecesario el ajuste extensivo de hiperparámetros para una extracción de alta fidelidad.
Capacidad de Generalización: Probó que los LLM de propósito general pueden lograr resultados de última generación en maquetaciones de documentos no vistas sin ajuste fino, superando al ML clásico en aproximadamente 24 puntos porcentuales en escenarios de generalización.
Eficiencia Arquitectónica: Mostró que los modelos densos eficientes (Mistral-small) pueden rivalizar con los modelos MoE masivos (Gemini) cuando se emparejan con estrategias de prompting óptimas.
Marco Práctico: Estableció un pipeline reproducible (PDF $\to$ Markdown $\to$ LLM) que logra una extracción casi perfecta (97,61% F1) para la automatización empresarial.

5. Significado e Implicaciones

Transformación Operativa: Este estudio proporciona un camino viable para que las empresas automaticen el procesamiento de facturas sin el alto costo y los requisitos de datos de entrenar modelos personalizados.
Cambio Estratégico: El enfoque para la automatización de documentos se desplaza de la "construcción de modelos" (entrenamiento/ajuste fino) a la "orquestación de modelos" (ingeniería de prompts y diseño de pipelines).
Limitaciones y Trabajo Futuro: El estudio se basó en datos sintéticos y procesamiento solo de texto (Markdown). El trabajo futuro debería abordar el ruido del mundo real, la pérdida de información visual durante la conversión y la integración de Modelos Visión-Lenguaje (VLM) para capturar características de maquetación directamente desde imágenes.

En resumen, el artículo establece que la ingeniería de prompts es el principal impulsor del éxito en la extracción de documentos basada en LLM, permitiendo una automatización robusta y agnóstica a plantillas que supera significativamente a los enfoques tradicionales de aprendizaje automático.