LLMStructBench: Benchmarking Large Language Model Structured Data Extraction

1. El Problema

La extracción de información estructurada (como datos JSON) a partir de texto natural es fundamental en dominios como recursos humanos, finanzas, logística y comercio electrónico. Aunque los Modelos de Lenguaje Grande (LLMs) se utilizan cada vez más para estas tareas de Extracción, Transformación y Carga (ETL), existe una brecha crítica en su fiabilidad:

• Inconsistencia: Incluso los modelos más avanzados a menudo fallan al generar salidas JSON que sean tanto sintácticamente válidas (cumplimiento del esquema) como semánticamente correctas (valores precisos).
• Dependencia del primer intento: Muchos sistemas aguas abajo requieren un objeto completo y preciso en el primer intento, sin posibilidad de corrección iterativa.
• Falta de evaluación estandarizada: No existen benchmarks robustos que evalúen simultáneamente la validez estructural y la precisión semántica en escenarios realistas, especialmente para modelos de código abierto que se despliegan localmente por razones de privacidad.

2. Metodología

Los autores desarrollaron LLLMStructBench, un marco de evaluación integral compuesto por:

• Dataset (Conjunto de Datos):

  • Se creó un conjunto de datos abierto con 995 muestras manualmente verificadas.
  • Cubre 5 casos de uso realistas inspirados en flujos de trabajo por correo electrónico: tickets de soporte, bajas por enfermedad, extensiones de proyectos, registro en conferencias y solicitudes de préstamo de equipos.
  • La complejidad varía desde pares clave-valor planos hasta estructuras anidadas profundas con arrays de objetos.
  • Los datos se generaron sintéticamente usando GPT-4o para crear mensajes de texto natural a partir de esquemas JSON, y luego se limpiaron manualmente para garantizar que el texto y el esquema estuvieran alineados perfectamente.

• Modelos Evaluados:

  • Se probaron 22 variantes de modelos de código abierto de 5 familias principales (Qwen3, Phi, Gemma3, Deepseek-R1, Llama3), con tamaños que van desde 0.6B hasta 70B de parámetros.
  • Se incluyó GPT-4o como referencia propietaria para contextualizar el rendimiento.

• Estrategias de Prompting (Instrucción):

  • Se compararon 5 estrategias de prompting que varían según el uso de parámetros de formato en la API (ej. "format": "json") y la inclusión de instrucciones explícitas en el prompt (esquema JSON, ejemplos de entrada/salida).
  • Las estrategias clave identificadas fueron P (instrucción explícita con esquema y ejemplo) y PJ+ (instrucción explícita + parámetro de formato de API + esquema JSON).

• Métricas de Evaluación:

  • F1 Micro ($F1_{micro}$): Evalúa la precisión a nivel de token/pares clave-valor, penalizando valores incorrectos, faltantes o tipos erróneos.
  • Éxito del Documento ($DOC_{micro}$): Mide la proporción de documentos generados que son JSONs perfectamente válidos y parsables (sin errores de sintaxis o violaciones de esquema).
  • Puntuación Compuesta: Una métrica final que pondera equitativamente ($\lambda=0.5$) la precisión semántica y la validez estructural.

3. Contribuciones Clave

1. Dataset Abierto y Verificado: Presentación de un benchmark de 995 casos de uso realistas, diseñados específicamente para evaluar la generación de JSON en LLMs, superando la dependencia de datos sintéticos no verificados.
2. Nuevas Métricas de Calidad: Introducción de un sistema de puntuación dual que separa la validez estructural (¿es un JSON válido?) de la precisión semántica (¿son los datos correctos?), permitiendo un análisis más granular de los errores.
3. Análisis Exhaustivo de Prompting: Demostración empírica de que la estrategia de prompting es un factor determinante, a menudo más importante que el tamaño del modelo.
4. Benchmarking de Código Abierto: Evaluación rigurosa de modelos de código abierto frente a soluciones propietarias, proporcionando insights para implementaciones privadas y locales.

4. Resultados Principales

• El Prompting es más importante que el Tamaño: Contrario a la intuición, elegir la estrategia de prompting correcta tiene un impacto mayor en la fiabilidad que simplemente aumentar el número de parámetros.
  • La estrategia P (instrucción explícita) suele ofrecer el mejor equilibrio para modelos grandes y bien alineados.
  • La estrategia PJ+ (que incluye el esquema en el parámetro de formato de la API) es crucial para modelos más pequeños o menos fiables, ya que garantiza la validez estructural (evita que el modelo genere texto no JSON), aunque a veces aumenta ligeramente los errores semánticos.
• Rendimiento de Modelos Pequeños vs. Grandes:
  • Modelos pequeños bien configurados (ej. Gemma3-12B o Qwen3-1.7B) pueden superar a modelos mucho más grandes (70B) si se usa la estrategia de prompting adecuada.
  • No existe una relación monótona estricta entre el tamaño del modelo y la puntuación final; la arquitectura y el ajuste de instrucciones son críticos.
• Tipos de Errores:
  • Errores de Valor (WV - Wrong Values): Son el cuello de botella principal. Incluso los modelos más grandes (70B) y GPT-4o fallan frecuentemente en la precisión de los valores, aunque la estructura sea correcta.
  • Errores Estructurales (MK - Missing Keys): Tienen una fuerte dependencia del tamaño del modelo y la estrategia de prompting. Los modelos pequeños con la estrategia incorrecta fallan estructuralmente, pero esto se resuelve casi por completo con modelos medianos o con la estrategia PJ+.
• Comparativa Open vs. Propietario: Los mejores modelos de código abierto (como Gemma3-27B) rinden de manera comparable a GPT-4o en tareas de extracción estructurada, validando la viabilidad de despliegues locales.

5. Significado e Impacto

Este trabajo es un paso fundamental para la aplicación práctica de LLMs en flujos de trabajo de ETL y automatización empresarial.

• Para la Industria: Proporciona guías prácticas para ingenieros de datos: no basta con elegir el modelo más grande; se debe adaptar la estrategia de prompting al modelo específico para garantizar que los datos extraídos sean parsables y útiles.
• Para la Investigación: Identifica que la precisión semántica (valores correctos) es el desafío pendiente más grande, sugiriendo que futuras mejoras requerirán validación semántica post-generación o fine-tuning especializado, más que simplemente escalar el tamaño del modelo.
• Privacidad y Despliegue: Al demostrar que los modelos de código abierto pueden igualar a los propietarios en tareas estructuradas, fomenta el uso de soluciones locales que protegen la privacidad de los datos sensibles.

En conclusión, LLMStructBench demuestra que la fiabilidad en la extracción de datos estructurados es un problema de alineación entre modelo y prompting, no solo de capacidad computacional, y ofrece las herramientas métricas necesarias para medir y mejorar este rendimiento.