ExStrucTiny: A Benchmark for Schema-Variable Structured Information Extraction from Document Images

Resumen Técnico: EXSTRUCTINY

1. El Problema

Los documentos empresariales (formularios, informes, recibos) contienen información crítica para flujos de trabajo automatizados, archivado y análisis. Aunque los Modelos de Lenguaje y Visión (VLM) generalistas han demostrado buen rendimiento en benchmarks existentes de comprensión de documentos, su capacidad para realizar extracción estructurada holística y de grano fino sigue siendo insuficientemente estudiada.

Las limitaciones de los conjuntos de datos actuales (KEE, RE, VQA) incluyen:

• Ontologías fijas y estrechas: Se centran en tipos de documentos específicos con entidades predefinidas, lo que dificulta la generalización a nuevos dominios.
• Consultas simples: Las preguntas suelen ser de una sola entidad o muy literales, sin requerir la organización de múltiples piezas de información en formatos estructurados complejos.
• Falta de adaptabilidad: No evalúan adecuadamente la capacidad de los modelos para manejar esquemas variables, consultas "bajo demanda" (on-demand) o información faltante en escenarios de zero-shot o few-shot.

2. Metodología

Los autores presentan EXSTRUCTINY, un nuevo conjunto de datos y marco de evaluación diseñado para superar estas limitaciones.

A. Definición de la Tarea
A diferencia de la extracción de entidades clave (KEE) tradicional, EXSTRUCTINY requiere que los modelos extraigan y organicen múltiples piezas de información según esquemas variables especificados por el usuario.

• Entrada: Un conjunto de imágenes de documentos y una consulta (prompt).
• Salida: Un objeto estructurado (JSON) que contiene:
  • El texto extraído (verbatim).
  • El índice de la página.
  • Las coordenadas del cuadro delimitador (bounding box).
• Tipos de Consultas:
  1. Cerrada con texto plano: Solicita entidades específicas explícitamente.
  2. Cerrada con esquema: Proporciona un esquema JSON vacío para rellenar.
  3. Bajo demanda (On-demand): Solicita información implícita sobre una entidad padre sin especificar los atributos hijos, requiriendo que el modelo infiera la estructura.

B. Generación de Datos (Pipeline Híbrido)
El conjunto de datos se construyó mediante un pipeline innovador que combina anotación manual y generación sintética validada por humanos:

1. Anotación Manual: Se crearon 102 pares de consulta-respuesta de alta calidad cubriendo formularios, informes financieros, diapositivas y capturas de pantalla web.
2. Generación Sintética: Se utilizó un VLM potente (Gemini-2.5-Flash-Thinking) para escalar la generación de datos. Se empleó una estrategia de Chain-of-Thought (CoT) y un presupuesto de razonamiento alto para asegurar la calidad.
3. Augmentación y Validación: Los datos sintéticos pasaron por un proceso de enriquecimiento (reformulación de entidades, introducción de información faltante) y fueron revisados manualmente por expertos.
   • Resultado final: 304 pares de consulta-respuesta sobre 110 documentos de múltiples páginas.
   • Características: Incluye consultas con baja superposición léxica, múltiples entidades, información faltante (no respondible) y esquemas complejos.

C. Métricas de Evaluación
Se propone un marco de evaluación de cuatro dimensiones para cada par consulta-respuesta:

1. Predicción de Estructura: Se utiliza un LLM de texto (gpt-oss-20b) como "juez" para mapear semánticamente las claves del esquema predicho con las del ground truth, manejando variaciones en nombres de claves y jerarquías.
2. Extracción de Texto: Medida mediante ANLS (Average Normalized Levenshtein Similarity).
3. Localización de Página: Precisión en el índice de la página.
4. Cuadro Delimitador (Bounding Box): Intersección sobre Unión (IoU) y proximidad normalizada.

3. Contribuciones Clave

1. Nuevo Benchmark (EXSTRUCTINY): Unifican aspectos de KEE, RE y VQA en un solo dataset que soporta esquemas variables y consultas bajo demanda.
2. Pipeline de Datos Escalable: Demuestran la viabilidad de usar VLMs avanzados para generar datos sintéticos de alta calidad para tareas de extracción estructurada, validados manualmente.
3. Análisis Exhaustivo de VLMs: Evalúan tanto modelos de código abierto (Qwen, Gemma, Mistral, Kimi) como cerrados (Gemini), revelando brechas significativas en capacidades de razonamiento y localización.
4. Marco de Evaluación Robusto: Introducen un método de mapeo semántico de esquemas que permite una comparación justa a pesar de las variaciones en la estructura de salida de los modelos.

4. Resultados Principales

• Ventaja de Modelos Cerrados: Los modelos cerrados (especialmente Gemini-2.5-Pro) superan significativamente a los de código abierto, con una diferencia de más de 18 puntos en ANLS.
• Impacto del Tamaño del Modelo: Existe una correlación positiva clara entre el tamaño del modelo y el rendimiento. Por ejemplo, en la familia Qwen2.5-VL, el rendimiento aumenta de 38.5 (3B) a 61.4 (72B).
• Dificultad de las Consultas:
  • Las consultas bajo demanda son las más difíciles, seguidas por las de esquema cerrado. Las consultas de texto plano cerrado son las más fáciles.
  • Los modelos de código abierto sufren un declive drástico en el rendimiento a medida que aumenta el número de valores a extraer (problema de longitud de extracción).
• Problemas de Localización: Todos los modelos luchan con la localización espacial precisa. La máxima IoU alcanzada fue del 14.4% y la precisión de página del 84.3%, indicando una brecha de calibración entre la extracción de texto y la evidencia visual.
• Contextos Complejos: El rendimiento cae notablemente en contextos de gráficos y texto libre, donde la falta de estructura y la presencia de distractores visuales confunden a los modelos.
• Datos Manuales vs. Sintéticos: Los modelos obtienen puntuaciones ligeramente más bajas en datos manuales (13.6% menos), lo que sugiere que los datos sintéticos, aunque útiles, son ligeramente más fáciles o menos diversos que los creados por humanos.

5. Significado e Impacto

EXSTRUCTINY representa un avance crucial para el campo de la Inteligencia Artificial en Documentos (Document AI):

• Puente hacia la Realidad Empresarial: Al incluir esquemas variables, información faltante y múltiples entidades, el benchmark refleja mejor las necesidades reales de las empresas que los datasets anteriores.
• Identificación de Brechas: El estudio revela que, aunque los VLMs son buenos extrayendo texto, aún carecen de la robustez necesaria para la adaptación de esquemas y la localización precisa en documentos complejos.
• Base para Futuras Investigaciones: Proporciona una base sólida para desarrollar modelos más adaptables y robustos capaces de operar en entornos de zero-shot y few-shot con requisitos de extracción estructurada estrictos.

En conclusión, el trabajo demuestra que, si bien los modelos generativos modernos han mejorado la comprensión de documentos, la extracción estructurada fiable y adaptable sigue siendo un desafío abierto que requiere avances tanto en arquitecturas de modelos como en estrategias de evaluación.