Resumen Técnico: ExtractBench

Declaración del Problema

Los flujos de trabajo empresariales están migrando cada vez más de la entrada manual de datos hacia la extracción de documentos guiada por esquemas y gestionada por agentes. En este paradigma, un agente debe tomar un documento (a menudo un PDF complejo) y un esquema JSON definido por el usuario, para luego producir una salida estructurada que se adhiera fielmente al esquema, incluyendo la evidencia de la fuente (fundamentación o grounding) para cada valor extraído.

Los benchmarks existentes para la extracción de documentos sufren limitaciones críticas cuando se aplican a este caso de uso empresarial específico:

• Ontologías Fijas: Los benchmarks clásicos (p. ej., SROIE, DocILE) prueban la recuperación de un conjunto fijo de campos, fallando al evaluar la capacidad de un sistema para seguir esquemas arbitrarios definidos por el usuario.
• Alcance Estrecho: Los benchmarks recientes guiados por esquemas suelen cubrir solo una dimensión del problema (p. ej., solo listas largas, solo datos sintéticos o solo tipos de documentos específicos) y carecen del ruido del mundo real, como escaneos o escritura a mano.
• Métricas Ausentes: Las evaluaciones existentes suelen ignorar la fundamentación visual (la capacidad de señalar la fuente de un valor) y el costo por página, ambos críticos para el despliegue a escala de producción.
• Falta de Etiquetado de Desafíos: Los puntajes agregados no logran distinguir si un sistema falla debido a una tarea difícil (p. ej., listas largas) o a un problema de percepción (p. ej., mala calidad de escaneo).

Metodología: El Marco de Trabajo ExtractBench

ExtractBench es un benchmark integral diseñado para evaluar la extracción guiada por esquemas en términos de precisión de valor, fundamentación y costo simultáneamente.

1. Corpus y Taxonomía

El benchmark consta de 370 documentos que abarcan 4,869 páginas, cubriendo 8 dominios de negocio (Finanzas, Energía, Gobierno, etc.) y 67 tipos de documentos.

• Fuentes: El corpus incluye documentos reales nacidos digitales, listas largas sintéticas basadas en diseños reales y formularios regulatorios/fiscales reales.
• Etiquetado de Desafíos: Cada documento está etiquetado según cinco ejes independientes para permitir un análisis de fallos granular:
  • Desafío de la Tarea: Completitud de listas largas (T1), aguja en un pajar (T2) y documentos densos (T3).
  • Desafío de Percepción: Rotados/solo imagen (P1), escaneados (P2) y escritura a mano (P3).
  • Estructura de Tablas: Encabezados combinados, tablas de varias páginas, tablas enormes, etc.
  • Longitud: Corto (≤10 pp), Medio (11–50 pp), Largo (>50 pp).
  • Dominio: Verticales industriales específicos.

2. Pipeline de Curación de la Verdad de Campo (Ground-Truth)

Para generar una verdad de campo de alta calidad sin los costos prohibitivos del etiquetado manual, los autores emplearon un pipeline escalable y específico para cada fuente:

• Documentos Reales: Los esquemas se redactan a partir de muestras. Múltiples sistemas de extracción (modelos de frontera) se ejecutan contra el esquema. Los valores donde todos los sistemas coinciden se convierten en candidatos de verdad de campo; los desacuerdos son adjudicados por humanos o mediante el refinamiento del esquema.
• Listas Largas Sintéticas: Construidas "hacia atrás" (primero los datos, luego el documento). Los registros se generan o se extraen de presentaciones reales, y luego se renderizan en PDFs mediante agentes de codificación. La verdad de campo es exacta por construcción, con los cuadros leídos directamente desde el renderizado.
• Formularios Escaneados: Los esquemas se redactan contra plantillas en blanco. Un ensamble de sistemas vota sobre los valores, con los campos en disputa adjudicados por humanos que también verifican y redibujan los cuadros delimitadores (bounding boxes).

3. Métricas de Evaluación

• Precisión de Valor: Medida mediante F1 de Valor insensible al orden. El JSON extraído se aplana en celdas. Los arreglos se alinean usando el algoritmo húngaro para minimizar los registros desajustados. Los valores se normalizan (p. ej., fechas a formato ISO) antes de la comparación.
• Fundamentación (Grounding):
  • F1 a nivel de palabra: Requiere que el valor sea correcto y que el cuadro delimitador predicho se solape con el cuadro de la verdad de campo (IoU ≥ 0.5).
  • F1 a nivel de página: Requiere el valor correcto y la página de origen correcta.
• Costo: Medido en centavos por página basado en el consumo real de tokens/créditos.

4. Sistemas Evaluados

El benchmark evaluó 14 sistemas de frontera en tres categorías:

• VLMs Comerciales: (p. ej., Gemini 3.5 Flash, GPT-5.4 Nano).
• Agentes de Codificación: (p. ej., Claude Code Opus 4.8, Codex GPT-5.5) que utilizan bucles de herramientas iterativos para procesar documentos.
• APIs Especializadas: (p. ej., niveles de LlamaExtract, Reducto, Extend, Datalab).

Resultados Clave

Frontera Calidad–Costo

La evaluación revela un panorama de compromiso (tradeoff) distintivo:

• VLMs Comerciales: Ofrecen el costo más bajo (≤1.0 ¢/página) pero tienen dificultades con la precisión, particularmente en documentos largos (el F1 cae de ~88% en documentos cortos a ~28% en documentos largos para Gemini 3.5 Flash). Frecuentemente truncan listas largas de registros.
• Agentes de Codificación: Logran una alta precisión (87–94% F1) y manejan bien los documentos largos, pero a un costo significativamente mayor (>15 ¢/página).
• APIs Especializadas: Cubren el rango más amplio. LlamaExtract Agentic Plus emerge como el líder, logrando un 95.6% de F1 a 8.1 ¢/página. Esto supera a los agentes de codificación en precisión y cuesta menos de la mitad.

Rendimiento por Dimensión

• Longitud del Documento: La mayoría de los sistemas se degradan significativamente en documentos de más de 50 páginas. LlamaExtract Agentic Plus es el único sistema que mantiene un F1 >90% en todos los grupos de longitud.
• Estructura de Tablas: Las "tablas enormes" (>1,000 filas) causan fallos catastróficos para la mayoría de los VLMs (F1 < 10%). Las APIs especializadas y los agentes de codificación se desempeñan significativamente mejor aquí.
• Percepción: Los sistemas muestran puntos ciegos específicos; por ejemplo, Codex GPT-5.5 tiene dificultades con imágenes rotadas, mientras que algunas APIs tienen problemas con páginas escaneadas pero manejan bien la escritura a mano.

La Brecha de Fundamentación (The Grounding Gap)

Un hallazgo crítico es la falta de trazabilidad de la fuente en los modelos generales:

• Los VLMs estándar y los agentes de codificación no devuelven cuadros a nivel de palabra por defecto, obteniendo un 0.0% en la fundamentación a nivel de palabra.
• Incluso los sistemas especializados que sí devuelven cuadros tienen dificultades con la precisión: el mejor F1 de fundamentación a nivel de palabra es 46.4% (LlamaExtract Agentic Plus), mientras que la fundamentación a nivel de página es mucho mayor (84.9%). Esto indica que, aunque los sistemas pueden encontrar la página correcta, conectar un valor con su ubicación exacta a nivel de palabra sigue siendo un desafío abierto.

Significancia y Reivindicaciones

El artículo afirma proporcionar la primera evaluación que reporta conjuntamente la precisión de valor, la completitud de registros, la fundamentación y el costo medido a escala para la extracción guiada por esquemas.

• Poder Diagnóstico: Al utilizar etiquetas de desafío, ExtractBench va más allá de los puntajes agregados para diagnosticar por qué fallan los sistemas (p. ej., distinguiendo entre un fallo de percepción y un truncamiento de lista larga).
• Relevancia de Producción: La inclusión de métricas de costo y fundamentación aborda los requisitos específicos del despliegue empresarial, donde la viabilidad financiera y la auditabilidad son tan importantes como la precisión bruta.
• Estado del Arte: Los resultados sugieren que, si bien los VLMs de propósito general son rentables para tareas simples, las APIs agénticas especializadas ofrecen actualmente el mejor equilibrio entre alta precisión, robustez ante la complejidad de los documentos y eficiencia de costos para flujos de trabajo empresariales.

Los autores concluyen que la extracción confiable a escala requiere sistemas que puedan producir salidas completas, proporcionar evidencia trazable y operar a un costo sostenible, una combinación que actualmente se logra mejor mediante soluciones agénticas especializadas como LlamaExtract Agentic Plus.