Resumen Técnico: PulseBench-Tab y T-LAG

1. Declaración del Problema

La extracción de tablas de imágenes de documentos es una tarea fundamental en la inteligencia de documentos, crítica para el análisis financiero, el cumplimiento regulatorio y el procesamiento de datos empresariales. Sin embargo, los benchmarks y las métricas de evaluación existentes sufren limitaciones significativas:

• Confluencia de Estructura y Formato: Métricas como TEDS operan sobre árboles DOM de HTML, conllevando la confusión entre convenciones de formato (por ejemplo, envoltorios <thead>) y errores estructurales.
• Pérdida de Topología 2D: Los enfoques de alineación de secuencias (por ejemplo, Needleman-Wunsch) aplanan las tablas en secuencias 1D, perdiendo la distinción entre la adyacencia horizontal y vertical.
• Sesgo Lingüístico: La mayoría de los benchmarks se centran principalmente en el inglés, dejando sin medir en gran medida el rendimiento en escrituras no latinas (árabe, cirílico) y lenguajes CJK (chino, japonés, coreano).
• Sensibilidad Semántica: En aplicaciones de uso descendente, un número en una celda incorrecta es un fallo semántico, no simplemente un error de OCR. Las métricas actuales suelen fallar al no penalizar suficientemente los errores posicionales.

2. Metodología

2.1 Conjunto de Datos PulseBench-Tab

Los autores presentan PulseBench-Tab, un benchmark multilingüe abierto diseñado para abordar estas brechas.

• Escala y Alcance: El conjunto de datos contiene 1,820 imágenes de tablas anotadas por humanos extraídas de 380 documentos fuente únicos (presentaciones financieras, informes gubernamentales, divulgaciones regulatorias).
• Diversidad Lingüística: Abarca 9 idiomas a través de 4 escrituras (latina, CJK, árabe, cirílica). El inglés comprende el 32.6% de las muestras, con el resto distribuido entre chino, español, ruso, francés, japonés, árabe, alemán y coreano.
• Complejidad: Las tablas varían de 2 a 1,183 celdas. Notablemente, el 48.1% de las tablas contienen celdas combinadas o extendidas (rowspan/colspan), y el conjunto de datos incluye hojas de cálculo densas y encabezados de múltiples niveles.
• Verdad de Campo (Ground Truth): Las anotaciones se produjeron mediante un pipeline de múltiples etapas que involucró a expertos de dominio nativos, control de calidad translingüístico y auditorías adversarias celda por celda contra las imágenes de origen. La verdad de campo se proporciona como HTML totalmente estructurado.

2.2 Métrica de Evaluación T-LAG

Para evaluar la calidad de la extracción, los autores proponen T-LAG (Table Logical Adjacency Graph), una nueva métrica que modela las tablas como grafos dirigidos para capturar tanto la fidelidad estructural como la precisión del contenido en una sola puntuación.

Filosofía Central:
A diferencia de las métricas basadas en nodos que verifican el contenido de las celdas de forma independiente, T-LAG opera sobre aristas (relaciones de adyacencia). Esto asegura que una celda sea evaluada no solo por su texto, sino por su posición relativa a sus vecinos. Una columna transpuesta, por ejemplo, resulta en diferentes aristas de adyacencia y, por lo tanto, es penalizada.

Pipeline:

1. Parseo de Cuadrícula: Tanto la verdad de campo como el HTML predicho se parsean en una matriz de cuadrícula de posición de celdas, preservando los atributos rowspan y colspan.
2. Extracción de Aristas: Se emiten aristas dirigidas para las adyacencias DERECHA (RIGHT) y ABAJO (BELOW) entre celdas con diferentes IDs. Las aristas dentro de celdas extendidas se suprimen.
3. Ponderación (Función $\Psi$): Para las aristas coincidentes, se calcula un peso de similitud utilizando un kernel de similitud de texto.
   • Los textos se normalizan (espacios en blanco, guiones Unicode, marcadores nulos).
   • La similitud se calcula como $1 - \frac{d_{Lev}}{\max(|g|, |p|)}$, elevada a un exponente $k=7$.
   • Racional para $k=7$: Este decaimiento agresivo asegura que un error cercano (por ejemplo, 90% de precisión de caracteres) sea fuertemente penalizado ($\Psi \approx 0.48$), reflejando los requisitos empresariales donde un solo error de dígito en una cifra financiera vuelve los datos inutilizables.
4. Emparejamiento Óptimo: Se utiliza el algoritmo húngaro para encontrar la asignación óptima global de uno a uno entre las aristas de la verdad de campo y las predichas, maximizando el peso total coincidido. Esto evita los problemas de alineación codiciosa de las métricas anteriores.
5. Puntuación: La precisión (Precision), el recobro (Recall) y la F1 se computan basándose en las aristas emparejadas ponderadas.
   • Precisión: Penaliza filas/columnas alucinadas.
   • Recobro: Penaliza filas omitidas o celdas combinadas faltantes.
   • Caso de Respaldo: Para tablas de una sola celda, la puntuación por defecto es la similitud de texto directa.

3. Contribuciones Clave

1. Benchmark Multilingüe: Un conjunto de datos a gran escala y alta calidad que cubre 9 idiomas y 4 escrituras, abordando específicamente la subrepresentación de los lenguajes RTL y CJK en la investigación de extracción de tablas.
2. Métrica T-LAG: Un método de evaluación basado en grafos que preserva la topología estructural 2D y utiliza el emparejamiento bipartito óptimo, distinguiéndose de la distancia de edición de árbol (TEDS) y los métodos de alineación de secuencias 1D.
3. Evaluación Exhaustiva: Un benchmarking riguroso de 9 sistemas comerciales y de código abierto (incluyendo Pulse Ultra 2, Gemini 3.1, LlamaParse, AWS Textract y Azure DI) con la publicación de todos los resultados y el código de puntuación.

4. Resultados

La evaluación de 9 proveedores a través de 1,820 muestras revela disparidades significativas de rendimiento:

• Mejor Desempeño: Pulse Ultra 2 lidera con una puntuación T-LAG de 0.935, logrando una puntuación mediana de 1.0 (extracción perfecta) en el 57.9% de las muestras. Supera al segundo sistema clasificado por 11.9 puntos porcentuales.
• Desempeño General: Solo un proveedor supera una puntuación media de T-LAG del 90%. El tercio inferior de los proveedores puntúa por debajo de 0.72, lo que indica limitaciones fundamentales en las capacidades actuales de extracción de tablas multilingües.
• Alucinaciones Estructurales: Incluso los sistemas de alto rendimiento (por ejemplo, Gemini 3.1) logran una extracción perfecta en solo ~28% de las tablas, introduciendo frecuentemente filas fabricadas, contenido inventado o atributos de extensión incorrectos.
• Variación Lingüística:
  • Más Fácil: El francés y el español muestran el mayor rendimiento entre todos los proveedores, probablemente debido a que comparten escrituras latinas y formatos estándar.
  • Más Difícil: El árabe y el coreano exhiben la mayor varianza entre proveedores (dispersiones >75 puntos porcentuales).
  • Desafíos CJK: Los proveedores con un fuerte desempeño en inglés (por ejemplo, AWS Textract con 0.724) caen significativamente en lenguajes CJK (0.324 en chino, 0.254 en coreano), resaltando debilidades de OCR.
• Cobertura: Algunos sistemas "Agénticos" no lograron producir salida para ~20% de las muestras, un factor crítico para la fiabilidad en producción.

5. Significado y Reivindicaciones

El artículo posiciona a PulseBench-Tab y T-LAG como herramientas esenciales para avanzar en el campo de la inteligencia de documentos:

• Evaluación Realista: Al imponer penalizaciones estrictas para los errores posicionales y estructurales (mediante el exponente $k=7$ y el emparejamiento basado en aristas), la métrica refleja la realidad operativa del procesamiento de datos empresariales, donde la extracción aproximada es funcionalmente equivalente al fallo.
• Reproducibilidad: Los autores enfatizan que el conjunto de datos completo, el código de puntuación y todos los resultados de los proveedores están disponibles públicamente para apoyar la evaluación reproducible.
• Dirección Futura: Los resultados resaltan que los scripts no latinos siguen siendo un desafío importante sin resolver. Los autores señan que, si bien el benchmark es grande, es necesario escalar aún más para idiomas más pequeños (por ejemplo, coreano, alemán) para reducir los intervalos de confianza.
• Limitaciones: Los autores reconocen modestamente las limitaciones actuales, incluyendo la suposición de una sola tabla por imagen y tablas de una sola página, observando que los diseños de múltiples tablas y tablas de múltiples páginas aún no han sido evaluados.

En conclusión, el artículo argumenta que los sistemas actuales de extracción de tablas aún no son lo suficientemente robustos para aplicaciones empresariales de alto riesgo sin verificación adicional, particularmente en escenarios multilingües y estructuralmente complejos. PulseBench-Tab proporciona la infraestructura necesaria para medir el progreso hacia este objetivo.