💻 computer science

PubTables-v2: A new large-scale dataset for full-page and multi-page table extraction

El artículo presenta PubTables-v2, un nuevo conjunto de datos a gran escala diseñado para abordar el desafío de la extracción de tablas en documentos completos y de múltiples páginas, destacando la necesidad de modelos especializados y demostrando que un clasificador de imágenes puede mejorar significativamente la detección de tablas que abarcan varias páginas.

Autores originales: Brandon Smock, Valerie Faucon-Morin, Max Sokolov, Libin Liang, Tayyibah Khanam, Amrit Ramesh, Maury Courtland

Publicado 2026-03-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Brandon Smock, Valerie Faucon-Morin, Max Sokolov, Libin Liang, Tayyibah Khanam, Amrit Ramesh, Maury Courtland

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que tienes una biblioteca gigante llena de documentos científicos antiguos. Muchos de estos documentos tienen tablas de datos, pero están escritas en papel, a veces ocupando una sola hoja, y otras veces, ¡están tan largas que se extienden por diez páginas diferentes!

El problema es que las computadoras actuales son como lectores muy rápidos pero un poco torpes: pueden leer una tabla si se la entregas recortada en un pedazo de papel, pero si les das una página entera llena de texto, imágenes y varias tablas, se confunden. Si la tabla salta de la página 1 a la página 2, la computadora suele pensar que son dos tablas diferentes y pierde la información.

Los autores de este paper (un equipo de Kensho Technologies) han creado una solución genial llamada PubTables-v2. Aquí te explico qué es y por qué es importante, usando analogías sencillas:

1. El "Gimnasio" para las Computadoras (El Dataset)

Piensa en PubTables-v2 como un gimnasio de entrenamiento de élite para la inteligencia artificial.

Antes: Las computadoras solo practicaban levantando pesas pequeñas (tablas recortadas y aisladas).
Ahora: Con este nuevo dataset, les hemos dado "pesas gigantes" y escenarios reales.
- Tienen 548,000 páginas completas para practicar.
- Tienen 9,500 tablas que son tan largas que cruzan varias páginas (como un tren que pasa por varias estaciones).
- Es el primer "gimnasio" en el mundo que enseña a las computadoras a entender cómo una tabla sigue en la página siguiente.

2. El Problema de la "Tabla Tren"

Imagina una tabla de datos que es tan larga que no cabe en una hoja. En el papel, la tabla termina en la parte inferior de la página 1 y continúa en la parte superior de la página 2.

El error antiguo: Las computadoras veían la página 1, decían "¡Aquí hay una tabla!", y luego veían la página 2, decían "¡Oh, otra tabla nueva!". Se perdía la conexión. Era como si alguien cortara un tren en dos y pensara que son dos vagones separados en lugar de un solo tren.
La solución: PubTables-v2 enseña a la IA a ver el "tren completo". Les muestra que la parte de abajo de la página 1 y la de arriba de la página 2 son, en realidad, la misma cosa.

3. Los "Detectives" (Los Modelos de IA)

Los autores probaron a varios "detectives" (modelos de Inteligencia Artificial) en este nuevo gimnasio para ver quién era el mejor.

El resultado: La mayoría de los detectives se confundieron mucho con las tablas largas. ¡Ninguno fue perfecto! El mejor de ellos solo logró entender correctamente el 40% de las tablas completas. Esto nos dice que todavía tenemos mucho trabajo por hacer.
El truco del "Semáforo": Como los detectives eran malos conectando las páginas, los autores crearon un pequeño "semáforo" (un clasificador de imágenes).
- Este semáforo mira dos páginas seguidas y dice: "¡Oye! La tabla de la página 1 parece que va a continuar en la página 2".
- Cuando el semáforo dice "SÍ", la computadora une las dos partes.
- Resultado: ¡Funcionó de maravilla! Al usar este semáforo, la precisión de las computadoras mejoró drásticamente. Fue como darle a un conductor un mapa mejor en lugar de solo mejorar el motor del coche.

4. ¿Por qué nos importa esto?

Hoy en día, hay millones de documentos científicos, financieros y legales que son tablas gigantes.

Si quieres analizar datos médicos de un estudio que dura 10 páginas, necesitas que la computadora entienda que es un solo estudio, no diez fragmentos sueltos.
PubTables-v2 es el primer paso para que las computadoras dejen de ser "lectores de fragmentos" y se conviertan en "lectores de documentos completos".

En resumen

Los autores han creado el mapa más grande y detallado del mundo para enseñar a las computadoras a leer tablas complejas que cruzan páginas. Han descubierto que, aunque las computadoras actuales son buenas leyendo trozos pequeños, necesitan ayuda extra (como ese "semáforo" que une las páginas) para entender documentos largos.

¡Y lo mejor es que han abierto las puertas de su gimnasio! Han liberado todos los datos, el código y los modelos para que cualquier investigador en el mundo pueda entrenar a sus propias computadoras y seguir mejorando esta tecnología.

La moraleja: Para que las máquinas lean como humanos, primero debemos enseñarles a ver el "todo", no solo las "partes".

1. El Problema

La extracción de tablas (Table Extraction - TE) es un desafío fundamental en la comprensión de documentos visuales (VDU). Históricamente, los enfoques han seguido un paradigma de múltiples etapas: primero detectar tablas individuales y luego reconocer su estructura en imágenes recortadas (aisladas). Sin embargo, este enfoque tiene limitaciones:

Pérdida de contexto: Al procesar tablas de forma aislada, se pierde información contextual crucial de la página completa.
Falta de benchmarks integrales: No existían conjuntos de datos a gran escala que permitieran evaluar la extracción de tablas en su contexto de página completa o documento completo.
El vacío de las tablas multipágina: La extracción de tablas que se extienden a través de múltiples páginas es un área de investigación casi inexplorada debido a la ausencia de datos anotados. Los modelos actuales carecen de capacidad para manejar estas transiciones de página de manera efectiva.
Fugas de datos (Data Leakage): Conjuntos de datos anteriores, como PubTables-1M, a menudo no mantenían divisiones estrictas entre entrenamiento y prueba cuando se combinaban con otros conjuntos (como PubLayNet), lo que comprometía la validez de las evaluaciones.

2. Metodología y el Dataset PubTables-v2

Los autores presentan PubTables-v2, un nuevo conjunto de datos a gran escala derivado de más de un millón de artículos científicos nuevos de PubMed (publicados desde 2021). La metodología de construcción incluye:

Proceso de Alineación y Control de Calidad: Se utiliza una alineación de secuencias para mapear las anotaciones XML/HTML de los autores con el texto en los archivos PDF. Se aplican umbrales estrictos de distancia de edición normalizada ( $\alpha = 0.02$ y $\beta = 0.2$ ) para descartar anotaciones de baja calidad. Si una tabla en una página falla, todo el artículo se descarta para garantizar la integridad del conjunto.
Estandarización: Se adoptan esquemas de canonicidad de estructura de tablas y corrección de encabezados de columna para mejorar la consistencia.
Estructura del Dataset (Tres Colecciones):
1. Tablas Recortadas (Cropped Tables): 135,578 tablas largas (≥30 filas) o anchas (≥12 columnas) para tareas de reconocimiento de estructura (TSR) tradicionales.
2. Páginas Individuales (Single Pages): 467,541 páginas con 548,414 tablas anotadas en su contexto completo. Incluye cajas delimitadoras para tablas, pies de página, leyendas (captions) y relaciones jerárquicas entre ellos.
3. Documentos Completos (Full Documents): 9,172 documentos completos que contienen 9,492 tablas multipágina (la mayor colección hasta la fecha), incluyendo tablas que abarcan hasta 13 páginas.

3. Contribuciones Clave

Primer Benchmark a Gran Escala para TE de Nivel de Documento: Establece métricas y benchmarks para la extracción de tablas en contexto de página y documento completo, no solo en tablas recortadas.
Dataset de Tablas Multipágina: Introduce el primer conjunto de datos grande con 9,492 instancias de tablas que cruzan múltiples páginas, permitiendo investigar la continuidad de tablas.
Anotación Jerárquica: Es el primer dataset a gran escala que conecta explícitamente tablas con sus leyendas y pies de página mediante relaciones jerárquicas.
Enfoque de Continuidad Transpágina: Desarrolla un nuevo enfoque basado en datos para predecir cuándo una tabla continúa en la siguiente página, utilizando un clasificador de imágenes.
Evaluación de Modelos VLM Especializados: Evalúa por primera vez modelos de lenguaje-visión (VLM) especializados en tareas de extracción de documentos completos, revelando brechas significativas en su rendimiento actual.

4. Resultados Experimentales

Los autores evaluaron varios modelos VLM especializados (como dots.ocr, DeepSeek-OCR, Qwen2.5-VL, GraniteDocling) y adaptaron el modelo TATR (creando POTATR para tareas de nivel de página).

Rendimiento en Tablas Recortadas: Los modelos basados en TATR fine-tuneados lograron los mejores resultados (GriTSCon ~0.98), superando a los VLMs puros, lo que demuestra que la extracción de texto directa del documento es superior a la OCR tradicional en este contexto.
Rendimiento en Nivel de Página: dots.ocr fue el mejor VLM, pero aún existía una brecha significativa frente a los modelos que extraen texto directamente del PDF.
Rendimiento en Nivel de Documento (Desafío Principal):
- La extracción de documentos completos es extremadamente difícil. El mejor modelo (dots.ocr) procesado página por página solo reconoció la estructura de tablas perfectamente en el ~40% de los casos.
- Los modelos que intentan procesar todo el documento de una vez (como Qwen2.5-VL-3b) sufrieron de limitaciones de ventana de contexto y errores graves (bucles infinitos de texto).
Solución de Fusión Transpágina:
- Se entrenó un clasificador de imágenes (ViT-B-16) para predecir si una tabla en una página continúa en la siguiente. El modelo alcanzó un F1 de 0.991.
- Al integrar este clasificador para fusionar tablas detectadas por separado en páginas consecutivas, el rendimiento del sistema de extracción mejoró drásticamente, aumentando el GriTSCon de 0.577 a 0.684.

5. Significado e Impacto

Avance en la Investigación de VDU: PubTables-v2 cierra la brecha entre la investigación de reconocimiento de estructura de tablas aisladas y la comprensión real de documentos complejos y largos.
Nueva Línea Base para Modelos: Proporciona un estándar riguroso para evaluar la capacidad de los modelos VLM para manejar contextos largos y relaciones espaciales complejas (tablas multipágina).
Validación de Enfoques Híbridos: Demuestra que, aunque los VLMs son poderosos, los enfoques híbridos que combinan detección, extracción de texto directo y clasificadores auxiliares (para continuidad de páginas) son actualmente superiores para tareas de extracción de documentos completos.
Recurso Abierto: El dataset, el código y los modelos se han liberado públicamente, fomentando el desarrollo futuro en la extracción de tablas a nivel de documento.

En resumen, PubTables-v2 no solo ofrece un dataset masivo y de alta calidad, sino que también expone las limitaciones actuales de los modelos de IA para entender documentos completos y propone una solución práctica (clasificación de continuidad) para mejorar significativamente la extracción de tablas multipágina.