TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment

Resumen Técnico: TDATR

1. El Problema

La reconocimiento de tablas (TR) es una tarea fundamental en el análisis de documentos, pero los enfoques actuales presentan limitaciones significativas:

• Enfoques Modulares: Los sistemas tradicionales separan la Reconocimiento de Estructura de Tablas (TSR) y el Reconocimiento de Contenido de Tablas (TCR). Esto genera flujos de trabajo complejos, acumulación de errores y una integración subóptima, ya que ignoran la interdependencia inherente entre la estructura y el contenido semántico.
• Limitaciones de los Enfoques End-to-End (E2E): Aunque los modelos E2E unificados simplifican el proceso, suelen depender de grandes volúmenes de datos de TR anotados (que son escasos y costosos de obtener). Además, a menudo carecen de una percepción detallada de la estructura de la tabla y no generan correspondencias espaciales explícitas (ubicación de celdas), lo que reduce la interpretabilidad y la precisión en escenarios del mundo real con datos limitados.

2. Metodología: TDATR

Los autores proponen TDATR (Table Detail-Aware Table Recognition), un marco de trabajo que mejora el reconocimiento end-to-end mediante una estrategia de "Percepción-Posterior-Fusión" (Perceive-then-Fuse).

A. Arquitectura del Modelo
El modelo se compone de tres partes principales:

1. Codificador Visual: Basado en Swin Transformer, extrae características visuales multiescala.
2. Decodificador de Lenguaje: Un modelo de lenguaje multimodal que genera salidas estructuradas (HTML/Markdown) y representa las interacciones entre visión y texto.
3. Módulo de Localización de Celdas Guiado por Estructura (SGCL): Un componente novedoso que refina las cajas de las celdas utilizando representaciones ocultas del decodificador y características visuales multirresolución.

B. Estrategia de Entrenamiento: "Percepción-Posterior-Fusión"

• Fase 1: Aprendizaje Consciente de Detalles de Tabla (Table Detail-Aware Learning):
  • El modelo se preentrena bajo un paradigma de modelado de lenguaje unificado.
  • Tareas de Contenido: Incluye detección de texto espacialmente ordenado, reconocimiento de texto con consultas de cajas y análisis de Markdown. Esto utiliza grandes volúmenes de datos de documentos diversos (no solo tablas) para mejorar la robustez.
  • Tareas de Estructura: Incluye detección de elementos de tabla (celdas, celdas fusionadas, filas/columnas) y análisis de estructura (HTML/Markdown). Esto permite al modelo percibir la jerarquía y las dependencias espaciales de las tablas.
• Fase 2: Fusión de Detalles (Table Detail Fusion):
  • El modelo se ajusta finamente (fine-tuning) con datos limitados de TR específicos.
  • Integra los detalles implícitos aprendidos en la fase 1 para generar salidas HTML estructuradas.
  • Se entrena simultáneamente el módulo SGCL para predecir coordenadas precisas de las celdas, alineando la salida de texto con la ubicación visual.

C. Módulo de Localización de Celdas Guiado por Estructura (SGCL)
Este módulo aborda la falta de alineación visual en los modelos E2E:

• Extrae representaciones de celdas de las capas ocultas del decodificador.
• Utiliza atención bidireccional guiada por estructura (basada en filas y columnas) para mejorar las representaciones de las celdas, aprovechando las relaciones lógicas entre ellas.
• Refina las cajas iniciales utilizando características visuales de múltiples resoluciones, eliminando la necesidad de procesos de post-procesamiento complejos y mejorando la precisión en tablas sin bordes o densas.

3. Contribuciones Clave

1. Estrategia "Percepción-Posterior-Fusión": Reduce la dependencia de grandes conjuntos de datos etiquetados específicamente para TR, permitiendo un modelado de secuencias end-to-end más eficiente y robusto.
2. Aprendizaje Consciente de Detalles: Unifica la comprensión de la estructura y el reconocimiento de contenido mediante tareas de preentrenamiento diversas, aprovechando datos de documentos de múltiples dominios.
3. Módulo SGCL: Diseña un mecanismo de localización de celdas que refina las cajas mediante priores estructurales y características visuales, mejorando significativamente la alineación visión-lenguaje y la interpretabilidad.
4. Rendimiento Generalizado: Evalúa un modelo unificado en siete benchmarks públicos sin ajuste específico por conjunto de datos, demostrando una fuerte capacidad de generalización.

4. Resultados Experimentales

TDATR fue evaluado en siete conjuntos de datos de referencia (benchmarks) que cubren escenarios del mundo real (chinos e ingleses, tablas sin bordes, baja calidad) y datos digitales.

• Rendimiento SOTA: Logró resultados de vanguardia (State-of-the-Art) o altamente competitivos en todos los benchmarks, incluyendo iFLYTAB-full, TabRecSet, PubTabNet y PubTables-1M.
• Comparación con Modulares y E2E:
  • En iFLYTAB-full, superó a los métodos modulares (SEMv3+PPOCR) en un 15.82% en métricas de reconocimiento total (TEDS).
  • En TabRecSet, superó al método E2E anterior (EDD) en un 6.59%.
• Eficiencia y Alineación:
  • En la métrica TEDS-Delta (precisión del contenido), TDATR obtuvo el mejor rendimiento en PubTables-1M, demostrando una mejor alineación entre estructura y contenido que los métodos modulares.
  • En la localización de celdas (AP50), superó a otros métodos SOTA en tablas reales y digitales, gracias al módulo SGCL.
• Robustez: El modelo mantiene un alto rendimiento en tablas complejas (sin bordes, largas, con deformaciones) sin necesidad de ajuste fino específico para cada dataset, a diferencia de otros modelos que requieren grandes cantidades de datos específicos.

5. Significado e Impacto

TDATR representa un avance significativo en el campo del análisis de documentos:

• Paradigma Eficiente: Demuestra que es posible lograr un reconocimiento de tablas de alta calidad sin depender exclusivamente de la anotación masiva y costosa de datos de tablas específicas, utilizando en su lugar un aprendizaje consciente de detalles sobre datos de documentos generales.
• Interpretabilidad: Al integrar explícitamente la localización de celdas dentro del flujo end-to-end, el modelo no solo genera el contenido, sino que también proporciona la ubicación espacial precisa, lo cual es crucial para aplicaciones como la recuperación de información aumentada (RAG) y la digitalización de documentos.
• Generalización: La capacidad de un solo modelo unificado para manejar estilos de tablas diversos y escenarios del mundo real sugiere un camino viable hacia sistemas de comprensión de documentos más robustos y escalables.

En resumen, TDATR supera las limitaciones de los enfoques modulares y los modelos E2E tradicionales al introducir un aprendizaje detallado de la estructura y una alineación visual a nivel de celda, logrando un nuevo estado del arte en la precisión y robustez del reconocimiento de tablas.