ConRTF: Edge-Constrained Boundary Distribution Refinement for Realtime TransFormer Table Structure Recognition

Resumen Técnico: ConRTF – Refinamiento de Distribución de Fronteras Restringido por Bordes para el Reconocimiento de Estructura de Tablas en Tiempo Real

1. Planteamiento del Problema

El Reconocimiento de la Estructura de Tablas (TSR, por sus siglas en inglés) tiene como objetivo recuperar el diseño de filas y columnas de las tablas a partir de imágenes de documentos, un componente crítico en los procesos de comprensión de documentos. El artículo identifica que un TSR preciso es altamente sensible a los errores de localización; a diferencia de la detección de objetos genérica, pequeñas imprecisiones en los límites de filas o columnas se propagan hacia asignaciones de celdas incorrectas e inconsistencias estructurales. Métricas como TEDS y GriTS penalizan incluso desalineaciones menores de los bordes.

Los enfoques existentes enfrentan dos limitaciones primarias:

1. Asimetría Estructural Ignorada: La mayoría de los métodos basados en detección tratan los elementos de la tabla (filas, columnas, encabezados) como objetos genéricos, ignorando la asimetría geométrica fundamental donde las filas están definidas por bordes horizontales y las columnas por bordes verticales.
2. Compromiso entre Tiempo Real y Precisión: Aunque los procesos de múltiples etapas basados en Transformers logran una alta precisión, su profundidad y post-procesamiento dificultan el despliegue en tiempo real. Por el contrario, los detectores en tiempo real suelen carecer de la precisión de borde fina requerida para diseños de tablas complejos.

2. Metodología

Los autores proponen ConRTF, una arquitectura en tiempo real que reformula el TSR como una tarea centrada en los bordes utilizando representaciones de bordes basadas en distribuciones. La innovación central es la pérdida de Localización Fina Restringida por Bordes (EFL).

A. Modelado Centrado en los Bordes
En lugar de detectar celdas o generar secuencias de tokens, ConRTF modela los elementos de la tabla como objetos "tipo fila" (filas, encabezados, separadores de sección) y "tipo columna" (columnas). Adopta la arquitectura D-FINE, que utiliza un decodificador Transformer para refinar iterativamente las distribuciones de los bordes. En lugar de predecir coordenadas directamente, el modelo predice distribuciones de probabilidad sobre desplazamientos candidatos para los bordes superior, inferior, izquierdo y derecho.

B. Pérdida de Localización Fina Restringida por Bordes (EFL)
La pérdida estándar de Localización Fina (FGL) utilizada en D-FINE supervisa los cuatro bordes de un objeto con igual peso. ConRTF introduce EFL para codificar prioridades geométricas específicas de las tablas:

• Asimetría Estructural: Para los elementos tipo fila, los bordes horizontales (superior/inferior) son estructuralmente definitorios, mientras que los bordes verticales simplemente marcan la extensión. Lo opuesto es cierto para los elementos tipo columna.
• Supervisión Ponderada: EFL asigna pesos más altos ($\lambda_h$) a los bordes estructuralmente definitorios y pesos más bajos ($\lambda_l$) a los bordes de extensión.
  • Tipo fila: $w = [\lambda_h, \lambda_h, \lambda_l, \lambda_l]$ (Superior, Inferior, Izquierdo, Derecho).
  • Tipo columna: $w = [\lambda_l, \lambda_l, \lambda_h, \lambda_h]$.
• Derivación de Pesos: La relación óptima entre $\lambda_h$ y $\lambda_l$ se deriva de un análisis de sensibilidad de IoU. Los autores demuestran que un error en un borde definitorio causa una degradación de IoU significativamente mayor que un error en un borde de extensión, proporcional a la relación de aspecto ($AR$) del elemento. Los pesos se restringen para sumar al total de la línea base uniforme para asegurar una comparación justa.
• Entrenamiento vs. Inferencia: EFL opera solo durante el entrenamiento. Guía el refinamiento iterativo de las distribuciones de los bordes hacia ajustes estructuralmente significativos. En la inferencia, el proceso permanece idéntico al de la línea base D-FINE, incurriendo en un costo computacional adicional de cero.

C. Eficiencia de Datos
El sistema incorpora la Auto-destilación de Localización Óptima Global (GO-LSD) de D-FINE, la cual transfiere distribuciones de bordes refinadas desde capas más profundas hacia las más superficiales. Esto estabiliza las predicciones de las capas iniciales, permitiendo que ConRTF mantenga una precisión robusta incluso con datos anotados limitados (2k–3k tablas).

3. Contribuciones Clave

1. Reformulación Centrada en Bordes: Los autores reformulan el TSR como una tarea centrada en los bordes utilizando representaciones basadas en distribuciones, permitiendo una localización fina dentro de una arquitectura Transformer compacta y en tiempo real.
2. Pérdida EFL: Introducción de una función de pérdida que codifica prioridades geométricas mediante pesos de bordes derivados de un análisis de sensibilidad de IoU. Esta pérdida diferencia explícitamente entre bordes estructuralmente definitorios y de extensión sin añadir sobrecarga de inferencia.
3. Eficiencia de Datos: Demostración de que el enfoque permanece robusto con conjuntos de datos anotados pequeños (2k–3k tablas), lo que lo hace adecuado para despliegues donde los presupuestos de anotación son limitados.
4. Evaluación Exhaustiva: Experimentos extensos en el benchmark a gran escala PubTables-1M y dos conjuntos de datos privados (Negocios y Finanzas), evaluando tanto la precisión estructural (TEDS, GriTS) como la eficiencia en tiempo real.

4. Resultados Experimentales

Los autores evaluaron ConRTF contra líneas base optimizadas (D-FINE-X) y otros detectores en tiempo real (RT-DETRv2, YOLOv10/11/12).

• PubTables-1M: ConRTF logró mejoras consistentes sobre la línea base D-FINE-X en todas las métricas. Notablemente, alcanzó un 99.47% de TEDS-Struct y un 99.37% de GriTS-Top, superando a la línea base por +0.07 y +0.10 puntos respectivamente. En un subconjunto "difícil" de tablas donde la línea base puntuó por debajo del 99% en GriTS-Con, ConRTF mostró una ganancia estadísticamente significativa de +2.6 puntos en GriTS-Con.
• Conjuntos de Datos Privados (Datos Limitados): En los conjuntos de datos de Negocios y Finanzas (con conjuntos de entrenamiento de ~3k y ~2k tablas respectivamente), la brecha entre los métodos basados en DETR y los basados en YOLO se amplió. ConRTF mantuvo una alta precisión donde los modelos YOLO tuvieron dificultades significativas (por ejemplo, YOLOv10-X cayó a 48.8% de TEDS-Struct en Finanzas). ConRTF superó a D-FINE-X en ambos conjuntos de datos, con ganancias de +1.29 en GriTS-Con en el conjunto de datos de Finanzas.
• Distribución de Puntuación: El análisis de las puntuaciones por documento reveló que ConRTF desplaza eficazmente las predicciones de las bandas "bajas" (<70% de puntuación) y "moderadas" hacia la banda "alta" (≥90%), particularmente en regímenes de pocos datos.
• Velocidad de Inferencia: Dado que EFL es solo para entrenamiento, ConRTF comparte los mismos parámetros (62M), FLOPS (202G) y velocidad de inferencia (15.42 FPS en GPU) que D-FINE-X.

5. Significación y Reivindicaciones

El artículo afirma que ConRTF aborda la asimetría geométrica específica de los diseños de tablas, la cual las pérdidas de detección de objetos genéricas pasan por alto. Al formalizar esta asimetría en el objetivo de entrenamiento, el método logra:

• Mayor Precisión Estructural: Una mejor localización de bordes conduce a una mejor asignación de celdas y recuperación de la estructura, particularmente para diseños complejos o ambiguos.
• Viabilidad en Tiempo Real: El enfoque iguala la velocidad de los detectores en tiempo real de última generación mientras supera su precisión, cerrando la brecha entre los procesos de múltiples etapas de alta precisión y los detectores de etapa única eficientes.
• Robustez en Escenarios de Pocos Datos: La integración de prioridades geométricas permite que el modelo se generalice efectivamente incluso cuando se entrena con conjuntos de datos significativamente más pequeños que el masivo PubTables-1M, lo que lo hace práctico para aplicaciones de dominio específico.

Los autores concluyen que, si bien el método actual se dirige a diseños alineados con los ejes, el trabajo futuro podría explorar pesos de bordes adaptativos por clase o instancia y configuraciones de cero disparos (zero-shot).