Resumen Técnico: RT-DocLayout

Declaración del Problema

El análisis preciso del diseño de documentos (DLA, por sus siglas en inglés) sigue siendo un cuello de botella crítico para los sistemas automatizados de inteligencia de documentos, particularmente al procesar documentos diversos del mundo real. Las metodologías actuales enfrentan dos desafíos principales:

1. Modelado Estructural Fragmentado: Los enfoques existentes suelen depender de procesos en cascada (por ejemplo, un detector seguido de un modelo de relación separado como GNNs o clasificación heurística). Esta separación conduce a la propagación de errores, donde las imprecisiones de detección degradan la subsiguiente predicción del orden de lectura, y no logra capturar las dependencias sinérgicas entre la geometría del diseño y la topología lógica.
2. Representación Geométrica Gruesa: Muchos modelos de vanguardia, incluyendo los Grandes Modelos de Visión-Lenguaje (VLMs) y los Transformers generativos, dependen de cajas delimitadoras alineadas con los ejes. Estas representaciones gruesas no logran aislar los elementos del diseño en documentos con distorsiones geométricas (por ejemplo, deformación, curvatura, variaciones de perspectiva o inclinación), lo que provoca interferencia de contenido de ruido de fondo o elementos adyacentes y limita la fidelidad del OCR y el procesamiento posterior.

Además, aunque los modelos preentrenados a gran escala logran una alta precisión, son computacionalmente costosos e inadecuados para aplicaciones industriales en tiempo real.

Metodología

Los autores proponen RT-DocLayout, un marco altamente eficiente y de extremo a extremo basado en la arquitectura RT-DETR. Unifica la clasificación, la detección, la segmentación a nivel de píxel y la predicción del orden de lectura dentro de un único modelo de 33 millones de parámetros.

1. Arquitectura Multitarea Unificada

A diferencia de los sistemas anteriores que desacoplan las tareas, RT-DocLayout emplea un único decodificador Transformer basado en consultas (queries) para realizar cuatro tareas simultáneamente en una sola pasada hacia adelante (forward pass):

• Clasificación y Detección: Asignación de etiquetas de categoría y regresión de cajas delimitadoras.
• Segmentación a Nivel de Píxel: Generación de máscaras de alta fidelidad para los elementos del diseño. Esto reemplaza las simples cajas delimitadoras, permitiendo al modelo manejar deformaciones no rígidas (texto curvo, páginas deformadas) al aislar los elementos con precisión sin contaminación de fondo.
• Predicción del Orden de Lectura: Construcción de relaciones entre elementos para determinar la secuencia lógica de lectura.

2. Mecanismo de Orden de Lectura

El modelo integra la predicción del orden de lectura directamente en el decodificador. Calcula una matriz de puntuación de precedencia por pares $S$ a partir de consultas de objetos refinadas $Q$. La puntuación $S_{i,j}$ se calcula utilizando matrices de proyección aprendibles para determinar si el elemento $i$ precede al elemento $j$.

• Estrategia de Inferencia: Una estrategia de clasificación basada en votación convierte estas relaciones por pares en una secuencia globalmente consistente. El número esperado de predecesores para cada elemento se calcula sumando las puntuaciones por pares con activación sigmoide, y los elementos se ordenan en orden ascendente de este conteo.

3. Diseño de la Función de Pérdida

El objetivo de entrenamiento es una suma ponderada de seis componentes: clasificación, regresión de caja delimitadora (L1 + GIoU), segmentación de máscara (BCE + Dice) y orden de lectura por pares.

• Ponderación de la Pérdida de Orden: A la pérdida de orden de lectura se le asigna un peso significativamente mayor ($\lambda_{order}=50$) para contrarrestar la dilución del gradiente, ya que opera sobre $O(N^2)$ pares en comparación con $O(N)$ para las pérdidas a nivel de objeto.
• Ponderación Consciente de la Localidad: Para enfatizar la corrección del orden local, los pares dentro de una ventana de vecindad dinámica se ponderan más alto.
• Entropía Cruzada Generalizada (GCE): Utilizada para la pérdida de orden con suavizado de etiquetas para manejar la posible presencia de ruido en las anotaciones.
• Supervisión Profunda: Se aplican pérdidas auxiliares a las capas intermedias del decodificador para clasificación, detección y segmentación, pero la pérdida de orden se calcula solo en la última capa, ya que el orden preciso depende de la localización y clasificación precisas logradas en las etapas posteriores.

4. Aumentación de Datos Consciente del Espacio Físico

Para cerrar la brecha entre las anotaciones planas estándar y las distorsiones del mundo real, los autores proponen un pipeline de aumentación en línea de dos etapas:

• Etapa 1: Deformación de Superficie Intrínseca (ISD): Simula el curvado físico no rígido (por ejemplo, el rizado de una página) utilizando un operador de deformación basado en mallas con campos de desplazamiento suaves y periódicos.
• Etapa 2: Transformación Proyectiva Extrínseca (EPT): Simula puntos de vista de cámara estocásticos (rotación, cizallamiento, perspectiva) mediante una matriz de homografía compuesta.
  Este pipeline sintetiza dinámicamente distorsiones realistas manteniendo la verdad de campo (ground truth) a nivel de píxel para la supervisión de la máscara.

Contribuciones Clave

1. Marco Unificado: RT-DocLayout es un marco Transformer de 33 millones de parámetros que logra clasificación, detección, generación de máscara a nivel de píxel y predicción del orden de lectura de extremo a extremo en una sola pasada hacia adelante, eliminando las etapas redundantes de post-procesamiento.
2. Robustez Centrada en la Máscara: El artículo demuestra que proporcionar máscaras a nivel de píxel para regiones deformadas no rígidamente mejora significativamente la robustez del procesamiento en comparación con los métodos tradicionales basados en cajas delimitadoras, mitigando eficazmente la interferencia de las deformaciones del documento.
3. Eficiencia en Tiempo Real: El modelo alcanza una precisión de vanguardia (SOTA) manteniendo velocidades de inferencia en tiempo real (132.1 FPS), ofreciendo una solución escalable para el procesamiento de documentos industriales.

Resultados Experimentales

Los experimentos se realizaron en OmniDocBench v1.5 y su derivado del mundo real Real5-OmniDocBench (cubriendo escenarios: Crudo, Escaneado, Deformación, Fotografía de Pantalla, Iluminación y Sesgo/Inclinación).

• Rendimiento: RT-DocLayout logra una precisión general del 92.46% en OmniDocBench v1.5 y del 92.05% en Real5-OmniDocBench (cuando se combina con PaddleOCR-VL-1.5-0.9B), superando a métodos líderes previos como PP-DocLayoutV2, MinerU2.5 y Dolphin-v2.
• Velocidad: Opera a 132.1 FPS con solo 33M de parámetros, significativamente más rápido y compacto que los grandes VLMs (por ejemplo, Dolphin-v2 a 0.9 FPS, MinerU2.5 a 2.4 FPS).
• Robustez: El modelo muestra una superioridad constante en las seis dimensiones desafiantes, particularmente en los escenarios de "Deformación" (Warping) y "Sesgo" (Skew), donde los métodos de caja delimitadora se degradan significativamente.
• Estudios de Ablación:
  • Reemplazar las puras cajas delimitadoras por la predicción conjunta de máscaras mejoró la precisión general.
  • El aprendizaje del orden de lectura acoplado redujo significativamente la distancia del error del orden de lectura en comparación con las estrategias desacopladas o el método heurístico XYCut.
  • La aumentación de datos (DA) propuesta fue crítica para la robustez, mejorando el rendimiento en los subconjuntos de "Deformación" y "Sesgo" en más de un 4% y 14% respectivamente.

Significado

El artículo afirma que RT-DocLayout establece un nuevo referente para el análisis de diseño de documentos al unificar con éxito la precisión geométrica (mediante máscaras a nivel de píxel) y la lógica estructural (mediante el orden de lectura de extremo a extremo) dentro de una arquitectura compacta y en tiempo real. Al ir más allá del paradigma convencional centrado en cajas, proporciona una base práctica para la próxima generación de sistemas de inteligencia de documentos que deben operar de manera confiable en documentos del mundo real diversos, distorsionados y no controlados. Los pesos del modelo están disponibles públicamente como PP-DocLayoutV3 en el ecosistema de PaddleOCR.