Complex Layout Classification in the Wild: A Low-Resource Approach with Layout-Preserving Augmentations

Resumen Técnico: Clasificación de Diseños Complejos en el Mundo Real

Planteamiento del Problema
El análisis del diseño de documentos es un requisito previo para tareas posteriores como el OCR, la transcripción automatizada y la reconstrucción del orden de lectura. Mientras que los documentos modernos (p. ej., PDFs, facturas) suelen seguir estructuras de cuadrícula "Manhattan" limpias, los documentos históricos —particularmente los manuscritos medievales y los libros impresos antiguos— exhiben diseños altamente irregulares y complejos. Estos diseños presentan regiones de texto no rectangulares (p. ej., en forma de L, C, O y arreglos de múltiples columnas tipo "Talmúdico") separadas por límites geométricos distintivos.

El estado del arte actual en el análisis de diseño depende en gran medida de conjuntos de datos de referencia anotados a gran escala (p. ej., PubLayNet, DocLayNet) y modelos de aprendizaje profundo entrenados en documentos estandarizados de lengua inglesa. Estos métodos tienen dificultades en entornos históricos de bajos recursos por tres razones principales:

1. Escasez de Datos: Las colecciones históricas carecen de conjuntos de datos anotados a gran escala.
2. Complejidad Estructural: El segmentado basado en píxeles estándar suele fallar al distinguir bloques de texto semánticamente distintos en configuraciones complejas (p. ej., al no lograr separar un texto principal de un comentario circundante en una forma de C).
3. Sobreajuste (Overfitting): Los modelos entrenados en conjuntos de datos pequeños tienden a sobreajustarse a detalles textuales incidentales (fuente, contenido específico) en lugar de aprender los arreglos geométricos globales que definen la clase de diseño.

Metodología
Los autores proponen un enfoque de bajos recursos centrado en una novedosa estrategia de entrenamiento que prioriza la geometría del separador sobre el contenido textual.

1. Curación de Datos (CLC):

   • Los autores curaron el conjunto de datos CLC, un corpus especializado de 155 páginas hebreas de alta resolución de la Biblioteca Nacional de Israel y diversos libros impresos.
   • El conjunto de datos fue anotado manualmente en ocho clases de diseño distintas basadas en las regiones del separador: C (y su espejo), L (y su espejo), U (y su espejo invertido), O, y Y (un término general para diseños complejos de múltiples componentes).
   • Las anotaciones fueron verificadas por un paleógrafo experto para asegurar la precisión de la verdad de campo (ground-truth).

2. Aumentos de Preservación de Diseño:
   Para superar la escasez de datos sin introducir ruido en las etiquetas, los autores desarrollaron una canalización de aumento específica para la tarea, diseñada para suprimir los detalles textuales mientras se preserva el "esqueleto" estructural de la página:

   • Enmascaramiento Gaussiano Anisotrópico Estrecho: Se aplica un filtro Gaussiano anisotrópico multiorientado a la imagen del documento. Al utilizar una desviación estándar estrecha ($\sigma_x=1$) y filtrar en las orientaciones horizontal ($\theta=0$) y vertical ($\theta=\pi/2$), el método genera un mapa de respuesta que resalta las regiones del separador (que son líneas continuas) mientras suprime el ruido textual de alta frecuencia. El mapa resultante invierte los píxeles que no son separadores, obligando al modelo a ignorar la fuente y el contenido.
   • Transformaciones de Etiquetas Inducidas por Reflexión: Se aplican reflexiones horizontales y verticales para enriquecer la distribución de entrenamiento. Crucialmente, los autores definen un conjunto de etiquetas cerrado donde las reflexiones mapean clases asimétricas con sus contrapartes (p. ej., $C \leftrightarrow \bar{C}$, $L \leftrightarrow \bar{L}$) o hacia la clase $Y$, asegurando la consistencia de las etiquetas. Las rotaciones y cizallamientos se excluyen explícitamente ya que alteran la semántica estructural del diseño.

3. Arquitectura del Modelo:

   • El sistema emplea una arquitectura base (backbone) ConvNeXt-Tiny, elegida por sus sesgos inductivos (localidad, equivariancia de traslación, composición jerárquica) que se alinean bien con la geometría impulsada por el separador.
   • El modelo se ajusta mediante un enfoque por etapas: primero entrenando la cabeza del clasificador y luego descongelando el backbone con una tasa de aprendizaje más baja para evitar el sobreajuste.
   • Las imágenes de entrada se redimensionan a $224 \times 224$ y se binarizan mediante el umbral de Otsu.

4. Protocolo de Aprendizaje Activo:
   Los autores evaluaron la eficiencia de las etiquetas mediante un bucle de aprendizaje activo con tres funciones de adquisición (Aleatoria, Entropía y Margen) para determinar cuántas muestras etiquetadas se requieren para alcanzar un alto rendimiento.

Contribuciones Clave

1. Conjunto de Datos CLC: Un nuevo y compacto conjunto de datos de 155 páginas hebreas de alta resolución con ocho clases de diseño finamente detalladas y definidas por el separador, abordando la falta de recursos para diseños no rectangulares de la historia.
2. Estrategia de Aumento Novedosa: La introducción del Enmascaramiento Gaussiano Anisotrópico Estrecho, que obliga al modelo a aprender arreglos geométricos globales al suprimir detalles textuales incidentales, combinado con transformaciones de etiquetas inducidas por reflexión para expandir la distribución de entrenamiento manteniendo la consistencia semántica.
3. Evaluación Sistemática: Una evaluación exhaustiva bajo severa escasez de datos, incluyendo comparaciones de backbone, estudios de ablación, pruebas de corpus externo ciego y análisis de aprendizaje activo.

Resultados

• Comparación de Backbones: En el conjunto de prueba de 31 páginas, ConvNeXt-Tiny logró el mejor rendimiento con un 90% de precisión y un F1-macro de 0.88. Esto superó significativamente a EfficientNet-B0, VGG16, ResNet-18 y ViT-B/16 (que puntuaron $\le$ 45% de precisión), demostando que las CNN con sesgos inductivos apropiados son superiores a los Transformers en este régimen de bajos recursos y enfocado en la geometría.
• Estudio de Ablación:
  • Solo binario: 32% de precisión (indicando que la binarización simple es insuficiente).
  • Binario + Volteos (Flips): 45% de precisión.
  • Binario + Enmascaramiento: 68% de precisión (confirmando que la tarea está impulsada por el separador).
  • Pipeline Completo (Enmascaramiento + Volteos): 90% de precisión.
  • El estudio confirmó que el enmascaramiento actúa como un regularizador de preservación de estructura, mientras que los volteos proporcionan la diversidad necesaria.
• Evaluación Externa Ciega: El modelo fue probado en un subconjunto de 36,215 carpetas de libros de la Biblioteca Nacional de Israel (datos no vistos). En un subconjunto de 160 muestras verificadas manualmente con alta confianza, el modelo alcanzó un 83.75% de precisión, demostrando una fuerte generalización a archivos reales no curados.
• Aprendizaje Activo: El pipeline de aumento completo mejoró significativamente la eficiencia de las etiquetas. Bajo una estrategia de adquisición de entropía, el pipeline completo logró un Área Bajo la Curva de Aprendizaje (AULC) de F1-macro de 0.61, comparado con el 0.30 de los métodos base.

Significancia y Reivindicaciones
El artículo sostiene que la clasificación robusta de diseños históricos complejos es alcanzable bajo una severa escasez de anotación al desplazar el enfoque de aprendizaje del contenido textual hacia la estructura geométrica global. Los autores argumentan que el aumento de datos estándar (p. ej., rotación, desenfoque) es insuficiente para este dominio; en su lugar, los aumentos conscientes del dominio que preservan explícitamente la topología del separador son críticos.

El trabajo demuestra que:

1. La clasificación de diseño para documentos históricos puede desacoplarse del reconocimiento de texto, sirviendo como un paso de enrutamiento confiable para procesos posteriores.
2. La estrategia de "preservación del separador" propuesta permite que los modelos se generalicen a diseños no rectangulares no vistos sin necesidad de anotaciones a gran escala.
3. El conjunto de datos CLC y la metodología propuesta proporcionan una línea base dirigida para futuras investigaciones en el análisis de documentos históricos de bajos recursos, específicamente para escrituras no latinas y estructuras de manuscritos complejas.

Los autores mantienen la modestia respecto al alcance actual, señalando que el enfoque se limita actualmente a páginas hebreas impresas y que se requiere trabajo futuro para extender estos métodos a manuscritos escritos a mano e integrar el reconocimiento de tipo de escritura.