Complex Layout Classification in the Wild: A Low-Resource Approach with Layout-Preserving Augmentations

Resumo Técnico: Classificação de Layout Complexo em Ambiente Real

Definição do Problema
A análise de layout de documentos é um pré-requisito para tarefas subsequentes, como OCR, transcrição automatizada e reconstrução da ordem de leitura. Embora os documentos modernos (ex: PDFs, faturas) frequentemente sigam estruturas de grade "Manhattan" limpas, documentos históricos — particularmente manuscritos medievais e livros impressos antigos — exibem layouts altamente irregulares e complexos. Esses layouts apresentam regiões de texto não retangulares (ex: em forma de L, C, O e arranjos multi-colunares "Talmúdicos") separados por fronteiras geométricas distintas.

A análise de layout de estado da arte atual depende fortemente de benchmarks anotados em larga escala (ex: PubLayNet, DocLayNet) e modelos de aprendizagem profunda treinados em documentos padronizados de língua inglesa. Esses métodos enfrentam dificuldades em cenários históricos de baixos recursos por três razões principais:

1. Escassez de Dados: Coleções históricas carecem de conjuntos de dados anotados em larga escala.
2. Complexidade Estrutural: A segmentação baseada em pixels padrão muitas vezes falha em distinguir blocos de texto semanticamente distintos em configurações complexas (ex: falhando em separar um texto principal de um comentário circundante em uma forma de C).
3. Overfitting (Sobreajuste): Modelos treinados em conjuntos de dados pequenos tendem a sofrer overfitting em detalhes textuais incidentais (fonte, conteúdo específico) em vez de aprender os arranjos geométricos globais que definem a classe de layout.

Metodologia
Os autores propõem uma abordagem de baixos recursos centrada em uma nova estratégia de treinamento que prioriza a geometria dos separadores sobre o conteúdo textual.

1. Curadoria de Dados (CLC):

   • Os autores curaram o conjunto de dados CLC, um corpus especializado de 155 páginas de alta resolução em hebraico da Biblioteca Nacional de Israel e de vários livros impressos.
   • O conjunto de dados foi anotado manualmente em oito classes de layout distintas baseadas em regiões de separadores: C (e seu espelho), L (e seu espelho), U (e seu espelho invertido), O, e Y (um termo genérico para layouts multi-componentes complexos).
   • As anotações foram verificadas por um paleógrafo especialista para garantir a precisão da verdade fundamental (ground-truth).

2. Aumentações de Preservação de Layout:
   Para superar a escassez de dados sem introduzir ruído de rótulo, os autores desenvolveram um pipeline de aumentação específico para a tarefa, projetado para suprimir detalhes textuais enquanto preserva o "esqueleto" estrutural da página:

   • Mascaramento Gaussiano Anisotrópico Estreito: Um filtro Gaussiano anisotrópico multiorientado é aplicado à imagem do documento. Ao utilizar um desvio padrão estreito ($\sigma_x=1$) e filtrar nas orientações horizontal ($\theta=0$) e vertical ($\theta=\pi/2$), o método gera um mapa de resposta que destaca as regiões de separadores (que são linhas contínuas) enquanto suprime o ruído textual de alta frequência. O mapa resultante inverte os pixels não-separadores, forçando o modelo a ignorar a fonte e o conteúdo.
   • Transformações de Rótulo Induzidas por Reflexão: Reflexões horizontais e verticais são aplicadas para enriquecer a distribuição de treinamento. Crucialmente, os autores definem um conjunto de rótulos fechado onde as reflexões mapeiam classes assimétricas para seus correspondentes (ex: $C \leftrightarrow \bar{C}$, $L \leftrightarrow \bar{L}$) ou para a classe $Y$, garantindo a consistência do rótulo. Rotações e cisalhamentos (shears) são explicitamente excluídos, pois alteram a semântica estrutural do layout.

3. Arquitetura do Modelo:

   • O sistema utiliza um backbone ConvNeXt-Tiny, escolhido por seus vieses indutivos (localidade, equivariância por translação, composição hierárquica) que se alinham bem com a geometria baseada em separadores.
   • O modelo é ajustado (fine-tuned) usando uma abordagem em estágios: primeiro treinando a cabeça de classificação, depois descongelando o backbone com uma taxa de aprendizado mais baixa para evitar o overfitting.
   • As imagens de entrada são redimensionadas para $224 \times 224$ e binarizadas usando o limiar de Otsu.

4. Protocolo de Aprendizagem Ativa:
   Os autores avaliaram a eficiência de rotulagem por meio de um loop de aprendizagem ativa com três funções de aquisição (Aleatória, Entropia e Margem) para determinar quantos poucos exemplos rotulados são necessários para atingir alto desempenho.

Principais Contribuições

1. Dataset CLC: Um novo e compacto conjunto de dados de 155 páginas em hebraico de alta resolução com oito classes de layout finamente detalhadas e definidas por separadores, abordando a falta de recursos para layouts não-retangulares históricos.
2. Estratégia de Aumentação Inovadora: A introdução do Mascaramento Gaussiano Anisotrópico Estreito, que obriga o modelo a aprender arranjos geométricos globais ao suprimir detalhes textuais incidentais, combinado com transformações de rótulo induzidas por reflexão para expandir a distribuição de treinamento mantendo a consistência semântica.
3. Avaliação Sistemática: Uma avaliação abrangente sob severa escassez de dados, incluindo comparações de backbone, estudos de ablação, testes em corpus externo cego e análise de aprendizagem ativa.

Resultos

• Comparação de Backbone: No conjunto de teste de 31 páginas, o ConvNeXt-Tiny alcançou o melhor desempenho com 90% de acurácia e um F1-macro de 0,88. Este superou significativamente o EfficientNet-B0, VGG16, ResNet-18 e ViT-B/16 (que pontuaram $\le$ 45% de acurácia), demonstrando que as CNNs com vieses indutivos apropriados são superiores aos Transformers neste regime de baixos recursos e focado em geometria.
• Estudo de Ablação:
  • Apenas binário: 32% de acurácia (indicando que a binarização simples é insuficiente).
  • Binário + Flips (Inversões): 45% de acurácia.
  • Binário + Mascaramento: 68% de acurácia (confirmando que a tarefa é dirigida por separadores).
  • Pipeline Completo (Mascaramento + Flips): 90% de acurácia.
  • O estudo confirmou que o mascaramento atua como um regularizador de preservação de estrutura, enquanto os flips fornecem a diversidade necessária.
• Avaliação Cega Externa: O modelo foi testado em um subconjunto de 36.215 pastas de livros da Biblioteca Nacional de Israel (dados não vistos). Em um subconjunto de alta confiança verificado manualmente (160 amostras), o modelo alcançou 83,75% de acurácia, demonstrando forte generalização para arquivos reais não curados.
• Aprendizagem Ativa: O pipeline de aumentação completo melhorou significativamente a eficiência de rotulagem. Sob uma estratégia de aquisição de entropia, o pipeline completo alcançou um AULC (Área sob a Curva de Aprendizado) de F1-macro de 0,61, comparado a 0,30 para os métodos de linha de base.

Significância e Alegações
O artigo afirma que a classificação robusta de layouts históricos complexos é alcançável sob severa escassez de anotação ao deslocar o foco do aprendizado do conteúdo textual para a estrutura geométrica global. Os autores argumentam que a aumentação de dados padrão (ex: rotação, desfoque) é insuficiente para este domínio; em vez disso, aumentações conscientes do domínio que preservam explicitamente a topologia dos separadores são críticas.

O trabalho demonstra que:

1. A classificação de layout para documentos históricos pode ser desacoplada do reconhecimento de texto, servindo como uma etapa de roteamento confiável para pipelines subsequentes.
2. A estratégia proposta de "preservação de separadores" permite que os modelos generalizem para layouts não-retangulares não vistos sem a necessidade de anotações em escala massiva.
3. O dataset CLC e a metodologia proposta fornecem uma linha de base direcionada para pesquisas futuras em análise de documentos históricos de baixos recursos, especificamente para escritas não-latinas e estruturas de manuscritos complexas.

Os autores mantêm-se modestos quanto ao escopo atual, observando que a abordagem está atualmente limitada a páginas impressas em hebraico e que trabalhos futuros são necessários para estender esses métodos para manuscritos escritos à mão e integrar o reconhecimento de tipo de escrita.