Complex Layout Classification in the Wild: A Low-Resource Approach with Layout-Preserving Augmentations

Sintesi Tecnica: Classificazione di Layout Complessi "In the Wild"

Definizione del Problema
L'analisi del layout dei documenti è un prerequisito per compiti a valle come l'OCR, la trascrizione automatica e la ricostruzione dell'ordine di lettura. Mentre i documenti moderni (ad esempio, PDF, fatture) seguono spesso strutture a griglia "Manhattan" pulite, i documenti storici — in particolare i manoscritti medievali e i primi libri stampati — esibiscono layout altamente irregolari e complessi. Questi layout presentano regioni di testo non rettangolari (ad esempio, a forma di L, C, O e disposizioni multi-colonna "Talmudiche") separate da confini geometrici distinti.

Lo stato dell'arte attuale per l'analisi del layout si affida pesantemente a benchmark annotati su larga scala (ad esempio, PubLayNet, DocLayNet) e a modelli di deep learning addestrati su documenti standardizzati in lingua inglese. Tali metodi faticano in contesti storici a basse risorse per tre ragioni primarie:

1. Scarsità di Dati: Le collezioni storiche mancano di dataset annotati su larga scala.
2. Complessità Strutturale: La segmentazione basata sui pixel standard spesso non riesce a distinguere blocchi di testo semanticamente distinti in configurazioni complesse (ad esempio, fallendo nel separare un testo principale da un commento circostante in una forma a C).
3. Overfitting: I modelli addestrati su piccoli dataset tendono a fare overfitting su dettagli testuali incidentali (font, contenuto specifico) piuttosto che apprendere le disposizioni geometriche globali che definiscono la classe di layout.

Metodologia
Gli autori propongono un approccio a basse risorse centrato su una nuova strategia di addestramento che privilegia la geometria dei separatori rispetto al contenuto testuale.

1. Curatela del Dataset (CLC):

   • Gli autori hanno curato il dataset CLC, un corpus specializzato di 155 pagine ebraiche ad alta risoluzione provenienti dalla Biblioteca Nazionale di Israele e da vari libri stampati.
   • Il dataset è annotato manualmente in otto classi di layout distinte basate sulle regioni dei separatori: C (e la sua versione speculare), L (e la sua versione speculare), U (e la sua versione speculare invertita), O, e Y (un termine generico per layout multi-componente complessi).
   • Le annotazioni sono state verificate da un esperto paleografo per garantire l'accuratezza della ground-truth.

2. Augmentation Preservante il Layout:
   Per superare la scarsità di dati senza introdurre rumore nelle etichette, gli autori hanno sviluppato una pipeline di augmentation specifica per il compito, progettata per sopprimere i dettagli testuali pur preservando lo "scheletro" strutturale della pagina:

   • Mascheramento Gaussiano Anisotropo Stretto: Un filtro Gaussiano anisotropo multi-orientato viene applicato all'immagine del documento. Utilizzando una deviazione standard stretta ($\sigma_x=1$) e filtrando alle orientazioni orizzontale ($\theta=0$) e verticale ($\theta=\pi/2$), il metodo genera una mappa di risposta che evidenzia le regioni dei separatori (che sono linee continue) sopprimendo al contempo il rumore testuale ad alta frequenza. La maschera risultante inverte i pixel non-separatori, costringendo il modello a ignorare font e contenuto.
   • Trasformazioni delle Etichette Indotte dalla Riflessione: Riflessioni orizzontali e verticali vengono applicate per arricchire la distribuzione dell'addestramento. Fondamentalmente, gli autori definiscono un set di etichette chiuso in cui le riflessioni mappano le classi asimmetriche nei loro corrispettivi (ad esempio, $C \leftrightarrow \bar{C}$, $L \leftrightarrow \bar{L}$) o nella classe $Y$, garantendo la coerenza delle etichette. Rotazioni e deformazioni (shears) sono esplicitamente escluse poiché alterano la semantica strutturale del layout.

3. Architettura del Modello:

   • Il sistema impiega un backbone ConvNeXt-Tiny, scelto per i suoi bias induttivi (località, equivarianza alla traslazione, composizione gerarchica) che si allineano bene con la geometria guidata dai separatori.
   • Il modello viene perfezionato tramite un approccio a stadi: prima l'addestramento della testa del classificatore, poi lo sblocco del backbone con un tasso di apprendimento più basso per prevenire l'overfitting.
   • Le immagini in input sono ridimensionate a $224 \times 224$ e binarizzate tramite la soglia di Otsu.

4. Protocollo di Active Learning:
   Gli autori hanno valutato l'efficienza delle etichette attraverso un ciclo di active learning con tre funzioni di acquisizione (Random, Entropy e Margin) per determinare quanti campioni etichettati siano necessari per raggiungere alte prestazioni.

Contributi Chiave

1. Dataset CLC: Un nuovo, compatto dataset di 155 pagine ebraiche ad alta risoluzione con otto classi di layout fini, definite dai separatori, che affronta la mancanza di risorse per layout storici non rettangolari.
2. Nuova Strategia di Augmentation: L'introduzione del Mascheramento Gaussiano Anisotropo Stretto, che costringe il modello a imparare le disposizioni geometriche globali sopprimendo i dettagli testuali incidentali, combinata con le trasformazioni delle etichette indotte dalla riflessione per espandere la distribuzione dell'addestramento mantenendo la coerenza semantica.
3. Valutazione Sistematica: Una valutazione completa sotto severa scarsità di dati, inclusi confronti tra backbone, studi di ablazione, test su corpus esterno cieco e analisi di active learning.

Risultati

• Confronto tra Backbone: Sul set di test di 31 pagine, ConvNeXt-Tiny ha ottenuto le migliori prestazioni con il 90% di accuratezza e un macro-F1 di 0,88. Questo ha superato significativamente EfficientNet-B0, VGG16, ResNet-18 e ViT-B/16 (che hanno ottenuto un'accuratezza $\le$ 45%), dimostrando che le CNN con appropriati bias induttivi sono superiori ai Transformer in questo regime a basse risorse focalizzato sulla geometria.
• Studio di Ablazione:
  • Solo binario: 32% di accuratezza (indicando che la semplice binarizzazione è insufficiente).
  • Binario + Flip: 45% di accuratezza.
  • Binario + Mascheramento: 68% di accuratezza (confermando che il compito è guidato dai separatori).
  • Pipeline Completa (Mascheramento + Flip): 90% di accuratezza.
  • Lo studio ha confermato che il mascheramento agisce come un regolarizzatore preservante la struttura, mentre i flip forniscono la diversità necessaria.
• Valutazione Cieca Esterna: Il modello è stato testato su un sottoinsieme di 36.215 cartelle di libri dalla Biblioteca Nazionale di Israele (dati non visti). Su un sottoinsieme di 160 campioni verificati manualmente ad alta confidenza, il modello ha raggiunto l'83,75% di accuratezza, dimostrando una forte generalizzazione su archivi reali non curati.
• Active Learning: La pipeline di augmentation completa ha migliorato significativamente l'efficienza delle etichette. Sotto una strategia di acquisizione dell'entropia, la pipeline completa ha raggiunto un macro-F1 Area Under the Learning Curve (AULC) di 0,61, rispetto allo 0,30 dei metodi baseline.

Significato e Rivendicazioni
Il paper sostiene che la classificazione robusta di layout storici complessi sia realizzabile sotto una severa scarsità di annotazioni spostando il focus dell'apprendimento dal contenuto testuale alla struttura geometrica globale. Gli autori sostengono che la standard augmentation (ad esempio, rotazione, sfocatura) sia insufficiente per questo dominio; invece, le augmentation consapevole del dominio che preservano esplicitamente la topologia dei separatori sono critiche.

Il lavoro dimostra che:

1. La classificazione del layout per documenti storici può essere scissa dal riconoscimento del testo, fungendo da affidabile passaggio di routing per le pipeline a valle.
2. La strategia proposta di "preservazione dei separatori" permette ai modelli di generalizzare su layout non rettangolari non visti senza necessità di annotazioni su scala massiva.
3. Il dataset CLC e la metodologia proposta forniscono una base mirata per la ricerca futura nell'analisi di documenti storici a basse risorse, specificamente per script non latini e strutture di manoscritti complessi.

Gli autori rimangono modesti riguardo all'attuale portata, notando che l'approccio è attualmente limitato a pagine ebraiche stampate e che sono necessari lavori futuri per estendere questi metodi ai manoscritti scritti a mano e integrare il riconoscimento del tipo di script.