Complex Layout Classification in the Wild: A Low-Resource Approach with Layout-Preserving Augmentations

Technische Samenvatting: Complexe Layoutclassificatie in de Praktijk

Probleemstelling
Documentlay-outanalyse is een vereiste voor downstream-taken zoals OCR, automatische transcriptie en reconstructie van de leesvolgorde. Terwijl moderne documenten (bijv. PDF's, facturen) vaak een schoon "Manhattan"-rasterstructuur volgen, vertonen historische documenten—met name middeleeuwse manuscripten en vroege gedrukte boeken—zeer onregelmatige, complexe lay-outs. Deze lay-outs bevatten niet-rechthoekige tekstregio's (bijv. L-vormig, C-vormig, O-vormig en "Talmudische" meerkoloms arrangementen) die worden gescheiden door duidelijke geometrische grenzen.

De huidige state-of-the-art lay-outanalyse leunt zwaar op grootschalige geannoteerde benchmarks (bijv. PubLayNet, DocLayNet) en deep learning-modellen die zijn getraind op gestandaardiseerde, Engelstalige documenten. Deze methoden hebben moeite met historische contexten met weinig middelen om drie belangrijke redenen:

1. Datagebrek: Historische collecties missen grootschalige geannoteerde datasets.
2. Structurele Complexiteit: Standaard pixelgebaseerde segmentatie faalt vaak in het onderscheiden van semantisch verschillende tekstblokken in complexe configuraties (bijv. het niet kunnen scheiden van een hoofdtekst van een omliggende commentaar in een C-vorm).
3. Overfitting: Modellen die zijn getraind op kleine datasets hebben de neiging om te overfitten op incidentele tekstuele details (lettertype, specifieke inhoud) in plaats van te leren van de globale geometrische arrangementen die de lay-outklasse definiëren.

Methodologie
De auteurs stellen een benadering voor met weinig middelen voor, gecentreerd rond een nieuwe trainingsstrategie die de prioriteit geeft aan separator-geometrie boven tekstuele inhoud.

1. Dataset Curatie (CLC):

   • De auteurs hebben de CLC-dataset samengesteld, een gespecialiseerde corpus van 155 hoogresolutie Hebreeuwse pagina's uit de Nationale Bibliotheek van Israël en diverse gedrukte boeken.
   • De dataset is handmatig geannoteerd in acht afzonderlijke lay-outklassen op basis van separatorregio's: C (en de spiegelbeeldversie), L (en de spiegelbeeldversie), U (en de geïnverteerde spiegelbeeldversie), O, en Y (een verzamelnaam voor complexe meercomponenten-lay-outs).
   • De annotaties zijn geverifieerd door een expert-paleograaf om de nauwkeurigheid van de grondwaarheid (ground-truth) te waarborgen.

2. Lay-outbehoudende Augmentaties:
   Om datagebrek te overwinnen zonder labelruis te introduceren, hebben de auteurs een taakspecifieke augmentatie-pipeline ontwikkeld die ontworpen is om tekstuele details te onderdrukken terwijl de structurele "skelet" van de pagina behouden blijft:

   • Narrow Anisotropic Gaussian Masking: Een multi-georiënteerd anisotroop Gaussisch filter wordt toegepast op het documentbeeld. Door een smalle standaarddeviatie ($\sigma_x=1$) te gebruiken en te filteren op horizontale ($\theta=0$) en verticale ($\theta=\pi/2$) oriëntaties, genereert de methode een responsmap die separatorregio's (die continue lijnen zijn) accentueert, terwijl hoogfrequente tekstuele ruis wordt onderdrukt. De resulterende masker inverteert niet-separator pixels, waardoor het model wordt gedwongen de lettertypen en inhoud te negeren.
   • Reflectie-geïnduceerde Labeltransformaties: Horizontale en verticale reflecties worden toegepast om de trainingsdistributie te verrijken. Cruciaal is dat de auteurs een gesloten labelset definiëren waarbij reflecties asymmetrische klassen naar hun tegenhangers mappen (bijv. $C \leftrightarrow \bar{C}$, $L \leftrightarrow \bar{L}$) of naar de $Y$-klasse, wat de consistentie van de labels waarborgt. Rotaties en vervormingen (shears) zijn expliciet uitgesloten omdat zij de structurele semantiek van de lay-out veranderen.

3. Modelarchitectuur:

   • Het systeem maakt gebruik van een ConvNeXt-Tiny backbone, gekozen vanwege de inductieve biases (lokaliteit, translatie-equivariantie, hiërarchische compositie) die goed aansluiten bij separator-gestuurde geometrie.
   • Het model wordt gefinetuned via een gefaseerde aanpak: eerst wordt de classifier head getraind, waarna de backbone wordt ontdocht (unfrozen) met een lagere leerfrequentie om overfitting te voorkomen.
   • Inputafbeeldingen worden geschaald naar $224 \times 224$ en gebinariseerd met behulp van Otsu's drempelwaarde.

4. Active Learning Protocol:
   De auteurs evalueerden de efficiëntie van labels via een active learning loop met drie acquisitiefuncties (Random, Entropy en Margin) om te bepalen hoeveel gelabelde monsters nodig zijn om een hoge prestatie te bereiken.

Belangrijkste Bijdragen

1. CLC Dataset: Een nieuwe, compacte, hoogresolutie dataset van 155 Hebreeuwse pagina's met acht fijnmazige, door separators gedefinieerde lay-outklassen, wat een antwoord is op het gebrek aan middelen voor niet-Latijnse historische lay-outs.
2. Nieuwe Augmentatiestrategie: De introductie van Narrow Anisotropic Gaussian Masking, die het model dwingt om globale geometrische arrangementen te leren door incidentele tekstuele details te onderdrukken, gecombineerd met reflectie-geïnduceerde labeltransformaties om de trainingsdistributie uit te breiden terwijl de semantische consistentie behouden blijft.
3. Systematische Evaluatie: Een uitgebreide evaluatie onder extreme schaarste van data, inclussief backbone-vergelijkingen, ablatie-studies, externe blind-corpus testen en een active learning-analyse.

Resultaten

• Backbone Vergelijking: Op de 31-pagina testset behaalde ConvNeXt-Tiny de beste prestaties met 90% nauwkeurigheid en een macro-F1 van 0,88. Dit presteerde significant beter dan EfficientNet-B0, VGG16, ResNet-18 en ViT-B/16 (die $\le$ 45% nauwkeurigheid scoorden), wat aantoont dat CNN's met passende inductieve biases superieur zijn aan Transformers in dit scenario met weinig middelen en een focus op geometrie.
• Ablatie-studie:
  • Alleen binair: 32% nauwkeurigheid (wat aangeeft dat eenvoudige binarisatie onvoldoende is).
  • Binair + Flips: 45% nauwkeurigheid.
  • Binair + Masking: 68% nauwkeurigheid (bevestigt dat de taak door separators wordt gedreven).
  • Volledige Pipeline (Masking + Flips): 90% nauwkeurigheid.
  • De studie bevestigde dat masking fungeert als een structuur-behoudende regularisator, terwijl flips de nodige diversiteit bieden.
• Externe Blind Evaluatie: Het model werd getest op een subset van 36.215 boekmappen van de Nationale Bibliotheek van Israël (ongeziene data). Op een handmatig geverifieerde subset met een hoog vertrouwen (160 samples) behaalde het model 83,75% nauwkeurigheid, wat een sterke generalisatie naar ongecureerde, echte archieven aantoont.
• Active Learning: De volledige augmentatie-pipeline verbeterde de efficiëntie van labels aanzienlijk. Onder een entropy-acquisitiestrategie behaalde de volledige pipeline een macro-F1 Area Under the Learning Curve (AULC) van 0,61, vergeleken met 0,30 voor baseline-methoden.

Betekenis en Claims
Het artikel claimt dat robuuste classificatie van complexe historische lay-outs haalbaar is onder extreme schaarste van annotaties door de focus van het leren te verschuiven van de tekstuele inhoud naar de globale geometrische structuur. De auteurs stellen dat standaard data-augmentatie (bijv. rotatie, vervaging) onvoldoende is; in plaats daarvan zijn domein-bewuste augmentaties die de separator-topologie expliciet behouden, cruciaal.

Het werk demonstreert dat:

1. Lay-outclassificatie voor historische documenten kan worden losgekoppeld van tekstherkenning, wat dient als een betrouwbare routing-stap voor downstream-pipelines.
2. De voorgestelde "separator-behoudende" strategie modellen in staat stelt om te generaliseren naar ongeziene, niet-rechthoekige lay-outs zonder massale annotatie.
3. De CLC-dataset en de voorgestelde methodologie een gerichte baseline bieden voor toekomstig onderzoek in lay-outanalyse met weinig middelen, specif