Technische Samenvatting: DOSA – Een Boomgestuurd, Zelfregressief Framework voor Structuuranalyse van Lange Documenten

Probleemdefinitie

Document Structure Analysis (DSA) beoogt de logische, ruimtelijke en semantische relaties tussen pagina-objecten (bijv. koppen, tabellen, tekstblokken) in visueel rijke documenten (PDF's, presentaties) te ontdekken om een semantische boom te construeren. Waar eerder werk zich richtte op enkelpagina-documenten met behulp van visuele kenmerken, vereisen moderne toepassingen het verwerken van meerpagina-documenten met langetermijnafhankelijkheden en heterogene lay-outs.

Bestaande transformer-gebaseerde benaderingen voor meerpagina-documenten kampen met aanzienlijke uitdagingen:

1. Computationele Overhead: De kwadratische complexiteit van self-attention maakt het verwerken van documenten met duizenden pagina-objecten prohibitief.
2. Attention Dilution (Aandachtsverwatering): In lange sequenties falen aandachtmechanismen vaak in het focussen op relevante elementen, wat leidt tot degradatie van de nauwkeurigheid.
3. Cross-Page Modeling: Het verenigen van langetermijnafhankelijkheden over diverse pagina-lay-outs blijft een niet-triviale taak voor standaard architecturen.

Methodologie

De auteurs stellen DOSA (DOcument Structure Analyzer) voor, een verenigd framework dat de structuuranalyse van lange documenten herformuleert als een incrementeel, zelfregressief semantisch boomconstructieprobleem. In plaats van een heel document in één enkele pass te verwerken, werkt DOSA blok voor blok (chunk-by-chunk), waarbij de gedeeltelijk geconstrueerde boom dient als structurele context voor opeenvolgende voorspellingen.

1. Zelfregressieve Semantische Boomconstructie

• Chunking (Blokvorming): Het document wordt verdeeld in $M$ chunks, die elk maximaal $N$ pagina-objecten bevatten (overeenkomend met de inputlimiet van de transformer).
• Incrementele Update: Beginnend bij de eerste chunk, voorspelt het model hiërarchische (ouder-kind) en ordeningsrelaties (voorganger). Deze voorspellingen actualiseren de semantische boom $T_{i-1}$ om $T_i$ te vormen.
• Cycle Resolution (Cyclusresolutie): Om potentiële structurele inconsistenties (bijv. cycli) te behandelen die worden veroorzaakt door classificatiefouten, verwijdert een decycling-procedure de rand met de laagste betrouwbaarheid. Conflicten tussen ouder-kind en ordeningsvoorspellingen worden opgelost via ruimtelijke ordening op basis van bounding boxes.

2. Boomgestuurde Contextselectie

Om de beperking van geïsoleerde chunk-verwerking aan te pakken, maakt DOSA gebruik van de intrinsieke ordening van documenten.

• Rightmost Branch Invariant (Invariantie van de meest rechtse tak): Theoretisch geldt dat als een pagina-object in een nieuwe chunk een ouder heeft in de eerder geconstrueerde boom, die ouder op de meest rechtse tak (rightmost branch) van de boom moet liggen (overeenkomend met de huidige leesvolgorde).
• Soft Window Mechanisme: Om de robuustheid tegen vroege voorspellingsfouten te verbeteren, gebruikt DOSA een "rightmost-branches-based soft window". Context-objecten worden opgehaald beginnend bij de meest rechtse tak van de gedeeltelijke boom. Als het contextvenster niet volledig is, worden objecten toegevoegd vanaf de tweede meest rechtse tak, de derde, enzovoort. Dit behoudt meerdere structureel plausibele kandidaten en verzacht de foutpropagatie.

3. In-Chunk Model Architectuur

De ruggengraat is een lichtgewicht multimodale model bestaande uit drie componenten:

• Feature Extraction (Backbone): Extraheert en fuseert vier typen kenmerken voor elk pagina-object:
  • Visueel: ResNet-50 FPN met MultiScaleROIAlign.
  • Semantisch: Tekstinhoud (of categorie-fallback) gecodeerd via BERT.
  • Categorie: Integer-gebaseerde embedding.
  • Grootte (Sizing): Genormaliseerde breedte-, hoogte- en oppervlaktevectoren.
  • Deze worden geconcateneerd en geprojecteerd via een MLP naar een 1024-dimensionale gefuseerde embedding.
• Transformer Encoder: Een 6-laagse encoder verwerkt de sequentie van gefuseerde embeddings. Het maakt gebruik van globale positionele encoding die relatieve pagina-indices binnen de chunk combineert met genormaliseerde bounding box-coördinaten om ruimtelijke en cross-page orde te vangen.
• Relation Classifier: Een multi-class classifier (MLP) voorspelt de ouder en de directe voorganger voor elk object door de representaties van kandidaat-objecten te concateneren. Het model wordt getraind met Focal Loss om klassenonbalans te behandelen.

Belangrijkste Bijdragen

1. Verenigd Framework: DOSA herformuleert DSA als een incrementeel, zelfregressief proces, waarbij gedeeltelijk geconstrueerde bomen als structurele priors worden gebruikt om de schaalbare parsing van lange documenten mogelijk te maken.
2. Efficiënt Modelontwerp: Het framework integreert visuele, semantische, categorische en grootte-kenmerken om relaties te voorspellen zonder afhankelijk te zijn van grootschalige document-specifieke foundation model pretraining.
3. Boomgestuurde Context: De introductie van een boomgestuurd contextselectiemechanisme (specifiek de soft window op de meest rechtse takken) stelt het model in staat om langetermijnafhankelijkheden te modelleren terwijl de computationele kosten van volledige document-encoding worden vermeden.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat DOSA de state-of-the-art methoden en large language model baselines overtreft.

Experimentele Resultaten

Experimenten werden uitgevoerd op vijf benchmarks: arXivDocs, E-Periodica (enkelpagina), en HRDS, HRDH, DocHieNet (meerpagina).

• Prestaties op Meerpagina-benchmarks: Op de uitdagende DocHieNet benchmark behaalde DOSA een verbetering van ongeveer 4 F1-punten en 19 TEDS-punten ten opzichte van de vorige state-of-the-art (DHFormer).
• Vergelijking met LLM's: DOSA presteerde aanzienlijk beter dan large language model baselines (Gemini-2.5-Pro en GPT-5.2) op DocHieNet, met een F1 van 81.80 versus 69.53 (GPT-5.2) en een TEDS van 76.81 versus 57.82. Dit suggereert dat expliciete structurele modellering superieur is aan puur generatieve redenering voor hiërarchische reconstructie.
• Ablatie-studies:
  • Context: Het verwijderen van context of het gebruiken van eenvoudige sequentiële vensters resulteerde in substantiële prestatiedalingen, wat de noodzaak van boomgestuurde retrieval valideert.
  • Kenmerken (Features): Het verwijderen van categorie-embeddings veroorzaakte een enorme prestatiedaling (11.67 F1-punten), wat hun cruciale rol benadrukt. Grootte-embeddings boden een bescheiden maar consistent voordeel.
  • Leesvolgorde: Zelfs wanneer vertrouwd werd op geïnferred leesvolgorde in plaats van ground truth, presteerde DOSA beter dan DHFormer (dat ground-truth volgorde vereist), wat de robuustheid van het framework aantoont.

Betekenis en Claims

Het artikel claimt dat DOSA de kritieke flessenhals bij het verwerken van lange, meerpagina-documenten aanpakt door over te stappen van een "single-pass" paradigma naar een "zelfregressieve, boomgestuurde" aanpak. Door elke inferentiestap te conditioneren op een structureel relevante subset van context (de meest rechtse takken van de semantische boom), mitigeert het framework effectief de beperkingen van sequentielengte en attention-dilution van transformers.

De auteurs benadrukken dat deze aanpak schaalbare en coherente parsing van lange documenten mogelijk maakt zonder de prohibitieve computationele kosten van volledige document-attention of de afhankelijkheid van massieve foundation models. De resultaten suggereren dat taak-specifieke mechanismen voor het identificeren van relevante context effectiever zijn dan impliciete aandachtpatronen, wat een praktische oplossing biedt voor toepassingen die nauwkeurige document-chunking, gestructureerde extractie en hiërarchie-bewuste samenvatting vereisen.

Beperkingen

De auteurs erkennen dat het huidige framework geen citatie- of referatierelaties (grafiekgebaseerde structuren voorbij bomen) modelleert en dat het soft window mechanisme, hoewel robuust, de impact van vroege voorspellingsfouten niet volledig kan elimineren. Toekomstig werk kan adaptieve foutcorrectiemechanismen verkennen.