💻 computer science

The COTe score: A decomposable framework for evaluating Document Layout Analysis models

Deze paper introduceert het COTe-scorekader, bestaande uit een semantische labelmethode (SSU) en een decomposeerbare metriek, om de evaluatie van Document Layout Analysis-modellen te verbeteren door traditionele beeldherkenningsmaten te vervangen die vaak misleidend zijn voor gedrukte media.

Oorspronkelijke auteurs: Jonathan Bourne, Mwiza Simbeye, Ishtar Govia

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jonathan Bourne, Mwiza Simbeye, Ishtar Govia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De COTe-score: Een nieuwe manier om documenten te "lezen" voor computers

Stel je voor dat je een oude krant hebt. Voor een mens is het heel duidelijk: hier staat een kop, hier een artikel, en hier een advertentie. De tekst zit in vakjes, net als een legpuzzel waarbij de stukjes perfect in elkaar passen zonder elkaar te overlappen.

Computers vinden dit echter lastig. Als ze proberen deze krant te "lezen" (een proces dat Document Layout Analysis heet), gebruiken ze vaak meetlatjes die eigenlijk bedoeld zijn voor foto's van de echte wereld.

Het probleem: Foto's vs. Kranten
Stel je een foto voor van een drukke markt. Mensen lopen voor elkaar, honden rennen door elkaar, en objecten overlappen elkaar. De huidige meetlatjes (zoals IoU en F1) zijn gemaakt voor dit soort foto's. Ze kijken: "Hoe veel overlappen deze twee objecten?"

Maar een krant is geen foto van de echte wereld; het is een platte, 2D-tekening. Niemand overlapt elkaar in een krant. Als een computer een stukje tekst in een krant twee keer "ziet" (overlap) of als het een stukje tekst uit het ene artikel in het andere artikel schuift (grensoverschrijding), is dat een fout. De oude meetlatjes zien dit niet goed als fout, of ze straffen het niet genoeg. Het is alsof je een schilderij meet met een liniaal voor een gebouwenplan: het werkt niet goed.

De oplossing: De SSU en de COTe-score
De auteurs van dit paper (Jonathan, Mwiza en Ishtar) hebben twee nieuwe dingen bedacht om dit op te lossen:

De SSU (Structural Semantic Unit):
In plaats van te kijken naar "dit is een regel tekst" of "dit is een alinea", kijken ze naar de betekenis.
- Analogie: Stel je voor dat je een verhaal leest. Het maakt niet uit of je de regels in kleine stukjes knipt of in grote blokken; het verhaal blijft hetzelfde. De SSU groepeert tekst op basis van wat het is (bijvoorbeeld: "dit is het hele artikel over voetbal") in plaats van hoe het eruitziet. Hierdoor maakt het niet uit of de computer de tekst in kleine regels of grote blokken ziet; het resultaat is hetzelfde.
De COTe-score:
Dit is de nieuwe meetlat. De naam staat voor vier dingen die de computer controleert:
- Coverage (Dekking): Heb je het hele stukje tekst gevonden? (Zoals het dekken van een tafel met een tafelkleed).
- Overlap (Overlappen): Heb je hetzelfde stukje tekst twee keer gemarkeerd? (Zoals twee tafelkleden die over elkaar heen liggen; dat is rommelig).
- Trespass (Overtreding): Ben je het gebied van een ander stukje tekst binnengedrongen? (Zoals een gast die op het feestje van de buren gaat zonder uitnodiging. In een krant mag een artikel niet in het andere artikel komen).
- Excess (Overmaat): Heb je ook nog witte ruimte of de randen van de pagina gemarkeerd?
De score is simpel: Dekking min Overlappen min Overtreding.
- Perfecte score: Je hebt alles gevonden, niets dubbel, en niets verkeerd.
- Slechte score: Je hebt veel gevonden, maar ook veel fouten gemaakt (dubbel of verkeerd).

Waarom is dit zo belangrijk?
De auteurs hebben getest of hun nieuwe meetlat beter werkt dan de oude. Ze hebben gekeken naar verschillende computermodellen die kranten lezen.

De oude meetlat (F1/IoU): Zegde vaak: "Dit model is slecht!" terwijl het eigenlijk heel goed was. Het model had de tekst perfect gevonden, maar omdat de computer de regels iets anders had ingedeeld dan de mens, dacht de oude meetlat dat het een fout was.
De nieuwe meetlat (COTe): Zegde: "Dit model is geweldig!" omdat het de betekenis van de tekst had begrepen, ongeacht hoe de regels precies waren ingedeeld.

Bovendien laat de COTe-score zien waar het misgaat.

Voorbeeld: Een model (DocLayout-YOLO) had een heel hoge dekking, maar het schuifde tekst van het ene artikel naar het andere (Trespass) en dubbelde tekst (Overlap). De oude meetlat zag dit als een goede score. De COTe-score zag het als een negatieve score en zei: "Stop! Dit model maakt de tekst onleesbaar door alles door elkaar te halen."

Conclusie
Dit paper introduceert een slimme nieuwe manier om te kijken of computers documenten goed begrijpen. In plaats van te kijken of de randjes van de tekstvakjes precies overeenkomen (wat vaak subjectief en lastig is), kijken ze of de inhoud en de structuur kloppen.

Het is alsof je een chef-kok beoordeelt:

De oude manier keek alleen of de ingrediënten in de juiste kom zaten.
De nieuwe COTe-methode kijkt of het eten lekker smaakt, of je niet per ongeluk zout in de suiker hebt gedaan, en of je niet twee keer dezelfde groente in de pan hebt gegooid.

De auteurs hebben ook een gratis softwarepakket (een bibliotheek) gemaakt zodat iedereen deze nieuwe meetlat kan gebruiken om betere documenten te maken.

Probleemstelling

Document Layout Analysis (DLA) is het proces waarbij een pagina wordt ontleed in betekenisvolle elementen voor data-extractie en digitalisering. Hoewel DLA-modellen snel evolueren, worden ze nog steeds geëvalueerd met algemene objectdetectiemetrics zoals IoU (Intersection over Union), F1-score en mAP (mean Average Precision).

De auteurs stellen dat deze metrics ongeschikt zijn voor gedrukte media omdat ze zijn ontworpen voor 2D-projecties van 3D-ruimtes (zoals foto's), waar objecten kunnen overlappen en interacties hebben. Gedrukte media daarentegen zijn natiu 2D en functioneren als een irreguliere tessellatie (een vloerbedekking zonder lege ruimtes) die leesbaarheid maximaliseert.

Het kernprobleem: Bestaande metrics leiden tot misleidende resultaten wanneer er verschillen zijn in de granulariteit van de annotatie (bijv. ground truth op regel-niveau versus modelvoorspellingen op alinea-niveau). Dit creëert een "pragmatisch falen" waarbij de metric de prestaties van het model niet correct interpreteert, zelfs als de tekstextractie perfect is.
Incommensurabiliteit: Verschillende datasets en labelling-schema's (zoals PAGE, hOCR, TEI) zijn vaak niet onderling vergelijkbaar, wat leidt tot onbetrouwbare benchmarking.

Methodologie

De auteurs introduceren een nieuw raamwerk dat bestaat uit twee hoofdcomponenten: de Structural Semantic Unit (SSU) en de COTe-score.

1. Structural Semantic Unit (SSU)

De SSU verschuift de focus van de fysieke positie van tekst naar de semantische structuur.

Definitie: Een SSU is een groep gelabelde tekstregio's die een gemeenschappelijke lay-out en semantische eenheid delen (bijv. een artikel in een krant dat over meerdere kolommen loopt).
Toewijzing: Voorspellingen worden toegewezen aan een SSU op basis van welke SSU het grootste deel van de voorspelling beslaat. Dit staat een veel-op-één-toewijzing toe (meerdere voorspellingen kunnen naar één SSU gaan), in tegenstelling tot de strikte 1-op-1-toewijzing bij IoU.
Doel: Het creëren van robuustheid tegen verschillen in labelling-granulariteit.

2. De COTe-score (Coverage, Overlap, Trespass, Excess)

Dit is een decomposeerbare metric die de kwaliteit van de paginaparsing meet. De score is relatief ten opzichte van het ground truth-oppervlak.

Coverage (C): Hoe groot is het deel van de ground truth dat door voorspellingen wordt gedekt? (Beloning voor het dekken van alle inhoud).
Overlap (O): Hoeveel ground truth-oppervlak wordt door meerdere voorspellingen bedekt? (Straf voor dubbele tekst, wat onmogelijk is in een 2D-tessellatie).
Trespass (T): Hoeveel ground truth wordt bedekt door een voorspelling die tot een andere SSU behoort? (Straf voor het overschrijden van semantische grenzen, wat leidt tot fouten in de woordvolgorde bij OCR).
Excess (e): Hoeveel oppervlak buiten de ground truth wordt bedekt? (Dient als ondersteunende metric om te zien of het model lege ruimtes of marges onterecht labelt).

De Formule:
$COTe = C - O - T$
De Excess-metric wordt niet afgetrokken in de hoofdscore, maar helpt bij het interpreteren van de context. Een perfecte score is 1, een negatieve score geeft aan dat de fouten (Overlap + Trespass) groter zijn dan de dekking.

Belangrijkste Bijdragen

SSU Framework: Een relationele labelling-methode die de evaluatie robuust maakt tegen verschillen in tekst-granulariteit.
COTe-score: Een native 2D-metric die specifiek is ontworpen voor de tessellatie-eigenschappen van gedrukte media en verschillende faalmodi (overlap, trespass) kan onderscheiden.
Open Source Library: De release van de cotescore Python-bibliotheek voor toepassing in DLA-projecten.
Geannoteerd Dataset: Een update van het NCSE-dataset met SSU-labels ter ondersteuning van de gemeenschap.

Resultaten

De auteurs hebben de COTe-score getest op drie datasets (NCSE, HNLA2013, DocLayNet) en vijf populaire DLA-modellen (o.a. DocLayout-YOLO, Heron, PP-DocLayout).

Granulariteitsrobuustheid: In casestudies bleek dat traditionele metrics (F1, IoU) faalden bij granulariteitsverschillen (bijv. regel vs. alinea), waarbij de F1-score met wel 70% daalde ondanks perfecte tekstextractie. De COTe-score daalde slechts met 16% (of bleef perfect), wat aantoont dat deze veel minder gevoelig is voor labelling-verschillen.
Ontmaskeren van Faalmodi: De COTe-score onthulde specifieke problemen die door mAP werden gemaskeerd. Bijvoorbeeld, een model (DocLayout-YOLO) had een hoge dekking (Coverage), maar een extreem hoge "Trespass" en "Overlap", wat resulteerde in een negatieve COTe-score. Dit duidt op ernstige kwaliteitsproblemen die voor OCR zouden leiden tot onleesbare tekst, terwijl de F1-score dit niet duidelijk maakte.
Correlatie: Er was slechts een matige correlatie (Spearman 0.27 - 0.77) tussen de COTe-score en traditionele metrics zoals IoU en mAP. In geen enkel geval was het beste model volgens COTe hetzelfde als het beste model volgens mAP.
Pragmatische Competentie: Interessant genoeg bleek dat de COTe-score ook zonder expliciete SSU-labelling robuust bleef, zolang de ground truth op alinea-niveau was gelabeld. Dit verlaagt de drempel voor adoptie.

Betekenis en Conclusie

De COTe-score en het SSU-framework bieden een hogere "pragmatische competentie" dan bestaande metrics. Ze interpreteren modeloutput correcter binnen de context van 2D-gedrukte media, waarbij ze straffen voor het schenden van semantische grenzen en het dubbel tellen van tekst.

Voor onderzoekers: Het biedt een gedetailleerd inzicht in faalmodi (waarom faalt een model?), wat helpt bij het selecteren van het juiste model, het fine-tunen van trainingdata, of het toepassen van post-processing.
Voor de praktijk: Het verkleint de interpretatie-prestatie-kloof aanzienlijk. Practici kunnen nu systemen debuggen op basis van concrete semantische fouten in plaats van willekeurige IoU-waarden.
Toekomst: De auteurs pleiten voor het gebruik van deze decomposeerbare metrics om de kwaliteit van documentverwerking te verbeteren en suggesteren dat toekomstig werk zich kan richten op hiërarchische SSU's en het koppelen van fouten aan de informatiewaarde van trainingsdata.

Kortom, de COTe-score vervangt de "one-size-fits-all" objectdetectiemetrics door een gespecialiseerde, semantisch onderbouwde evaluatie die beter aansluit bij de realiteit van documentanalyse.