Towards Khmer Scene Document Layout Detection

Dit paper introduceert het eerste uitgebreide onderzoek naar de detectie van lay-outs van Khmer-scenedocumenten, waarbij een nieuw dataset, een open-source tool voor data-augmentatie en YOLO-gebaseerde modellen met georiënteerde bounding boxes worden gepresenteerd om de beperkingen van bestaande methoden voor deze taal te overwinnen.

De kern

Stel je voor dat je een boek in het Khmer (de taal van Cambodja) wilt scannen en digitaal wilt maken. Voor het Engels of Nederlands is dit makkelijk: computers kunnen de regels, alinea's en afbeeldingen al jarenlang perfect herkennen. Maar voor het Khmer is dit als een computer die probeert een ingewikkeld raadsel op te lossen zonder de instructies.

Waarom is dat zo? Het Khmer-schrift is als een lego-toren. In het Engels staan letters naast elkaar in een rechte lijn. In het Khmer "stapelen" letters zich op elkaar, met kleine tekens boven en onder de hoofdletters. Een computer die is getraind op Engels, ziet hierdoor alleen maar een rommelige brij en weet niet waar een zin begint of eindigt.

Dit paper is als een gids voor een nieuwe bouwmeester die eindelijk een oplossing heeft gevonden voor dit specifieke probleem. Hier is wat ze hebben gedaan, vertaald in alledaags taalgebruik:

1. Het probleem: De "lege kast"

Vroeger hadden onderzoekers voor het Khmer geen goede "trainingsboeken". Ze hadden maar een paar voorbeelden van documenten, en die waren allemaal netjes gescand (zoals in een bibliotheek). Maar in het echte leven nemen mensen foto's van documenten met hun telefoon: schuin, met een rare hoek, tegen een muur, of in de zon. Computers haakten hierbij af. Het was alsof je iemand leert autorijden alleen op een lege parkeerplaats, en hem dan op een drukke bergweg zet.

2. De oplossing: Een nieuwe bouwset

De onderzoekers hebben drie grote dingen gedaan om dit op te lossen:

• Het maken van een enorme "foto-boek" (Dataset):
  Ze hebben duizenden Khmer-documenten verzameld (van boeken tot presentaties) en ze één voor één met de hand gemarkeerd. Ze hebben een computer geleerd om te zien: "Ah, dit is een kopje, dit is een lijstje, dit is een tabel." Ze hebben een dataset gemaakt die 7 keer zo groot is als alles wat daarvoor bestond. Het is alsof ze van een klein potje met legoblokjes een hele fabriek hebben gebouwd.

• De "Vormveranderende Robot" (Augmentatie Tool):
  Omdat ze niet genoeg echte, scheef gefotografeerde documenten hadden, hebben ze een slimme software gemaakt. Deze software neemt de nette documenten en vervormt ze digitaal. Het trekt ze uit, draait ze, maakt ze krom alsof ze op een rubberen ballon zijn getekend.

  • De slimme truc: De software weet precies welke tekst bij welke vorm hoort. Als ze een tekstblok kromtrekken, weet de computer nog steeds precies waar dat blok zit. Dit is alsof je een poppenkast hebt die zichzelf kan vervormen, maar de poppen erin blijven op hun plek staan.

• De "Scheefkijkende Camera" (YOLO met OBB):
  Normale computers zoeken naar rechthoekige kaders (zoals een vierkant raam). Maar als je een foto schuin maakt, wordt een tekstblok een schuine ruit. De onderzoekers hebben een speciaal type camera (een YOLO-model) getraind dat schuine kaders kan tekenen. Het is alsof je van een vierkante doos bent veranderd in een flexibele, aanpasbare omhulsel dat perfect om elk object past, hoe schuin het ook ligt.

3. Het resultaat: Een nieuwe wereld

Toen ze deze nieuwe "camera" en het "grote boek" testten, was het verschil enorm.

• Andere systemen (zoals Surya-OCR of PaddleOCR) haakten af of maakten veel fouten, alsof ze probeerden een Khmer tekst te lezen met een bril die alleen voor het Engels is gemaakt.
• Hun nieuwe systeem zag alles: kopjes, lijsten, voetnoten en zelfs de kromme teksten op een scheef gefotografeerde poster.

Waarom is dit belangrijk?

Stel je voor dat je een oude, handgeschreven Khmer brief wilt digitaliseren. Vroeger moest je dat met de hand overtypen, wat dagen duurt. Met deze nieuwe technologie kan de computer dat in seconden doen, zelfs als de brief op een gekke hoek ligt.

Kortom: Deze paper is de eerste keer dat iemand een complete, robuuste "vertaal- en leesmachine" heeft gebouwd specifiek voor de complexe en vaak scheef gefotografeerde documenten in het Khmer. Ze hebben de weg vrijgemaakt voor een toekomst waarin Khmer-documenten net zo makkelijk digitaal zijn te maken als Engelse documenten.

Technische samenvatting

Probleemstelling

Hoewel documentlay-outanalyse (DLA) voor Latijnse scripts aanzienlijke vooruitgang heeft geboekt, mede dankzij grote multimodale modellen (LMMs), blijft de voortgang voor het Khmer-taalgebied beperkt. Dit komt door een gebrek aan geannoteerde trainingsdata. Het probleem is acuut voor scenedocumenten (documenten gefotografeerd in de natuur, vaak met smartphones), die last hebben van perspectiefvervormingen en complexe achtergronden.

De Khmer-schrift is een complex abugida-systeem met:

• Meerdere lagen van tekens (subscripts op basisletters).
• Afwezigheid van expliciete woordgrenzen.
• Dichte tekstregio's en complexe ligaturen.

Bestaande modellen, die zijn getraind op Latijnse scripts of alleen voor gescande documenten, falen vaak bij het nauwkeurig afbakenen van semantische lay-out-eenheden (zoals lijsten of koppen) in Khmer-scenedocumenten. Er zijn nauwelijks bestaande modellen of datasets die specifiek zijn ontworpen voor Khmer-scenedocumenten.

Methodologie

De auteurs presenteren een uitgebreide studie die bestaat uit drie hoofdblokken: datasetconstructie, data-augmentatie en modeltraining.

1. Dataset Constructie

• Bron: Documenten zijn verzameld van openbare bronnen (zoals Open Development Cambodia) en omvatten diverse domeinen (boeken, persberichten, PowerPoint-presentaties, infographics).
• Aantal: Het resultaat is een dataset van 8.990 geannoteerde pagina's, verdeeld in een trainingsset (7.818 pagina's) en een evaluatieset (1.178 pagina's). Dit is aanzienlijk groter dan eerdere Khmer-datasets zoals KH-FUNSD.
• Labelschema: Er zijn 13 semantische categorieën gebruikt (bijv. tekst, tabellen, figuren, lijsten, koppen, voetschriften), gebaseerd op het schema van Surya-OCR.
• Annotatieproces: Een twee-staps proces:
  1. Screening: Geautomatiseerde voorannotatie met Surya-OCR (niet optimaal voor Khmer, maar nuttig voor objecten zoals tabellen).
  2. Human Curation: Menselijke annotatoren corrigeren fouten en vullen ontbrekende labels aan met polygonen in LabelMe.

2. Lay-out Augmentatie Tool
Om de dataset te vergroten en realistische scenedocumenten te simuleren, hebben de auteurs een nieuw hulpmiddel ontwikkeld: een compositional layout augmentor.

• Uniek kenmerk: In tegenstelling tot bestaande tools (zoals SynthTiger) die alleen tekens vervormen, transformeert deze tool zowel de pixelafbeelding als de annotatie-coördinaten (bounding boxes) proportioneel.
• Techniek: Een twee-staps pijplijn:
  1. Niet-lineaire vervorming: Elasticiteit, roosterdistorsie, tonvorm/pincushion, golfvorm en radiale draaiing om organische vervormingen na te bootsen.
  2. Affiene transformatie: Vertaling, spiegeling, schaling, schuiving, rotatie en perspectief.
• Validatie: Alle gegenereerde beelden worden handmatig gecontroleerd om onrealistische vervormingen te verwijderen. Dit leverde 2.258 extra geannoteerde beelden op.

3. Model Training

• Architectuur: De auteurs trainden YOLO-gebaseerde modellen (YOLO11, YOLO12 en YOLO26) die zijn aangepast voor Oriented Bounding Boxes (OBB). Dit is essentieel om de hoeken en vervormingen van scenedocumenten correct te detecteren.
• Configuratie: Modellen werden getraind op een input van 640x640 pixels met een batchgrootte van 8, gebruikmakend van een SGD-optimizer en cosine annealing learning rate.

Belangrijkste Resultaten

De modellen werden geëvalueerd op precisie, recall en mean Average Precision (mAP) bij verschillende IoU-thresholds.

• Beste Prestatie: Het YOLO12x model presteerde het beste met een mAP@0.5:0.95 van 0,9502.
• Vergelijking: De YOLO12-reeks presteerde consistent beter dan de YOLO11- en YOLO26-varianten.
• Tegenover bestaande methoden: De nieuwe modellen overtreffen bestaande multilinguale tools (zoals Surya-OCR, DocLayout, Docling en PaddleOCR) aanzienlijk.
  • Surya-OCR: mAP@0.5:0.95 ≈ 0,5156.
  • YOLO12x: mAP@0.5:0.95 ≈ 0,9502.
  • Dit toont aan dat bestaande modellen slecht presteren vanwege het gebrek aan Khmer-specifieke en scenedocument-data.
• Per Klasse: De modellen presteerden zeer goed op de meeste categorieën (bijv. lijsten, tabellen, sectiekoppen). Moeilijkheden bleven bestaan bij het onderscheid tussen "afbeeldingen" en "figuren", en bij "pagina-koppen" (waarschijnlijk door annotatiefouten in de testset).

Bijdragen

De paper levert drie fundamentele bijdragen aan de Khmer Document Analysis and Recognition (DAR) gemeenschap:

1. De eerste Khmer-scenedocument dataset: De grootste dataset tot nu toe voor lay-outanalyse in het Khmer-schrift, inclusief zowel standaard als moderne documentformaten.
2. Een open-source augmentatietool: Een hulpmiddel dat realistische scenedocumenten synthetiseert door zowel tekst als lay-out structuren proportioneel te vervormen.
3. Baseline-modellen: De eerste getrainde en geëvalueerde Khmer-scenedocument lay-out detectiemodellen (YOLO12-OBB), die als referentiepunt dienen voor toekomstig onderzoek.

Betekenis en Toekomstperspectief

Dit werk vult een kritieke lacune in de documentverwerking voor het Khmer-taalgebied. Het stelt de gemeenschap in staat om Khmer-documenten in de echte wereld (scanned of gefotografeerd) nauwkeurig te digitaliseren en te analyseren.

Beperkingen en toekomstig werk:

• De dataset bevat nog weinig voorbeelden van codeblokken, wiskundige formules en formulieren.
• Het huidige labelschema ondersteunt geen geneste lay-out-eenheden (bijv. tekstregels binnen een tekstblok).
• Toekomstig onderzoek moet zich richten op Khmer-specifieke modellen die dieper ingaan op de complexe schrijfwijze en geneste structuren van het Khmer-schrift.

De auteurs hebben hun modellen, code en datasets openbaar gemaakt om verdere innovatie in dit domein te stimuleren.