Towards Khmer Scene Document Layout Detection

Questo articolo presenta il primo studio completo sulla rilevazione del layout di documenti khmer in ambiente reale, introducendo un nuovo dataset, uno strumento di aumento dei dati open-source e modelli basati su YOLO con bounding box orientati per superare le sfide specifiche della scrittura khmer e la scarsità di dati annotati.

L'essenziale

Immagina di avere una biblioteca piena di libri, ma invece di essere scritti in italiano o inglese, sono tutti in khmer, la lingua della Cambogia. Ora, immagina di voler insegnare a un robot a leggere questi libri, non solo per riconoscere le lettere, ma per capire dove sono le cose: dove inizia un paragrafo, dove c'è un'immagine, dove c'è una tabella o un titolo.

Il problema è che per le lingue come l'inglese o l'italiano, abbiamo già "mappe" perfette per addestrare questi robot. Per il khmer, invece, il robot è come un bambino che entra in una stanza buia senza torcia: non sa dove guardare.

Ecco di cosa parla questo paper, spiegato come se fosse una storia:

1. Il Problema: Il Khmer è come un Puzzle Complicato

Il khmer non è scritto come l'italiano. Immagina le nostre lettere come mattoni messi in fila. Nel khmer, le lettere sono come mattoni che si impilano l'uno sull'altro, con accenti e segni che fluttuano sopra, sotto e intorno alla lettera principale. È un sistema bellissimo ma complesso.

Inoltre, quando qualcuno fotografa un documento con il telefono (cosa che in Cambogia fanno tutti, perché è più comodo che scannerizzare), l'immagine viene deformata: sembra che il foglio sia stato storto, schiacciato o guardato da un'angolazione strana. I vecchi robot, addestrati su documenti perfetti e dritti, vanno in tilt quando vedono queste foto "selvagge".

2. La Soluzione: Costruire una Nuova Scuola per il Robot

Gli autori di questo studio hanno deciso di costruire tutto da zero per aiutare il robot a imparare il khmer. Hanno fatto tre cose principali:

• Hanno creato il "Libro di Testo" (Il Dataset): Hanno raccolto migliaia di pagine di documenti khmer (libri, presentazioni, volantini) e hanno passato ore a disegnare manualmente dei riquadri intorno a ogni parte importante (titoli, liste, tabelle). È come se avessero creato un atlante dettagliato di una città che prima non aveva mappe. È il più grande atlante del suo genere per il khmer.
• Hanno inventato una "Macchina del Tempo" (L'Augmentation Tool): Poiché non avevano abbastanza foto, hanno creato un software magico. Prende i documenti perfetti e li "torce", li piega, li mette sotto una lente d'ingrandimento curva e li fa sembrare presi con un telefono tremante. Ma c'è un trucco: mentre piega l'immagine, piega anche le istruzioni (i riquadri) esattamente allo stesso modo. È come se piegassi un foglio di carta con un disegno sopra: il disegno si piega insieme alla carta, rimanendo sempre al posto giusto.
• Hanno addestrato il "Detective" (I Modelli YOLO): Hanno usato una tecnologia chiamata YOLO (che sta per "You Only Look Once", ovvero "Guardi una volta sola") per creare un detective veloce. Questo detective non cerca solo rettangoli dritti, ma sa riconoscere rettangoli inclinati (OBB). Immagina un detective che sa riconoscere un oggetto anche se è stato lanciato in aria e atterra storto.

3. Il Risultato: Un Robot che Finalmente "Vede"

Quando hanno messo alla prova il loro nuovo detective contro quelli vecchi (come quelli usati da Google o altre grandi aziende), il risultato è stato sbalorditivo.

• I vecchi robot: Si perdevano facilmente. Se vedevano una lista di punti o un titolo in una foto storta, spesso dicevano "Non so cos'è" o mettevano il riquadro nel posto sbagliato.
• Il nuovo robot (YOLO12): Ha ottenuto un punteggio altissimo. Ha capito perfettamente dove finiva un paragrafo e dove iniziava un'immagine, anche se la foto era storta o piena di distorsioni.

In Sintesi

Questo studio è come se avessimo dato a un bambino cambogiano un set di costruzioni LEGO specifico per il suo linguaggio, invece di dargli i pezzi per costruire case inglesi che non si adattano al suo modo di pensare.

Hanno creato:

1. I mattoni giusti (il dataset di immagini annotate).
2. Il manuale di istruzioni (lo strumento per creare nuove immagini di addestramento).
3. Il costruttore esperto (il modello di intelligenza artificiale).

Ora, la comunità scientifica ha finalmente gli strumenti per digitalizzare e comprendere i documenti khmer nel mondo reale, rendendo la tecnologia molto più accessibile a chi parla questa lingua. È un passo enorme per non lasciare indietro una cultura intera nell'era digitale.

Sommario tecnico

1. Il Problema

L'analisi del layout dei documenti (DLA) ha fatto enormi progressi per gli script latini, grazie all'avvento di grandi modelli multimodali (LMM). Tuttavia, per la lingua khmer, il progresso è fortemente limitato da due fattori principali:

• Scarsità di dati annotati: Esistono pochissimi dataset di addestramento specifici per il khmer, specialmente per i "documenti di scena" (scene documents), ovvero immagini catturate in ambienti naturali (es. con smartphone) che presentano distorsioni prospettiche e sfondi complessi.
• Complessità dello script: Il khmer è un sistema di scrittura abugida complesso, caratterizzato dall'assenza di spazi tra le parole e dalla sovrapposizione di più livelli di caratteri (consonanti base, pedici, vocali dipendenti, diacritici). I modelli basati su script latini falliscono nel delimitare correttamente le unità semantiche in regioni di testo denso o strutturato (es. elenchi puntati, note a piè di pagina).
• Limiti degli strumenti esistenti: I modelli multilingue attuali (come Surya-OCR, PaddleOCR, Docling) offrono un supporto limitato per il khmer, ottimizzati principalmente per documenti scansionati privi di distorsioni geometriche, e non gestiscono adeguatamente le deformazioni tipiche delle immagini acquisite "in the wild".

2. Metodologia

Gli autori hanno sviluppato un framework completo composto da tre pilastri fondamentali:

A. Costruzione del Dataset

• Raccolta Dati: Sono stati raccolti documenti PDF pubblici da portali come Open Development Cambodia, coprendo domini diversi (tecnologia, cultura, libri, presentazioni PowerPoint, infografiche).
• Strategia di Annotazione: È stato adottato uno schema di etichettatura semplificato (basato su Surya-OCR) con 13 classi semantiche (es. testo, tabelle, elenchi, intestazioni, figure, note a piè di pagina).
• Processo Ibrido:
  1. Screening automatico: Uso preliminare di Surya-OCR per identificare elementi indipendenti dalla lingua (figure, tabelle), riducendo il carico di lavoro umano.
  2. Curazione umana: Annotatori umani hanno corretto gli errori specifici del khmer (es. etichette errate per intestazioni o elenchi) utilizzando lo strumento LabelMe con annotazioni poligonali.
• Risultato: Un dataset finale di 8.990 pagine, suddiviso in set di addestramento (7.818) e valutazione (1.178), significativamente più grande e diversificato del precedente dataset KH-FUNSD.

B. Strumento di Augmentation (Layout Augmentor)

Per simulare le distorsioni dei documenti reali, è stato sviluppato un tool di augmentation compositivo:

• Pipeline a due stadi: Applica prima deformazioni non lineari (deformazione elastica, distorsione a griglia, distorsione a barilotto, onde, vortice) e poi trasformazioni affini (rotazione, scala, shear, prospettiva).
• Corrispondenza Pixel-Accurata: La caratteristica chiave è che le stesse trasformazioni geometriche vengono applicate sia ai pixel dell'immagine che alle coordinate delle annotazioni (convertendo le bounding box in poligoni).
• Validazione: Le immagini aumentate sono state sottoposte a una rigorosa verifica manuale per rimuovere casi con annotazioni corrotte, producendo 2.258 immagini aggiuntive di alta qualità.

C. Addestramento del Modello

• Architettura: Sono stati utilizzati modelli basati su YOLO (YOLO11, YOLO12, YOLO26) modificati per il rilevamento di Oriented Bounding Boxes (OBB). Questo è cruciale per gestire le angolazioni e le deformazioni dei documenti khmer.
• Configurazione: I modelli sono stati addestrati con input di 640x640 pixel, utilizzando SGD come ottimizzatore e un piano di apprendimento cosine annealing. Sono state testate varianti di diverse dimensioni (small, medium, large, extra-large).

3. Contributi Chiave

1. Primo Dataset Completo: Creazione del più grande dataset singolo per l'analisi del layout di documenti khmer, specifico per scenari di "scena" (scene documents), includendo sia formati standard che moderni.
2. Tool di Augmentation Compositivo: Sviluppo di uno strumento open-source in grado di sintetizzare documenti di scena realistici mantenendo la coerenza strutturale tra immagine e annotazioni, superando i limiti degli strumenti esistenti che modificano solo i caratteri.
3. Baseline per il Khmer: Addestramento e valutazione delle prime baseline per il rilevamento del layout di documenti khmer, dimostrando l'efficacia delle architetture YOLO-OBB per questa lingua.
4. Rilascio Open Source: Pubblicazione di modelli, codice e dataset per favorire la ricerca nella comunità DAR (Document Analysis and Recognition) khmer.

4. Risultati

• Performance del Modello: Il modello YOLO12x ha ottenuto i migliori risultati complessivi, raggiungendo un mAP@0.5:0.95 di 0.9502. La famiglia YOLO12 ha superato costantemente YOLO11 e YOLO26.
• Confronto con lo Stato dell'Arte: I modelli proposti hanno mostrato un miglioramento drastico rispetto alle soluzioni esistenti:
  • Surya-OCR: mAP@0.5:0.95 = 0.5156
  • DocLayout (D4LA): mAP@0.5:0.95 = 0.2859
  • YOLO12x (Proposto): mAP@0.5:0.95 = 0.9502
• Analisi per Classe: Il modello ha dimostrato un'eccellente robustezza su classi come elenchi (list-item, mAP 0.992), tabelle (table, mAP 0.995) e intestazioni di sezione (section-header, mAP 0.987). Le prestazioni sono state leggermente inferiori per le immagini (confusione con le figure) e le intestazioni di pagina (probabili errori di annotazione nel set di test).
• Valutazione Qualitativa: Le immagini dimostrano che il modello gestisce correttamente documenti con colonne multiple, deformazioni prospettiche (slide) e testi densi, dove i modelli concorrenti falliscono o assegnano etichette errate.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale per la digitalizzazione dei documenti in Cambogia e per l'elaborazione del linguaggio naturale nelle lingue a risorse limitate.

• Superamento del divario linguistico: Dimostra che è possibile adattare tecniche avanzate di visione artificiale a script complessi come il khmer, superando i limiti dei modelli occidentali.
• Abilitazione di applicazioni reali: Fornisce gli strumenti necessari per l'estrazione automatica di dati da documenti governativi, legali e commerciali catturati in contesti reali, un requisito essenziale per l'e-government e la digitalizzazione economica in Cambogia.
• Fondazione per la ricerca futura: Il dataset e le baseline rilasciati costituiscono un punto di partenza solido per lo sviluppo di modelli specifici per il khmer e per l'analisi di strutture di layout annidate, che sono state identificate come aree per futuri miglioramenti.