ViHistScriptBench: Benchmarking Vietnamese Historical Script and Document–Type Classification in Low–Resource Settings

Technische Samenvatting: ViHistScriptBench

Probleemstelling
Vietnamese historische archieven bevatten een complexe mix van schriften, waaronder chữ Hán (klassiek Chinees), chữ Nôm (een logografisch schrift dat Chinese karakters aanpast voor het Vietnamees), vroege quốc ngữ (Latijn-gebaseerd) en moderne quốc ngữ. Hoewel digitalisering cruciaal is voor het behoud van cultureel erfgoed, vormen de OCR (Optical Character Recognition) en documentanalyse voor deze materialen aanzienlijke hindernissen. Bestaande systemen zijn voornamelijk getraind op moderne Latijnse schriften en worstelen met de specifieke uitdagingen van historische Vietnamese documenten: complexe kalligrafie, onregelmatige glyphvormen, verticale lay-outs, marginale aantekeningen en diverse vormen van degradatie. Bovendien zijn de middelen voor Han–Nôm OCR schaars in vergelijking met karakter-gebaseerde datasets zoals NomNaOCR, die zich richten op segmentatie in plaats van paginaniveau-classificatie. Er is een gebrek aan gestandaardiseerde benchmarks om scriptidentificatie en documenttype-classificatie te evalueren in omgevingen met beperkte middelen (low-resource settings).

Methodologie
Het artikel introduceert ViHistScriptBench, een lichtgewicht benchmark die is ontworpen om reproduceerbaar onderzoek naar het begrijpen van Vietnamese historische documenten te faciliteren.

• Dataset Constructie: Het corpus bestaat uit 500 gedigitaliseerde pagina's afkomstig uit publieke archieven, waaronder de Nationale Bibliotheek van Vietnam, de Nom Foundation en de Columbia University Libraries. De dataset dekt diverse genres (epische poëzie, kronieken, volksverhalen) en eeuwen. Afbeeldingen werden gedownsampled naar 300 dpi en opgeslagen in PNG-formaat.
• Annotatieschema: Elke pagina is gelabeld met twee attributen:
  1. Script Class: Hán, Nôm, Mixed (bevat beide), of Early Quốc Ngữ.
  2. Document Type: Woodblock Print (houtsnede), Handwritten Manuscript (handgeschreven manuscript), of Modern Print (moderne druk).
     Annotaties werden uitgevoerd door promovendi met een achtergrond in paleografie en geverifieerd door een senior taalkundige.
• Benchmark Taken: De benchmark definieert drie primaire classificatietaken:
  1. Script Identification: Het voorspellen van de scriptklasse van een volledige pagina.
  2. Document-Type Classification: Het classificeren van het materiaal en het lay-outtype.
  3. Mixed-Script Detection: Een binaire taak om pagina's te identificeren die een mengeling van Hán en Nôm bevatten.
• Baseline Modellen: De auteurs evalueerden drie categorieën modellen die zijn aangepast voor beeldclassificatie:
  • Klassieke CNN's: ResNet-50 en EfficientNet-B0, gefinetuned vanaf ImageNet pre-training.
  • Vision Transformers (ViT): Een basis ViT-model gefinetuned op de dataset.
  • Multimodale Large Language Models (MLLM's): De CLIP image encoder, getest met zowel supervised fine-tuning als zero-shot prompting.
• Preprocessing: Afbeeldingen werden geresized naar 224×224. Specifieke preprocessing (contrast stretching, median filtering) werd toegepast op houtsneden om ruis te verminderen, terwijl kleurinformatie behouden bleef voor manuscripten om penseelstreken te bewaren.

Belangrijkste Bijdragen

1. Gecureerd Corpus: Een kleine maar diverse collectie van 500 geannoteerde Han–Nôm pagina's met script- en documenttype-labels.
2. Gedefinieerde Taken: Een formalisering van paginaniveau-scriptidentificatie, script-mixing detectie en documenttype-herkenning specif kind aan de Vietnamese historische context.
3. Baseline Evaluaties: Uitgebreide prestatie-metrieken voor klassieke CNN's, Transformers en MLLM's op deze taken, inclusief nauwkeurigheid, macro-F1 scores en verwarringsmatrices.
4. Foutanalyse: Identificatie van specifieke foutmodi, zoals verwarring tussen Hán en Nôm door visuele gelijkenis, misinterpretatie van verticale lay-outs en fouten veroorzaakt door degradatie van diakritische tekens.
5. Publieke Release: De data en code worden vrijgegeven om eerlijke vergelijking en toekomstig onderzoek te ondersteunen.

Experimentele Resultaten
De auteurs rapporteren resultaten op een onafhankelijke testset (20% van de data). Belangrijkste bevindingen zijn onder meer:

• Prestaties: De voorgestelde "Our Pipeline" (combinatie van preprocessing, diepe kenmerken en een lichtgewicht classifier) behaalde de hoogste prestaties, met 90,1% nauwkeurigheid op Script Identification, 93,4% op Document-Type Classification, en 89,3% op Mixed-Script Detection.
• Modelvergelijking:
  • ViT-Base presteerde goed onder de standaard architecturen (88,5% Script ID nauwkeurigheid), wat wijst op een voordeel in het vastleggen van langetermijnafhankelijkheden en kolomlay-outs.
  • EfficientNet-B0 bood een sterke balans tussen nauwkeurigheid en parameterefficiëntie (86,7% Script ID nauwkeurigheid).
  • CLIP vertoonde lagere prestaties in zero-shot settings (68,0% Script ID nauwkeurigheid) vergeleken met supervised fine-tuning, hoewel het enige generalisatievermogen toonde.
• Foutpatronen: De verwarringsmatrix onthulde dat de meest voorkomende fouten optreden tussen de Hán en Nôm klassen vanwege visuele gelijkenis. Mixed pagina's worden vaak verkeerd geclassificeerd wanneer het minderheidsscript slechts in de marges verschijnt. Early Quốc Ngữ pagina's worden soms verward door gedegradeerde druk en diakritische gelijkenissen.

Betekenis en Claims
Het artikel positioneert ViHistScriptBench als een eerste stap naar systematische benchmarking voor de herkenning van Vietnamese historische schriften. De auteurs hanteren een bescheiden toon en erkennen dat de dataset klein is (500 pagina's) en de praktische realiteit van dataschaarste in cultureel erfgoed weerspiegelt. Zij beweren dat zelfs bescheiden resultaten nuttige baselines bieden voor een gebied dat voorheen een standaard evaluatie miste.

De betekenis van het werk ligt in:

• Het Gat Dichten: Het bieden van de eerste toegewijde benchmark voor paginaniveau-classificatie van Han–Nôm documenten, verschillend van karakter-gebaseerde segmentatietaken.
• Specifieke Uitdagingen Blootleggen: Het blootleggen van unieke foutcategorieën gekoppeld aan diakritische tekens, verticale lay-outs en materiaaldegradatie die specifiek zijn voor dit domein.
• Fundament voor Toekomstig Werk: Het vestigen van een kader voor toekomstig onderzoek naar zelfgesuperviseerde pretraining, semi-supervised learning en door de gemeenschap gedreven annotatie-initiatieven (vergelijkbaar met Transkribus) om de dataset uit te breiden en de modelrobuustheid te verbeteren.

De auteurs beweren niet het OCR-probleem volledig te hebben opgelost, maar eerder de noodzakelijke infrastructuur (data, taken, baselines) te hebben geleverd om de vooruitgang in het behoud en ontsluiten van het tekstuele erfgoed van Vietnam te versnellen.