Automated sign detection across the Electronic Babylonian Library: A large-scale dataset and end-to-end cuneiform OCR pipeline

Technische Samenvatting: Geautomatiseerde Tekendetectie over de Elektronische Babylonische Bibliotheek

Probleemstelling
De studie behandelt de kritieke flessenhals in de Assyriologie: het onvermogen om de ongeveer 500.000 opgegraven spijkerschrifttabletten handmatig te analyseren vanwege de enorme schaal van het corpus en de vereiste gespecialiseerde expertise. Hoewel computer vision een weg biedt naar grootschalige ontcijfering, presenteert spijkerschrift unieke uitdagingen die verschillen van moderne schriften. De wigvormige indrukken zijn driedimensionaal, vertonen aanzienlijke diachrone variatie in vorm en oriëntatie, en worden vaak gehinderd door fysieke schade (erosie, barsten, ontbrekende wiggen). Bovendien zijn bestaande Optical Character Recognition (OCR) en Object Detection (OD) modellen, ontworpen voor alfabetische schriften, slecht geschikt voor spijkerschrift. Een primaire beperking in het veld is het gebrek aan grote, dicht geannoteerde datasets, aangezien het creëren van dergelijke data arbeidsintensieve filologische expertise vereist.

Methodologie
De auteurs stellen een end-to-end pipeline voor voor de detectie en structurele organisatie van spijkerschrifttekens, voortbouwend op en uitbreidend op de Deformable Detection Transformer (DETR) architectuur geïntroduceerd door Cobanoglu et al. (2024).

• Dataset: Het systeem maakt gebruik van de grootste publiekelijk beschikbare gesuperviseerde dataset voor spijkerschriftdetectie tot nu toe, bestaande uit 124.504 individueel geannoteerde tekens uit 1.931 tabletfragmenten uit de Elektronische Babylonische Bibliotheek (eBL). De dataset beslaat diverse museumcollecties (bijv. British Museum, Yale, Irak Museum) en chronologische perioden (van de presargische tot de laat-Babylonische periode).
• Modelarchitectuur: De kern van het detectiemodel is een Deformable DETR met een ResNet-50 backbone, getraind met behulp van Hungarian matching. De auteurs evalueren twee klassengranulariteiten: een model met 173 klassen (behoud van bredere tekendekking) en een model met 106 klassen (afgestemd op de baseline, waarbij minder frequente klassen worden samengevoegd). Om de langkoppige verdeling van tekenfrequenties aan te pakken, worden klassen met minder dan 90 instanties samengevoegd in een "UnclearSign"-categorie.
• Inference Pipeline Extensies: Om de kloof tussen ruwe visuele detectie en gestructureerde tekst te overbruggen, introduceren de auteurs drie belangrijke voorverwerkings- en nabetewerkingscomponenten:
  1. Automatische Tablet-zijde Extractie: Een heuristische segmentatiestap die individuele tablet-oppervlakken isoleert uit foto's met meerdere oppervlakken, de invoerschaal normaliseert en achtergrondruis (bijv. linialen, bevestigingsmiddelen) verwijdert.
  2. DBSCAN-gebaseerde Regelgroepering: Een anisotrope afstandmetriek wordt gebruikt om gedetecteerde tekens te clusteren in horizontale tekstregels. Deze methode is schaalinvariant en normaliseert coördinaten door de gemiddelde tekenomvang om variërende resoluties en dichte lay-outs te verwerken.
  3. N-gram Tekstuele Evaluatie: In plaats van uitsluitend te vertrouwen op visuele metrieken, gebruikt het systeem 1-, 2- en 3-gram matching tegen handmatige transliteraties om detectiedrempels af te stemmen en tekstuele coherentie te evalueren.

Belangrijkste Bijdragen

1. Dataset Expansie: De auteurs hebben de benchmarkdataset uitgebreid van 52.102 naar 124.504 geannoteerde tekens, waarmee de grootste gesuperviseerde dataset voor spijkerschriftdetectie is gecreëerd.
2. Reproduceerbare en Uitbreidbare Pipeline: Zij bieden een herimplementatie van het DETR-gebaseerde model en breiden de inference workflow uit met geautomatiseerde tablet-zijde extractie en robuuste regelgroepering, waarmee de structurele variabiliteit van echte museumfoto's wordt geadresseerd.
3. Uitgebreide Evaluatie: De studie voert grootschalige inferentie uit op 87.668 tabletfragmenten, wat resulteert in bijna 2,9 miljoen tekendetecties. De prestaties worden geëvalueerd met behulp van standaard COCO-stijl metrieken en nieuwe n-gram tekstuele gelijkenismaten.

Resultaten

• Detectieprestaties: Het voorgestelde systeem bereikt consistente verbeteringen van 28–37% ten opzichte van de eerdere baseline (Cobanoglu et al., 2024) op COCO-stijl metrieken (AP, AP50, AR) onder een gematchte 106-klasse gestratificeerde split. Het 106-klasse model presteert over het algemeen beter dan het 173-klasse model in geaggregeerde metrieken vanwege verminderde classificatie-ambiguïteit, hoewel het 173-klasse model behouden blijft voor grootschalige inferentie om fijnmazige filologische onderscheidingen te bewaren.
• Ablatie-studies: Het verwijderen van de tablet-zijde extractiestap veroorzaakte een drastische prestatiedaling (AP daalde van 0,265 naar 0,107), wat de noodzaak bevestigt om individuele tablet-oppervlakken te isoleren. Evenzo presteerde de voorgestelde DBSCAN-regelgroepering beter dan benaderingen met een vaste pixel-drempel, waarbij de gemiddelde n-gram match score verbeterde van 0,205 naar 0,232.
• Grootschalige Inferentie: Toegepast op het volledige eBL-corpus genereerde het model 2.892.350 tekendetecties. De resulterende tekenfrequentieverdeling weerspiegelt de langkoppige structuur van de trainingsdata.
• Tekstuele Uitlijning: Op een subset van 26.790 fragmenten bereikte het systeem een gemiddelde n-gram Match Score van 0,232 (95% BI [0,230, 0,234]). Hoewel dit wijst op een consistente uitlijningscapaciteit, merken de auteurs op dat ongeveer 9% van de referentie n-grammen wordt uitgesloten door de huidige 173-klasse labelruimte, en dat de prestaties sterk variëren met de schade aan de tablet en de dichtheid van de lay-out.

Betekenis en Beperkingen
Het artikel stelt dat dit werk een schaalbaar en interpreteerbaar fundament biedt voor corpusbrede spijkerschriftanalyse. Door te opereren zonder linguïstische priors, vermijdt het systeem het bevoordelen van outputs richting bekende patronen, waardoor het vermogen behouden blijft om ongebruikelijke tekencombinaties of zeldzame tekstuele patronen te detecteren. De integratie van visuele detectie met n-gram evaluatie overbrugt de kloof tussen ruwe beeldverwerking en gestructureerde tekstuele analyse.

De auteurs erkennen echter expliciet enkele beperkingen:

• Gebrek aan Linguïstische Priors: Het systeem behandelt tekens onafhankelijk zonder sequentiemodellering, wat betekent dat het geen semantische of syntactische beperkingen kan gebruiken om fouten te corrigeren.
• Gevoeligheid voor Schade: Het model heeft moeite met ernstig beschadigde of vervormde tekens, waarbij het vaak zelfverzekerde maar incorrecte voorspellingen produceert in plaats van ze als "onduidelijk" te classificeren.
• Variabiliteit in Lay-out: Hoewel DBSCAN de regelgroepering verbetert, blijft het een globale heuristiek en kan het falen op tabletten met zeer onregelmatige tussenruimtes, gebogen oppervlakken of lay-outs met meerdere kolommen.

De auteurs concluderen dat hoewel de huidige pipeline een belangrijke stap voorwaarts is, toekomstig werk visuele, linguïstische en lay-outbewuste modellering moet integreren om robuuste, end-to-end transliteratie te bereiken.