Automated sign detection across the Electronic Babylonian Library: A large-scale dataset and end-to-end cuneiform OCR pipeline

Sintesi Tecnica: Rilevamento Automatico dei Segni attraverso la Biblioteca Babilonese Elettronica

Definizione del Problema
Lo studio affronta il collo di bottiglia critico dell'assiriologia: l'impossibilità di analizzare manualmente gli circa 500.000 frammenti di tavolette cuneiformi scavate a causa della scala massiccia del corpus e della specializzazione richiesta. Sebbene la computer vision offra una via verso la decifrazione su larga scala, il cuneiforme presenta sfide uniche e distinte dai moderni sistemi di scrittura. Le impronte a forma di cuneo sono tridimensionali, mostrano una significativa variazione diacronica in forma e orientamento, e sono spesso oscurate da danni fisici (erosione, crepe, cunei mancanti). Inoltre, i modelli esistenti di Optical Character Recognition (OCR) e Object Detection (OD) progettati per le scritture alfabetiche sono inadatti al cuneiforme. Una limitazione primaria nel campo è stata la scarsità di dataset ampi e densamente annotati, poiché la creazione di tali dati richiede un esperto filologico laborioso.

Metodologia
Gli autori propongono una pipeline end-to-end per il rilevamento e l'organizzazione strutturale dei segni cuneiformi, basata su e con estensione dell'architettura Deformable Detection Transformer (DETR) introdotta da Cobanoglu et al. (2024).

• Dataset: Il sistema utilizza il più grande dataset supervisionato disponibile pubblicamente per il rilevamento di segni cuneiformi ad oggi, composto da 124.504 segni singolarmente annotati provenienti da 1.931 frammenti di tavolette all'interno della Biblioteca Babilonese Elettronica (eBL). Il dataset spazia tra diverse collezioni museali (ad es. British Museum, Yale, Museo dell'Iraq) e periodi cronologici (dal Presargonic al tardo babilonese).
• Architettura del Modello: Il modello di rilevamento centrale è un Deformable DETR con un backbone ResNet-50, addestrato utilizzando il matching di Hungarian. Gli autori valutano due granularità di classe: un modello a 173 classi (che preserva una copertura più ampia dei segni) e un modello a 106 classi (allineato al baseline, che fonde le classi meno frequenti). Per affrontare la distribuzione a coda lunga delle frequenze dei segni, le classi con meno di 90 istanze vengono accorpate in una categoria "UnclearSign" (SegnoNonChiaro).
• Estensioni della Pipeline di Inferenza: Per colmare il divario tra il rilevamento visivo grezzo e il testo strutturato, gli autori introducono tre componenti chiave di pre-elaborazione e post-elaborazione:
  1. Estrazione Automatica del Lato della Tavoletta: Un passaggio di segmentazione euristica che isola le singole superfici delle tavolette dalle fotografie multi-superficie, normalizzando la scala di input e rimuovendo l'ingombro dello sfondo (ad es. righelli, supporti di montaggio).
  2. Raggruppamento delle Linee basato su DBSCAN: Viene utilizzata una metrica di distanza anisotropa per raggruppare i segni rilevati in linee di testo orizzontali. Questo metodo è invariante di scala, normalizzando le coordinate tramite la dimensione media del segno per gestire risoluzioni variabili e layout densi.
  3. Valutazione Testuale N-gram: Invece di fare affidamento esclusivamente su metriche visive, il sistema impiega il matching di 1-, 2- e 3-gram contro le traslitterazioni manuali per calibrare le soglie di rilevamento e valutare la coerenza testuale.

Contributi Chiave

1. Espansione del Dataset: Gli autori hanno ampliato il dataset di riferimento da 52.102 a 124.504 segni annotati, creando il più grande dataset supervisionato per il rilevamento di segni cuneiformi.
2. Pipeline Riproducibile ed Estendibile: Forniscono una ri-implementazione del modello basato su DETR e estendono il flusso di lavoro di inferenza con l'estrazione automatica del lato della tavoletta e un robusto raggruppamento delle linee, affrontando la variabilità strutturale delle fotografie reali dei musei.
3. Valutazione Comprensiva: Lo studio conduce un'inferenza su larga scala su 87.668 frammenti di tavolette, producendo quasi 2,9 milioni di rilevamenti di segni. Valuta le prestazioni utilizzando le standard metriche COCO-style e nuove misure di somiglianza testuale n-gram.

Risultati

• Prestazioni di Rilevamento: Il sistema proposto ottiene miglioramenti costanti del 28–37% rispetto al precedente baseline (Cobanoglu et al., 2024) su metriche COCO-style (AP, AP50, AR) sotto un partizionamento stratificato a 106 classi corrispondente. Il modello a 106 classi generalmente supera quello a 173 classi nelle metriche aggregate a causa della riduzione dell'ambiguità di classificazione, sebbene il modello a 173 classi venga mantenuto per l'inferenza su larga scala per preservare le distinzioni filologiche fini.
• Studi di Ablazione: La rimozione del passaggio di estrazione del lato della tavoletta ha causato un drastico calo delle prestazioni (l'AP è sceso da 0,265 a 0,107), confermando la necessità di isolare le singole superfici delle tavolette. Allo stesso modo, il raggruppamento delle linee DBSCAN proposto ha superato gli approcci a soglia di pixel fissi, migliorando il punteggio medio di match n-gram da 0,205 a 0,232.
• Inferenza su Larga Scala: Applicato all'intero corpus eBL, il modello ha generato 2.892.350 rilevamenti di segni. La distribuzione risultante della frequenza dei segni riflette la struttura a coda lunga dei dati di addestramento.
• Allineamento Testuale: Su un sottoinsieme di 26.790 frammenti, il sistema ha raggiunto un Mean N-gram Match Score di 0,232 (95% CI [0,230, 0,234]). Sebbene ciò indichi una capacità di allineamento costante, gli autori osservano che circa il 9% degli n-gram di riferimento è escluso dallo spazio di etichettatura attuale di 173 classi e le prestazioni variano significativamente con il danno della tavoletta e la densità del layout.

Significato e Limitazioni
Il documento sostiene che questo lavoro fornisce una base scalabile e interpretabile per l'analisi del corpus cuneiforme. Operando senza priori linguistici, il sistema evita di polarizzare gli output verso schemi familiari, preservando così la capacità di rilevare combinazioni di segni insolite o pattern testuali rari. L'integrazione del rilevamento visivo con la valutazione n-gram colma il divario tra l'elaborazione delle immagini grezze e l'analisi testuale strutturata.

Tuttavia, gli autori riconoscono esplicitamente diverse limitazioni:

• Mancanza di Priori Linguistici: Il sistema tratta i segni indipendentemente senza modellazione di sequenza, il che significa che non può sfruttare vincoli semantici o sintattici per correggere gli errori.
• Sensibilità ai Danni: Il modello fatica con segni gravemente danneggiati o distorti, producendo spesso previsioni sicure ma errate invece di classificarli come "non chiari".
• Variabilità del Layout: Sebbene il DBSCAN migliori il raggruppamento delle linee, rimane un'euristica globale e può fallire su tavolette con spaziature altamente irregolari, superfici curve o layout a più colonne.

Gli autori concludono che, sebbene l'attuale pipeline sia un passo avanti significativo, il lavoro futuro dovrà integrare la modellazione visiva, linguistica e consapevole del layout per raggiungere una traslitterazione robusta e end-to-end.