Automated sign detection across the Electronic Babylonian Library: A large-scale dataset and end-to-end cuneiform OCR pipeline

Résumé technique : Détection automatisée de signes à travers la Bibliothèque Babylonienne Électronique

Énoncé du problème
L'étude traite d'un goulot d'étranglement critique en assyriologie : l'incapacité d'analyser manuellement les environ 500 000 tablettes cunéiformes excavées en raison de l'échelle massive du corpus et de l'expertise spécialisée requise. Bien que la vision par ordinateur offre une voie vers un déchiffrement à grande échelle, le cunéiforme présente des défis uniques distincts des écritures modernes. Les empreintes en forme de coins sont tridimensionnelles, présentent une variation diachronique significative de forme et d'orientation, et sont souvent obscurcies par des dommages physiques (érosion, fissures, coins manquants). De plus, les modèles existants de reconnaissance optique de caractères (OCR) et de détection d'objets (OD) conçus pour les écritures alphabétiques sont mal adaptés au cunéiforme. Une limitation primaire dans le domaine a été la rareté des ensembles de données annotés de manière dense et étendue, car la création de telles données nécessite une expertise philologique laborieuse.

Méthodologie
Les auteurs proposent un pipeline de bout en bout pour la détection et l'organisation structurelle des signes cunéiformes, en s'appuyant sur et en étendant l'architecture Deformable Detection Transformer (DETR) introduite par Cobanoglu et al. (2024).

• Jeu de données : Le système utilise le plus grand ensemble de données supervisées et publiquement disponibles à ce jour pour la détection de signes cunéiformes, comprenant 124 504 signes individuellement annotés provenant de 1 931 fragments de tablettes de la Bibliothèque Babylonienne Électronique (eBL). Le jeu de données couvre diverses collections de musées (ex. : British Museum, Yale, Musée de l'Irak) et diverses périodes chronologiques (du pré-sargonique au néo-babylonien tardif).
• Architecture du modèle : Le modèle de détection central est un Deformable DETR avec un squelette (backbone) ResNet-50, entraîné via l'appariement hongrois. Les auteurs évaluent deux granularités de classes : un modèle à 173 classes (préservant une couverture de signes plus large) et un modèle à 106 classes (aligné sur la référence, fusionnant les classes peu fréquentes). Pour traiter la distribution à longue traîne de la fréquence des signes, les classes comptant moins de 90 occurrences sont fusionnées dans une catégorie « UnclearSign » (Signe peu clair).
• Extensions du pipeline d'inférence : Pour combler l'écart entre la détection visuelle brute et le texte structuré, les auteurs introduisent trois composants clés de prétraitement et de post-traitement :
  1. Extraction automatique du côté de la tablette : Une étape de segmentation heuristique qui isole les surfaces individuelles des tablettes à partir de photographies multi-surfaces, normalisant l'échelle d'entrée et éliminant l'encombrement de l'arrière-plan (ex. : règles, dispositों de montage).
  2. Groupage de lignes basé sur DBSCAN : Une métrique de distance anisotrope est utilisée pour regrouper les signes détectés en lignes de texte horizontales. Cette méthode est invariante à l'échelle, normalisant les coordonnées par la taille moyenne des signes pour gérer les résolutions variables et les mises en page denses.
  3. Évaluation textuelle par n-grammes : Au lieu de se fier uniquement aux métriques visuelles, le système utilise l'appariement de 1-, 2- et 3-grammes par rapport aux translittérations manuelles pour ajuster les seuils de détection et évaluer la cohérence textuelle.

Contributions clés

1. Expansion du jeu de données : Les auteurs ont étendu le jeu de données de référence de 52 102 à 124 504 signes annotés, créant ainsi le plus grand ensemble de données supervisées pour la détection de signes cunéiformes.
2. Pipeline reproductible et extensible : Ils fournissent une réimplémentation du modèle basé sur DETR et étendent le flux de travail d'inférence avec une extraction automatisée du côté de la tablette et un groupage de lignes robuste, répondant à la variabilité structurelle des photographies de musées réelles.
3. Évaluation complète : L'étude réalise une inférence à grande échelle sur 87 668 fragments de tablettes, produisant près de 2,9 millions de détections de signes. Elle évalue les performances à l'aide des métriques standards de type COCO et de nouvelles mesures de similitude textuelle par n-grammes.

Résultats

• Performance de détection : Le système proposé atteint des améliorations constantes de 28 à 37 % par rapport à la référence précédente (Cobanoglu et al., 2024) sur les métriques de type COCO (AP, AP50, AR) sous un découpage stratifié de 106 classes. Le modèle à 106 classes surpasse généralement le modèle à 173 classes dans les métriques agrégées en raison de la réduction de l'ambiguïté de classification, bien que le modèle à 173 classes soit conservé pour l'inférence à grande échelle afin de préserver les distinctions philologiques fines.
• Études d'ablation : Le retrait de l'étape d'extraction du côté de la tablette a provoqué une chute drastique des performances (l'AP est passé de 0,265 à 0,107), confirmant la nécessité d'isoler les surfaces individuelles des tablettes. De même, le groupage de lignes par DBSCAN proposé a surpassé les approches à seuil de pixels fixes, améliorant le score moyen d'appariement n-gramme de 0,205 à 0,232.
• Inférence à grande échelle : Appliqué à l'ensemble du corpus eBL, le modèle a généré 2 892 350 détections de signes. La distribution de fréquence des signes qui en résulte reflète la structure à longue traîne des données d'entraînement.
• Alignement textuel : Sur un sous-ensemble de 26 790 fragments, le système a atteint un score d'appariement n-gramme moyen de 0,232 (IC à 95 % [0,230, 0,234]). Bien que cela indique une capacité d'alignement cohérente, les auteurs notent qu'environ 9 % des n-grammes de référence sont exclus par l'espace d'étiquetage actuel de 173 classes, et que les performances varient considérablement selon les dommages de la tablette et la densité de la mise en page.

Signification et limites
L'article affirme que ce travail fournit une base évolutive et interprétable pour l'analyse de corpus cunéiformes. En opérant sans priors linguistiques, le système évite de biaiser les sorties vers des motifs familiers, préservant ainsi la capacité de détecter des combinaisons de signes inhabituelles ou des motifs textuels rares. L'intégration de la détection visuelle avec l'évaluation par n-grammes comble le fossé entre le traitement d'image brut et l'analyse textuelle structurée.

Cependant, les auteurs reconnaissent explicitement plusieurs limites :

• Absence de priors linguistiques : Le système traite les signes indépendamment sans modélisation de séquence, ce qui signifie qu'il ne peut pas exploiter les contraintes sémantiques ou syntaxiques pour corriger les erreurs.
• Sensibilité aux dommages : Le modèle éprouve des difficultés avec les signes sévèrement endommagés ou déformés, produisant souvent des prédictions confiantes mais incorrectes plutôt que de les classer comme « peu clairs ».
• Variabilité de la mise en page : Bien que DBSCAN améliore le groupage de lignes, il reste une heuristique globale et peut échouer sur des tablettes présentant des espacements très irréguliers, des surfaces courbes ou des mises en page à plusieurs colonnes.

Les auteurs concluent que, bien que le pipeline actuel soit une étape importante, les travaux futurs devront intégrer une modélisation visuelle, linguistique et sensible à la mise en page pour parvenir à une translittération robuste de bout en bout.