Automated sign detection across the Electronic Babylonian Library: A large-scale dataset and end-to-end cuneiform OCR pipeline

Resumen Técnico: Detección Automatizada de Signos en la Biblioteca Babilonia Electrónica

Planteamiento del Problema
El estudio aborda el cuello de botella crítico en la asiriología: la incapacidad de analizar manualmente los aproximadamente 500,000 fragmentos de tablillas de escritura cuneiforme excavados debido a la escala masiva del corpus y a la experiencia especializada requerida. Si bien la visión por computadora ofrece un camino hacia la descifración a gran escala, el cuneiforme presenta desafíos únicos distintos de las escrituras modernas. Las impresiones en forma de cuña son tridimensionales, exhiben una variación diacrónica significativa en forma y orientación, y a menudo están oscurecidas por daños físicos (erosión, grietas, cuñas faltantes). Además, los modelos existentes de Reconocimiento Óptico de Caracteres (OCR) y Detección de Objetos (OD) diseñados para escrituras alfabéticas no son adecuados para el cuneiforme. Una limitación primaria en el campo ha sido la escasez de conjuntos de datos densamente anotados y de gran tamaño, ya que la creación de tales datos requiere una laboriosa pericia filológica.

Metodología
Los autores proponen un flujo de trabajo (pipeline) de extremo a extremo para la detección de signos cuneiformes y la organización estructural, basándose en y extendiendo la arquitectura Deformable Detection Transformer (DETR) introducida por Cobanoglu et al. (2024).

• Conjunto de Datos: El sistema utiliza el conjunto de datos supervisado disponible públicamente más grande para la detección de signos cuneiformes hasta la fecha, que comprende 124,504 signos anotados individualmente de 1,931 fragmentos de tablillas dentro de la Biblioteca Babilonia Electrónica (eBL). El conjunto de datos abarca diversas colecciones de museos (p. ej., British Museum, Yale, Museo de Irak) y periodos cronológicos (desde el Presargónico hasta el Babilonio Tardío).
• Arquitectura del Modelo: El modelo de detección central es un Deformable DETR con un backbone ResNet-50, entrenado mediante emparejamiento húngaro (Hungarian matching). Los autores evalúan dos granularidades de clase: un modelo de 173 clases (que preserva una cobertura de signos más amplia) y un modelo de 106 clases (alineado con la línea base, fusionando clases infrecuentes). Para abordar la distribución de cola larga de las frecuencias de los signos, las clases con menos de 90 instancias se fusionan en una categoría "UnclearSign" (Signo No Claro).
• Extensiones del Flujo de Inferencia: Para cerrar la brecha entre la detección visual bruta y el texto estructurado, los autores introducen tres componentes clave de preprocesamiento y postprocesamiento:
  1. Extracción Automática del Lado de la Tablilla: Un paso de segmentación heurística que aisla las superficies individuales de las tablillas de las fotografías de múltiples superficies, normalizando la escala de entrada y eliminando el ruido de fondo (p. ej., reglas, soportes de montaje).
  2. Agrupación de Líneas Basada en DBSCAN: Se utiliza una métrica de distancia anisotrópica para agrupar los signos detectados en líneas de texto horizontales. Este método es invariante a la escala, normalizando las coordenadas mediante el tamaño promedio de los signos para manejar variaciones de resolución y disposiciones densas.
  3. Evaluación Textual de N-gramas: En lugar de depender únicamente de métricas visuales, el sistema emplea el emparejamiento de 1-, 2- y 3-gramas contra transliteraciones manuales para ajustar los umbrales de detección y evaluar la coherencia textual.

Contribuciones Clave

1. Expansión del Conjunto de Datos: Los autores expandieron el conjunto de datos de referencia de 52,102 a 124,504 signos anotados, creando el conjunto de datos supervisado más grande para la detección de signos cuneiformes.
2. Flujo de Trabajo Reproducible y Extensible: Proporcionan una reimplementación del modelo basado en DETR y extienden el flujo de trabajo de inferencia con la extracción automatizada del lado de la tablilla y una agrupación de líneas robusta, abordando la variabilidad estructural de las fotografías reales de museos.
3. Evaluación Exhaustiva: El estudio realiza una inferencia a gran escala en 87,668 fragmentos de tablillas, produciendo casi 2.9 millones de detecciones de signos. Evalúa el rendimiento utilizando métricas estándar tipo COCO y novedosas medidas de similitud textual de n-gramas.

Resultados

• Rendimiento de Detección: El sistema propuesto logra mejoras consistentes del 28–37% sobre la línea base anterior (Cobanoglu et al., 2024) en métricas de tipo COCO (AP, AP50, AR) bajo una división estratificada de 106 clases coincidente. El modelo de 106 clases generalmente supera al de 173 clases en métricas agregadas debido a la reducción de la ambigüedad de clasificación, aunque el modelo de 173 clases se mantiene para la inferencia a gran escala para preservar las distinciones filológicas finas.
• Estudios de Ablación: La eliminación del paso de extracción del lado de la tablilla causó una caída drástica en el rendimiento (el AP cayó de 0.265 a 0.107), confirmando la necesidad de aislar las superficies individuales de las tablillas. Del mismo modo, la agrupación de líneas por DBSCAN propuesta superó a los enfoques de umbral de píxeles fijos, mejorando la puntuación media de coincidencia de n-gramas de 0.205 a 0.232.
• Inferencia a Gran Escala: Aplicado a todo el corpus de la eBL, el modelo generó 2,892,350 detecciones de signos. La distribución de frecuencia de signos resultante reflejó la estructura de cola larga de los datos de entrenamiento.
• Alineación Textual: En un subconjunto de 26,790 fragmentos, el sistema alcanzó una Puntuación de Coincidencia de n-gramas media de 0.232 (IC 95% [0.230, 0.234]). Si bien esto indica una capacidad de alineación consistente, los autores señalan que aproximadamente el 9% de los n-gramas de referencia quedan excluidos por el espacio de etiquetas actual de 173 clases, y el rendimiento varía significamente con el daño de la tablilla y la densidad del diseño.

Significado y Limitaciones
El artículo afirma que este trabajo proporciona una base escalable e interpretable para el análisis de todo el corpus de escritura cuneiforme. Al operar sin sesgos lingüísticos previos, el sistema evita sesgar los resultados hacia patrones familiares, preservando así la capacidad de detectar combinaciones de signos inusuales o patrones textuales raros. La integración de la detección visual con la evaluación de n-gramas cierra la brecha entre el procesamiento de imágenes puras y el análisis de texto estructurado.

Sin embargo, los autores reconocen explícitamente varias limitaciones:

• Falta de Sesgos Lingüísticos: El sistema trata los signos de forma independiente sin modelado de secuencias, lo que significa que no puede aprovechar las restricciones semánticas o sintácticas para corregir errores.
• Sensibilidad al Daño: El modelo tiene dificultades con signos severamente dañados o distorsionados, produciendo a menudo predicciones con alta confianza pero incorrectas, en lugar de clasificarlos como "no claros".
• Variabilidad del Diseño: Aunque DBSCAN mejora la agrupación de líneas, sigue siendo una heurística global y puede fallar en tablillas con espaciado altamente irregular, superficies curvas o diseños de múltiples columnas.

Los autores concluyen que, si bien el flujo de trabajo actual es un paso significativo hacia adelante, el trabajo futuro debe integrar el modelado visual, lingüístico y consciente del diseño para lograr una transliteración robusta de extremo a extremo.