Automated sign detection across the Electronic Babylonian Library: A large-scale dataset and end-to-end cuneiform OCR pipeline

Resumo Técnico: Detecção Automatizada de Sinais através da Biblioteca Babilônica Eletrônica

Definição do Problema
O estudo aborda o gargalo crítico na assiriologia: a incapacidade de analisar manualmente os aproximadamente 500.000 tabletes cuneiformes escavados devido à escala massiva do corpus e à necessidade de perícia especializada. Embora a visão computacional ofereça um caminho para a decifração em larga escala, o cuneiforme apresenta desafios únicos distintos de escritas modernas. As impressões em forma de cunha são tridimensionais, exibem variação diacrônica significativa em forma e orientação, e são frequentemente obscurecidas por danos físicos (erosão, rachaduras, cunhas ausentes). Além disso, modelos existentes de Reconhecimento Óptico de Caracteres (OCR) e Detecção de Objetos (OD) projetados para escritas alfabéticas são inadequados para o cuneiforme. Uma limitação primária no campo tem sido a escassez de conjuntos de dados densamente anotados e de grande escala, uma vez que a criação de tais dados exige o trabalho laborioso de especialistas filológicos.

Metodologia
Os autores propõem um pipeline de ponta a ponta para detecção e organização estrutural de sinais cuneiformes, baseando-se e estendendo a arquitetura Deformable Detection Transformer (DETR) introduzida por Cobanoglu et al. (2024).

• Conjunto de Dados: O sistema utiliza o maior conjunto de dados supervisionado disponível publicamente para detecção de sinais cuneiformes até o momento, compreendendo 124.504 sinais individualmente anotados de 1.931 fragmentos de tabletes da Biblioteca Babilônica Eletrônica (eBL). O conjunto de dados abrange diversas coleções de museus (ex: British Museum, Yale, Museu do Iraque) e períodos cronológicos (do Pré-Sargônico ao Babilônico Tardio).
• Arquitetura do Modelo: O modelo de detecção central é um Deformable DETR com um backbone ResNet-50, treinado usando correspondência húngara (Hungarian matching). Os autores avaliam duas granularidades de classe: um modelo de 173 classes (preservando uma cobertura mais ampla de sinais) e um modelo de 106 classes (alinhado com a linha de base, fundindo classes infrequentes). Para lidar com a distribuição de cauda longa das frequências de sinais, as classes com menos de 90 instâncias são fundidas em uma categoria "UnclearSign" (Sinal Indefinido).
• Extensões do Pipeline de Inferência: Para preencher a lacuna entre a detecção visual bruta e o texto estruturado, os autores introduzem três componentes principais de pré-processamento e pós-processamento:
  1. Extração Automática do Lado do Tablete: Um passo de segmentação heurística que isola as superfícies individuais dos tabletes de fotografias de múltiplas superfícies, normalizando a escala de entrada e removendo o ruído de fundo (ex: réguas, suportes de montagem).
  2. Agrupamento de Linhas Baseado em DBSCAN: Uma métrica de distância anisotrópica é usada para agrupar sinais detectados em linhas de texto horizontais. Este método é invariante de escala, normalizando as coordenadas pelo tamanho médio do sinal para lidar com resoluções variadas e layouts densos.
  3. Avaliação Textual de N-gramas: Em vez de depender apenas de métricas visuais, o sistema emprega correspondência de 1-, 2- e 3-gramas contra transliterações manuais para ajustar os limiares de detecção e avaliar a coerência textual.

Principais Contribuições

1. Expansão do Conjunto de Dados: Os autores expandiram o conjunto de dados de referência de 52.102 para 124.504 sinais anotados, criando o maior conjunto de dados supervisionado para detecção de sinais cuneiformes.
2. Pipeline Reprodutível e Extensível: Eles fornecem uma reimplantação do modelo baseado em DETR e estendem o fluxo de trabalho de inferência com extração automatizada do lado do tablete e agrupamento de linhas robusto, abordando a variabilidade estrutural de fotografias reais de museus.
3. Avaliação Abrangente: O estudo realiza inferência em larga escala em 87.668 fragmentos de tabletes, produzindo quase 2,9 milhões de detecções de sinais. O desempenho é avaliado utilizando métricas padrão do estilo COCO e novas medidas de similaridade textual de n-gramas.

Resultos

• Desempenho de Detecção: O sistema proposto alcança melhorias consistentes de 28–37% sobre a linha de base anterior (Cobanoglu et al., 2024) em métricas do estilo COCO (AP, AP50, AR) sob uma divisão estratificada de 106 classes. O modelo de 106 classes geralmente supera o modelo de 173 classes em métricas agregadas devido à redução da ambiguidade de classificação, embora o modelo de 173 classes seja mantido para inferência em larga escala para preservar distinções filológicas finas.
• Estudos de Ablação: A remoção do passo de extração do lado do tablete causou uma queda drástica no desempenho (o AP caiu de 0,265 para 0,107), confirmando a necessidade de isolar as superfícies individuais dos tabletes. Da mesma forma, o agrupamento de linhas por DBSCAN proposto superou as abordagens de limiar de pixels fixos, melhorando a pontuação média de correspondência de n-gramas de 0,205 para 0,232.
• Inferência em Larga Escala: Aplicado ao corpus completo da eBL, o modelo gerou 2.892.350 detecções de sinais. A distribuição de frequência de sinais resultante espelhou a estrutura de cauda longa dos dados de treinamento.
• Alinhamento Textual: Em um subconjunto de 26.790 fragmentos, o sistema alcançou uma Pontuação de Correspondência de n-grama média de 0,232 (IC 95% [0,230, 0,234]). Embora isso indique uma capacidade de alinhamento consistente, os autores observam que cerca de 9% dos n-gramas de referência são excluídos pelo espaço de rótulos atual de 173 classes, e o desempenho varia significamente com o dano do tablete e a densidade do layout.

Significância e Limitações
O artigo afirma que este trabalho fornece uma base escalável e interpretável para a análise de corpus de cuneiforme. Ao operar sem priors linguísticos, o sistema evita enviesar os resultados para padrões familiares, preservando assim a capacidade de detectar combinações de sinais incomuns ou padrões textuais raros. A integração da detecção visual com a avaliação de n-gramas faz a ponte entre o processamento de imagem bruta e a análise textual estruturada.

No entanto, os autores reconhecem explicitamente várias limitações:

• Falta de Priors Linguísticos: O sistema trata os sinais de forma independente, sem modelagem de sequência, o que significa que não pode aproveitar restrições semânticas ou sintáticas para corrigir erros.
• Sensibilidade a Danos: O modelo tem dificuldade com sinais severamente danificados ou distorcidos, muitas vezes produzindo previsões confiantes, porém incorretas, em vez de classificá-los como "indefinidos".
• Variabilidade de Layout: Embora o DBSCAN melhore o agrupamento de linhas, ele continua sendo uma heurística global e pode falhar em tabletes com espaçamentos altamente irregulares, superfícies curvas ou layouts de múltiplas colunas.

Os autores concluem que, embora o pipeline atual seja um passo significativo à frente, o trabalho futuro deve integrar modelagem visual, linguística e consciente de layout para alcançar uma transliteração robusta e de ponta a ponta.