SumTablets: A Transliteration Dataset of Sumerian Tablets

1. O Problema

A língua suméria é a primeira língua escrita atestada da história, com um vasto corpus de textos em cuneiforme. No entanto, a aplicação de métodos modernos de Processamento de Linguagem Natural (NLP) para a transliteração do sumério (converter os glifos cuneiformes em texto latino) foi historicamente impedida pela falta de um conjunto de dados abrangente e acessível que pareasse as representações digitais dos glifos (Unicode) com as suas transliterações acadêmicas.

Embora existam grandes projetos digitais (como ETCSL, CDLI e Oracc) que publicaram transliterações online, esses dados não possuíam uma representação digital paralela dos glifos originais. Além disso, a natureza polivalente dos glifos sumérios (um único glifo pode ter múltiplas leituras dependendo do contexto) e a falta de padronização nas convenções de transliteração tornam a tarefa complexa para modelos de aprendizado de máquina.

2. Metodologia

Criação do Dataset (SumTablets)

Os autores construíram o SumTablets, um dataset massivo que mapeia glifos para transliterações. O processo envolveu:

• Fonte de Dados: Coleta de transliterações do Oracc (Open Richly Annotated Cuneiform Corpus) e metadados do ePSD2 (Electronic Pennsylvania Sumerian Dictionary) e OSL (Oracc Sign List).
• Pré-processamento e Limpeza:
  • Normalização das convenções de transliteração.
  • Remoção de anotações acadêmicas (como textos entre colchetes indicando partes faltantes ou conjecturas editoriais) para focar apenas no que é visível no tablet, substituindo-as por tokens especiais (ex: ... para quebras).
  • Preservação de informações estruturais (superfícies, novas linhas, colunas) através de tokens especiais como <SURFACE>, <COLUMN>, <RULING>.
• Mapeamento Glifo-Transliteração:
  • Divisão das transliterações em morfemas (leituras).
  • Uso de dicionários (ePSD2 e OSL) para mapear cada leitura de volta ao seu nome de glifo convencional (ex: "KA") e, subsequentemente, para sua representação Unicode.
  • Tratamento de glifos não representados no Unicode ou leituras incertas com o token <UNK>.
• Estatísticas do Dataset:
  • 91.606 tablets sumérios.
  • Total de 6.970.407 glifos.
  • Divisão estratificada por período histórico e gênero (administrativo, real, literário, etc.) em conjuntos de treino (90%), validação (5%) e teste (5%).

Modelos de Avaliação (Baselines)

Os autores desenvolveram e compararam duas abordagens para a tarefa de transliteração (tratada como uma tarefa de conversão sequência-para-sequência):

1. Baseline de Dicionário (Pesada):

   • Para cada glifo de entrada, amostra-se uma leitura possível baseada na frequência de ocorrência nos dicionários existentes.
   • Não considera o contexto sequencial.

2. Baseline Neural (Modelo Autoregressivo):

   • Arquitetura: Modelo Encoder-Decoder baseado no XLM-R (um modelo transformer multilíngue pré-treinado em mais de 100 línguas).
   • Tokenização: Re-treinamento do tokenizador SentencePiece para criar dois vocabulários específicos: um para glifos Unicode (632 tokens) e outro para transliterações (1024 tokens), incluindo tokens especiais.
   • Treinamento em 3 Estágios:
     1. Fine-tuning do Encoder com tarefa de Modelagem de Linguagem Mascaramento (MLM) apenas nos glifos.
     2. Congelamento do Encoder e treino do Decoder (com encoder fixo) por 1/3 do tempo total.
     3. Descongelamento do Encoder e treino conjunto do Encoder-Decoder.
   • Decodificação: Uso de beam search (tamanho 5).

3. Contribuições Principais

• Primeiro Dataset de Grande Escala: Apresentação do SumTablets, o maior conjunto de dados paralelo glifo-transliteração disponível, facilitando o uso via biblioteca Hugging Face.
• Padronização: Unificação de dados heterogêneos de múltiplos projetos em um formato estruturado e limpo, otimizado para NLP.
• Primeiro Modelo Automático: Desenvolvimento e avaliação do primeiro modelo de aprendizado de máquina para transliteração automática de sumério.
• Benchmarks: Estabelecimento de métricas de avaliação (chrF) e resultados base para futuras pesquisas.

4. Resultados

O desempenho foi avaliado usando a pontuação chrF (F-score no nível de caracteres), que considera precisão e recall de n-gramas de caracteres.

• Baseline de Dicionário: Alcançou uma pontuação média de 61,22 chrF.
• Modelo Neural (XLM-R Fine-tuned): Alcançou uma pontuação média de 97,54 chrF.
• Análise por Gênero: O modelo neural superou consistentemente o baseline em todas as categorias. O desempenho foi ligeiramente superior em textos administrativos (devido à maior quantidade de dados de treino e natureza formulaica) e menor em textos literários e litúrgicos, que são mais complexos e possuem menos exemplos.
• Desempenho: O modelo demonstrou alta capacidade de generalização, apesar de o sumério ser uma língua isolada e de baixo recurso.

5. Significado e Impacto

• Aceleração da Assiriologia: O modelo permite que especialistas verifiquem rapidamente transliterações geradas automaticamente, em vez de transliterar tablet por tablet manualmente, economizando tempo valioso para pesquisa e tradução.
• Viabilidade de NLP em Línguas Isoladas: Demonstra que modelos multilíngues pré-treinados podem ser adaptados com sucesso para línguas antigas e isoladas, superando a escassez de dados através de transferência de conhecimento linguístico.
• Futuro da Tradução: A transliteração precisa é um passo fundamental para o desenvolvimento de pipelines completos de tradução automática do sumério.
• Reprodutibilidade: A disponibilização do código e dos dados no GitHub e Hugging Face (sob licença CC BY 4.0) garante que a comunidade possa reproduzir, validar e expandir o trabalho.

Em suma, o artigo marca um marco na interseção entre humanidades digitais e inteligência artificial, fornecendo a infraestrutura de dados necessária para aplicar técnicas modernas de deep learning à decifração e estudo de textos sumérios antigos.