Pre-Editorial Normalization for Automatically Transcribed Medieval Manuscripts in Old French and Latin

1. O Problema

O avanço no Reconhecimento Automático de Texto (ATR) para manuscritos históricos criou uma lacuna metodológica entre duas abordagens de transcrição:

• Abordagem Gráfica (Graphetic): Foca na representação visual exata do manuscrito, preservando abreviações, pontuação original e variantes de caracteres. Embora fiel ao original, é difícil de usar em ferramentas de Processamento de Linguagem Natural (NLP) modernas.
• Abordagem Normalizada: Converte o texto diretamente para uma forma moderna (expansão de abreviações, separação de palavras, pontuação moderna). No entanto, modelos treinados para essa tarefa tendem a "alucinar" conteúdo, cometer erros morfológicos graves e não conseguem distinguir entre erros de reconhecimento (ATR) e erros de normalização.

Existe uma necessidade de um método intermediário que preserve a fidelidade paleográfica enquanto torna o texto utilizável para análise computacional, sem os riscos de sobre-normalização.

2. Metodologia

Os autores propõem uma nova tarefa chamada Normalização Pré-Editorial (PEN - Pre-Editorial Normalization).

• Definição da Tarefa: A PEN consiste em transformar a saída bruta de um modelo de ATR (que é "gráfico" ou "grafêmico", mantendo variantes e abreviações) em uma versão normalizada, sem realizar a edição textual completa.
  • Objetivos: Resolver abreviações de forma sensível ao contexto, corrigir erros de reconhecimento comuns (ex: confusão entre 'rn' e 'm'), normalizar capitalização e distinguir entre 'u/v' e 'i/j' (letras ramistas), mas preservar variantes ortográficas históricas (ex: manter 'f' em vez de 'ph' se for a grafia do manuscrito) e pontuação original.
• Construção do Dataset:
  • Corpo de Treinamento (Prata): Os autores alinharam automaticamente o corpus CoMMA (33.000 manuscritos com transcrições ATR grafêmicas) com edições digitais normalizadas de textos em Latim e Francês Antigo, utilizando a ferramenta passim 2.0.
  • Alinhamento: O passim usa um modelo de Markov Oculto (HMM) em nível de caractere para alinhar trechos, permitindo rearranjos causados por erros de layout no ATR.
  • Filtragem: Foram gerados 4,66 milhões de pares de alinhamento (corpus de treinamento "prata").
  • Conjunto de Teste (Ouro): Um conjunto de 1.800 amostras foi criado através de amostragem e correção manual por um filólogo para servir como gold standard.
• Modelo: Foi utilizado um modelo de sequência para sequência baseado em ByT5 (que opera em nível de byte, sendo robusto a variações de ortografia e Unicode). O modelo foi treinado para mapear a saída bruta do ATR para a versão normalizada.

3. Principais Contribuições

1. Definição Formal da PEN: Estabelecimento claro da tarefa de normalização pré-editorial como um passo intermediário distinto da transcrição e da edição final.
2. Recursos de Dados:
   • Um corpus de treinamento de 4,66 milhões de amostras (alinhamento automático).
   • Um conjunto de avaliação gold standard de 1.800 amostras manualmente corrigidas.
3. Modelo de Estado da Arte: Um modelo ByT5 treinado que alcançou um CER (Taxa de Erro de Caractere) de 6,7%, superando significativamente modelos anteriores e abordagens zero-shot.
4. Análise de Viés: Identificação de riscos de "sobre-normalização" (ex: o modelo tendendo a spellings clássicos em vez de medievais no Latim) e a importância de separar a correção de ATR da normalização linguística.

4. Resultados

• Desempenho na Normalização: O modelo proposto superou largamente as baselines, incluindo o modelo zero-shot do Llama 3 e um modelo ByT5 treinado em um conjunto de dados menor e restrito a domínios específicos (Schonhardt, 2025).
  • No conjunto de dados gold, o modelo alcançou 6,7% de CER (vs. 64,8% do baseline ByT5 anterior e 139,9% do Llama 3).
• Impacto em Tarefas de Nível Inferior (Downstream):
  • O texto normalizado foi usado como entrada para tarefas de lemmatization (lematização) e Part-of-Speech tagging (etiquetagem gramatical).
  • A pipeline que utiliza a normalização PEN mostrou maior precisão (Precision) e F1-score em comparação com a pipeline anterior (Lambert et al.), embora tenha gerado ligeiramente menos tokens (subgeração).
  • A abordagem simplifica o pipeline de processamento, removendo a necessidade de múltiplos modelos ad-hoc para correção de espaço e normalização.

5. Significado e Conclusão

O trabalho demonstra que a Normalização Pré-Editorial (PEN) é uma camada essencial e viável para o processamento de manuscritos medievais. Ao interpor-se entre a transcrição bruta e a edição final, a PEN:

• Permite que ferramentas de NLP modernas (como lematizadores e NER) funcionem eficazmente em textos históricos.
• Oferece transparência, permitindo que pesquisadores distinguam erros de reconhecimento (ATR) de escolhas editoriais.
• Reduz o risco de alucinação e perda de informação histórica que ocorre quando se tenta normalizar diretamente a partir da imagem do manuscrito.

Os autores concluem que, embora existam desafios (como o viés para ortografias clássicas e a necessidade de lidar com variações dentro do mesmo documento), a PEN é um passo fundamental para tornar arquivos históricos acessíveis e analisáveis computacionalmente de forma robusta. O código e os dados estão disponíveis publicamente no Hugging Face.