TRIDIS: A Comprehensive Medieval and Early Modern Corpus for Handwritten Text Recognition and Named Entity Recognition

Resumo Técnico: Corpus TRIDIS e Estratégia de Avaliação

Definição do Problema
O Reconhecimento de Texto Manuscrito (HTR) para manuscritos históricos enfrenta obstáculos significativos no que diz respeito à consistência dos dados e ao rigor da avaliação. Os conjuntos de dados existentes frequentemente sofrem com padrões de anotação inconsistentes (por exemplo, abordagens variadas para a expansão de abreviações e pontuação), escopo limitado (focando em scripts ou regiões únicas) e, mais criticamente, a falta de divisões de teste desafiadoras. As divisões aleatórias convencionais frequentemente resultam em uma sobreposição substancial entre os dados de treinamento e de teste, gerando métricas de desempenho excessivamente otimistas que obscurecem a real capacidade de um modelo de generalizar para condições fora do domínio (OOD). Essa limitação dificulta a avaliação robusta de modelos de HTR quando aplicados a novos documentos históricos não vistos anteriormente.

Metodologia
O artigo apresenta o TRIDIS (Tria Digita Scribunt), um corpus unificado que agrega múltiplas subcoleções de licença aberta de manuscritos medievos e da era moderna inicial (séculos XII–XVIII). A metodologia abrange três componentes principais:

1. Construção e Harmonização do Corpus:

   • Agregação de Dados: O TRIDIS combina coleções legadas (ex.: Alcar-HOME, Himanis, e-NDP, Bullinger, CODEA) abrangendo latim, francês antigo, alemão médio alto e espanhol antigo.
   • Padrões de Transcrição: O corpus adere a um paradigma de transcrição semidiplomática. Isso envolve a expansão silenciosa de abreviações, a normalização de variações alográficas (ex.: o "s" longo para o "s" curto), a modernização da pontuação e a capitalização de entidades nomeadas. Embora isso facilite o uso em pipelines de NLP modernos, o artigo reconhece que introduz uma camada interpretativa distinta da realidade paleográfica bruta.
   • Modelo de Dados: O recurso é estruturado sob um esquema padronizado e distribuído no formato Apache Parquet. Cada registro inclui a imagem da linha (RGB), transcrição em UTF-8, metadados (ID do manuscrito, idioma, século, família de escrita) e anotações de Reconhecimento de Entidades Nomeadas (NER), onde disponíveis.

2. Estratégia de Particionamento Baseada em Outliers:

   • Para abordar a questão do viés de domínio interno, os autores propõem um novo método de divisão. Em vez de um particionamento aleatório, eles calculam embeddings conjuntos visual-textuais para cada linha, concatenando saídas de um codificador de visão e um codificador de texto.
   • Um centroide do corpus é definido como o elemento mediano de todos os embeddings.
   • O conjunto de teste é construído selecionando os 5% superiores de linhas com as maiores distâncias euclidianas deste centroide. Esses "outliers" são estratificados para garantir diversidade em sua "atipicidade".
   • Esta estratégia isola linhas caracterizadas por escritas incomuns, vocabulário raro, degradação física ou layouts atípicos, criando um cenário de avaliação mais exigente.

3. Experimentos de Linha de Base (Baseline):

   • Dois modelos foram ajustados (fine-tuned) em 90% dos dados (com 5% de validação e 5% de teste de outliers): TrOCR (Large) e MiniCPM-Llama3-V 2.5.
   • O desempenho foi medido usando Taxa de Erro de Caractere (CER), Taxa de Erro de Palavra (WER) e BERTScore sob condições de teste aleatórias e baseadas em outliers.

Principais Contribuições

• Corpus TRIDIS: Um recurso abrangente e multilíngue contendo quase 200.000 linhas e ~2 milhões de tokens, documentando explicitamente a procedência, a lógica editorial e as regras de transcrição de seus componentes. Ele suporta tanto HTR quanto tarefas de downstream, como NER.
• Estrutura de Avaliação: A introdução de uma estratégia de particionamento impulsionada por outliers que vai além das divisões aleatórias para simular a imprevisibilidade de novos documentos históricos.
• Taxonomia de Desafios: Uma classificação detalhada das dificuldades específicas encontradas no conjunto de teste de outliers, incluindo:
  • Nomes: Linhas dominadas por nomes próprios com forte abreviação.
  • Linhas Longas: Linhas incomumente longas ou com geometria variável.
  • Defeitos Físicos: Problemas como tinta desbotada, manchas ou transparência.
  • Scripts Sub-representados: Famílias de escrita raras (ex.: Praegothica, Humanistica) com exemplos de treinamento limitados.
  • Contextos Complexos: Escritas notariais do século XVI e marginalia.

Resultados
Experimentos de linha de base demonstram uma lacuna significativa de desempenho entre as avaliações de domínio interno (aleatórias) e fora do domínio (outliers):

• TrOCR: O CER aumentou de 9,1% (aleatório) para 11,3% (outlier); o WER aumentou de 21,3% para 24,9%.
• MiniCPM-Llama3-V 2.5: O CER aumentou de 10,2% para 12,6%; o WER aumentou de 24,2% para 28,0%.
• A similaridade semântica (BERTScore) também declinou no cenário de outliers (ex.: TrOCR caiu de 0,94 para 0,91).

Estes resultados confirmam que, embora os modelos de última geração (SOTA) tenham um bom desempenho em divisões padrão, sua robustez degrada visivelmente quando confrontados com as características específicas e atípicas da partição de outliers.

Significância e Alegações
O artigo posiciona o TRIDIS não meramente como uma agregação de dados, mas como uma ferramenta para avaliação robusta e justa. Os autores alegam que a estratégia baseada em outliers fornece um benchmark mais realista para o HTR de documentos de patrimônio, revelando limites de desempenho que permanecem ocultos sob configurações de avaliação aleatória convencional.

A significância reside em:

1. Benchmarking Realista: Oferece uma estrutura para instituições de patrimônio avaliarem modelos contra o "desvio de domínio" inerente aos materiais arquivísticos recém-digitalizados.
2. Identificação de Lacunas: A queda de desempenho destaca áreas específicas que exigem aumento de dados (augmentation) direcionado, estratégias de normalização ou modelagem especializada (ex.: para scripts sub-representados ou abreviações complexas).
3. Preparação para o Futuro: Ao codificar explicitamente a heterogeneidade editorial e fornecer metadados ricos, o corpus suporta análise cross-linguística, investigações de mudança de estilo e o desenvolvimento de representações multimodais para uma compreensão mais profunda do documento.

Os autores concluem que o TRIDIS serve tanto como um recurso fundamental para a transferência de domínio cruzado no processamento de documentos de patrimônio quanto como um convite para repensar os padrões de avaliação para melhor refletir os desafios do reconhecimento de texto histórico.