TrOCR for Medieval HTR: A Systematic Ablation Study with Cross-Dataset Validation

Resumo Técnico: TrOCR para HTR Medieval

Declaração do Problema
O ajuste fino (fine-tuning) de modelos de Reconhecimento de Texto Manuscrito (HTR) baseados em transformers, especificamente o TrOCR, para manuscritos medievais apresenta desafios significativos. Esses modelos são pré-treinados em textos modernos e devem se adaptar a um domínio visual caracterizado por formas de letras variáveis, abreviações onipresentes, suportes degradados (tinta desbotada, transparência de tinta/sangramento) e layouts irregulares. Embora estudos recentes confirmem que modelos de transformer podem ser adaptados a documentos históricos, os ganhos de desempenho relatados são frequentemente difíceis de interpretar porque o pré-processamento, a aumentação de dados e as estratégias de otimização são frequentemente ajustados simultaneamente. Além disso, permanece incerto até que ponto uma configuração de hiperparâmetros única se transfere entre diferentes escritas, idiomas e períodos, particularmente quando coleções históricas oferecem apenas supervisão limitada (tipicamente alguns milhares de linhas rotuladas).

Metodologia
Os autores conduziram um estudo de ablação sistemático para isolar o impacto de três escolhas controláveis de ajuste fino na precisão do reconhecimento:

1. Pré-processamento: Especificamente, a aplicação de Equalização de Histograma Adaptativa com Limite de Contraste (CLAHE) para normalização de contraste.
2. Aumentação de Dados: Um pipeline combinando transformações geométricas (rotações, deformações elásticas), ajustes fotométricos (desfoque, brilho, contraste) e degradação simulada de manuscritos (ruído de pontos, sombras, manchas).
3. Ajuste Fino de Parâmetros Eficientes (Parameter-Efficient Fine-Tuning): Estratégias de congelamento de camadas para o codificador (encoder) e o decodificador (decoder).

Os experimentos utilizaram um manuscrito italiano do século XIII (I-CT 91 "Cortonese") contendo 2.517 linhas de texto anotadas. Para garantir robustez e validação entre conjuntos de dados, a mesma grade experimental foi replicada no benchmark público READ-16. O estudo empregou uma linha de base de ajuste fino total (TrOCR-base) usando um otimizador AdamW com um cronograma de taxa de aprendizado One-Cycle por 50 épocas.

O design de ablação envolveu:

• Comparar quatro variantes sob ajuste fino total: (i) CLAHE + aumentação (linha de base), (ii) sem CLAHE, (iii) sem aumentação, e (iv) sem CLAHE + sem aumentação.
• Varredura do número de camadas congeladas ($K \in \{0, 3, 6, 9, 12\}$) tanto no codificador quanto no decodificador, mantendo o outro módulo totalmente treinável.
• Teste de uma configuração combinada ($enc\_3\_dec\_6$) para verificar se limiares de congelamento individualmente não significativos permanecem não significativos quando aplicados conjuntamente.
• A significância estatística foi avaliada por meio de testes de postos sinalizados de Wilcoxon com correção de Holm na Taxa de Erro de Caractere (CER) ao nível da linha.
• Uma linha de base especializada no domínio (Kraken-CATMuS) foi usada para contexto, e a interpretabilidade foi analisada usando Grad-CAM e mapas de atenção cruzada do decodificador.

Principais Resultados

• Pré-processamento e Aumentação: No conjunto de dados Cortonese, nem o CLAHE nem o pipeline completo de aumentação produziram um ganho de precisão estatisticamente confiável em comparação com a linha de base. A remoção do CLAHE resultou em um CER de 7,84%, comparável à linha de base especializada do Kraken. No entanto, no conjunto de dados READ-16, a aumentação tornou-se claramente benéfica, sugerindo efeitos de regularização dependentes do conjunto de dados.
• Assimetria de Congelamento de Camadas: Observou-se uma assimetria acentuada entre o codificador e o decodificador.
  • Codificador: Congelar além das primeiras camadas é consistentemente prejudicial. No Cortonese, o congelamento de 6 ou mais camadas do codificador causou uma degradação significativa no desempenho.
  • Decodificador: O decodificador é mais tolerante ao congelamento. O congelamento de até 6 camadas do decodificador no Cortonese não prejudicou significativamente a precisão em comparação com o ajuste fino total.
• Transferência entre Conjuntos de Dados: Embora a assimetria codificador-decodificador tenha persistido no READ-16, os limiares específicos de congelamento não foram universalmente transferíveis. A configuração combinada ($enc\_3\_dec\_6$), que foi não significativa no Cortonese, teve um desempenho significativamente inferior ao ajuste fino total no READ-16. Isso indica que estratégias de congelamento combinadas exigem revalidação específica para cada conjunto de dados.
• Interpretabilidade: Grad-CAM e mapas de atenção cruzada serviram como ferramentas diagnósticas. A perda de token correlacionou-se com mapas de atenção de alta entropia (difusos), enquanto previsões corretas ainda podiam conter tokens com perda elevada. O estudo observou que o Grad-CAM pode ocasionalmente colapsar para mapas nulos (um modo de falha), caso em que os diagnósticos baseados em atenção servem como um recurso de contingência (fallback).

Contribuições e Significância
O artigo fornece recomendações práticas e baseadas em evidências para profissionais que realizam o ajuste fino de TrOCR em conjuntos de dados históricos de poucos recursos:

1. Pré-processamento: O CLAHE deve ser tratado como opcional, em vez de um requisito padrão, já que a otimização forte pode reduzir a dependência de um pré-processamento de imagem agressivo.
2. Aumentação: Estratégias de aumentação devem ser validadas por conjunto de dados, em vez de assumir que proporcionam ganhos universais.
3. Estratégia de Congelamento: Deve-se evitar o congelamento agressivo do codificador. O congelamento moderado do decodificador pode reduzir os custos de treinamento sem perda mensurável em corpora específicos, mas as receitas de congelamento combinadas devem ser revalidadas para cada novo conjunto de dados.
4. Ferramentas de Diagnóstico: Grad-CAM e mapas de atenção cruzada são valiosos para interpretar padrões de erro e modos de falha, particularmente quando usados em conjunto com sinais de perda ao nível do token.

Os autores afirmam modestamente que este trabalho não visa superar todos os sistemas de HTR existentes, mas sim fornecer um estudo de ablação controlado e orientação acionável. Os achados sugerem que, embora as escolhas de otimização possam compensar parcialmente a falta de pré-treinamento especializado, o pré-treinamento consciente do domínio continua sendo valioso quando os dados estão disponíveis. O estudo enfatiza que as conclusões sobre limiares de congelamento e pré-processamento são específicas para arquiteturas codificador-decodificador do tipo TrOCR em imagens de linha histórica de poucos recursos e não devem ser generalizadas sem validação adicional através de diferentes escritas e períodos.