Pre-Editorial Normalization for Automatically Transcribed Medieval Manuscripts in Old French and Latin

Resumen Técnico: Normalización Pre-Editorial para Manuscritos Medievales Transcritos Automáticamente

1. El Problema: La Brecha de Usabilidad en la Transcripción Histórica
El artículo aborda una división metodológica crítica en el procesamiento de textos históricos (medievales en latín y francés antiguo). Existen dos extremos en la transcripción:

• Enfoque Gráfico (Graphetic): Preserva fielmente el manuscrito (abreviaturas, puntuación original, variantes de caracteres), pero es difícil de usar para herramientas de PLN (Procesamiento del Lenguaje Natural) modernas.
• Enfoque Normalizado: Expande abreviaturas y estandariza la ortografía para el lector moderno, pero los modelos de Reconocimiento Automático de Texto (ATR) entrenados directamente para esto tienden a "alucinar" contenido, resolver mal las abreviaturas y cometer errores morfosintácticos graves.

Los modelos de ATR actuales (como los entrenados en el corpus CATMuS) producen salidas "gráficas" muy precisas, pero estas son incompatibles con herramientas estándar (lematizadores, etiquetadores gramaticales). Por otro lado, intentar normalizar directamente desde el manuscrito o corregir errores de ATR en un solo paso genera errores sistemáticos.

2. Metodología: La Tarea de Normalización Pre-Editorial (PEN)
Los autores proponen una nueva tarea intermedia llamada Normalización Pre-Editorial (Pre-Editorial Normalization - PEN).

• Definición: PEN consiste en transformar la salida cruda de un modelo de ATR (basado en grafemas) en una versión normalizada, sin llegar a una edición crítica completa.
• Objetivos de la tarea:
  • Normalizar variantes alógráficas (ej. distinguir u/v y i/j según su función vocálica o consonántica).
  • Resolver abreviaturas de manera sensible al contexto (expansión semántica y morfosintáctica).
  • Corregir errores de reconocimiento de ATR (ej. confusión rn/m).
  • Normalizar mayúsculas y puntuación según estándares editoriales modernos.
  • Preservar la puntuación original y las variantes ortográficas históricas (no estandarizar la ortografía más allá de lo necesario para la legibilidad).

3. Construcción del Dataset y Recursos
Para entrenar y evaluar modelos en esta tarea, los autores crearon un nuevo recurso masivo:

• Corpus de Entrenamiento (Plata de Plata): Se alinearon automáticamente 33.000 páginas del corpus CoMMA (transcripciones gráficas de manuscritos) con ediciones digitales normalizadas de textos en latín y francés antiguo utilizando la herramienta passim.
  • Se filtraron y procesaron para obtener un corpus de 4.66 millones de pares (entrada ATR -> salida normalizada).
  • Se identificaron riesgos de "sobre-normalización" en los datos alineados, especialmente en francés antiguo, donde las ediciones digitales a veces imponen variantes ortográficas que no estaban en el manuscrito original.
• Conjunto de Evaluación (Oro): Se creó un conjunto de prueba de 1.800 muestras (588 muestras únicas) corregidas manualmente por un filólogo para garantizar la precisión en la alineación y la normalización. Incluye textos administrativos, literarios y técnicos.

4. Experimentos y Resultados
Los autores entrenaron modelos de transformación secuencia a secuencia basados en ByT5 (un modelo que opera a nivel de bytes, ideal para variaciones ortográficas y caracteres Unicode complejos).

• Comparativa: Se comparó el modelo propuesto (ByT5 entrenado en PEN) contra:
  1. Un modelo zero-shot de Llama 3 8B.
  2. Un modelo de ByT5 entrenado en un dataset previo limitado (Schonhardt, 2025).
• Métricas: Se utilizó la Tasa de Error de Caracteres (CER) y la Tasa de Error de Palabras (WER).
• Resultados Clave:
  • El modelo propuesto alcanzó un CER del 6.7% en el conjunto de datos de oro, superando significativamente a los baselines (el modelo de Schonhardt tuvo un CER del 64.8% y Llama 3 un 139.9%).
  • El modelo demostró una capacidad superior para retokenizar y corregir errores de ATR, aunque mostró cierta tendencia a favorecer variantes clásicas en latín y variantes dominantes en francés antiguo (sesgo de normalización).
• Impacto en Tareas Posteriores: Al aplicar la normalización PEN como paso previo para tareas de lematización y etiquetado gramatical (POS), el enfoque propuesto mejoró la precisión y la F1-score en comparación con pipelines anteriores que intentaban corregir errores de espacio y lematizar directamente sobre texto crudo.

5. Contribuciones Clave

1. Definición Formal de PEN: Establece un estándar para una capa intermedia entre la transcripción gráfica y la edición normalizada.
2. Recursos de Datos: Publicación de un corpus de entrenamiento de 4.66M muestras y un conjunto de evaluación de oro de 1.8k muestras.
3. Modelo de Referencia: Un modelo ByT5 optimizado que logra un rendimiento sustancialmente superior a los métodos existentes para la normalización de textos medievales.
4. Análisis de Riesgos: Identificación y cuantificación de los riesgos de sobre-normalización y alucinación en los datos alineados automáticamente.

6. Significado e Impacto
Este trabajo cierra la brecha de usabilidad entre la paleografía digital y el PLN moderno. Al separar la corrección de errores de reconocimiento (ATR) de la normalización lingüística, PEN permite:

• Utilizar herramientas de PLN estándar (lematizadores, NER) en textos medievales con mayor precisión.
• Rastrear errores de normalización de forma transparente, diferenciándolos de errores de transcripción.
• Facilitar la investigación en humanidades digitales al proporcionar un flujo de trabajo más robusto y reproducible para el análisis de grandes volúmenes de manuscritos.

En conclusión, la Normalización Pre-Editorial se presenta como un componente esencial para el futuro de la edición digital de textos históricos, equilibrando la fidelidad filológica con la utilidad computacional.