The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions

Este artículo presenta el Corpus Patrologia Graeca, el primer recurso abierto a gran escala que combina reconocimiento óptico de caracteres (OCR) y anotación lingüística para las ediciones griegas del siglo XIX, logrando una precisión superior a la de los sistemas existentes y proporcionando un corpus de seis millones de tokens para el entrenamiento de modelos futuros.

Lo esencial

Imagina que tienes una biblioteca gigante llena de libros antiguos escritos en griego, pero están en un estado muy especial: son copias impresas en el siglo XIX, con una tipografía complicada, llena de acentos extraños y dibujos, y además, cada página tiene dos columnas: una en griego y otra en latín, mezcladas como si fuera un baile de dos parejas que a veces se cruzan.

Además, estos libros están un poco "sucios" por el paso del tiempo: las páginas están dobladas, la tinta se ha borrado y el escaneo digital que tenemos de ellos es de mala calidad. Intentar leerlos con una computadora es como intentar descifrar un mensaje escrito con una pluma temblorosa en una hoja arrugada.

¿Qué hicieron estos investigadores?

Chahan Vidal-Gorène y Bastien Kindt crearon un "super-lector" (una inteligencia artificial) capaz de limpiar, leer y organizar este caos. Han creado el Corpus Patrologia Graeca, que es básicamente una biblioteca digital gigante y gratuita de estos textos antiguos.

Aquí te explico cómo lo hicieron usando analogías sencillas:

1. El problema: Un rompecabezas roto

Antes, si querías estudiar estos textos, tenías que mirar las fotos de los libros (PDFs) y leerlos tú mismo, lo cual es lento y propenso a errores. Las computadoras anteriores intentaban leerlos, pero se confundían mucho. Era como intentar leer un periódico antiguo con una lupa rota: veías las letras, pero no sabías si era una "a" o una "o", o si ese punto era un acento o una mancha de tinta.

2. La solución: Un equipo de especialistas robóticos

Los autores no usaron un solo robot, sino un equipo de dos expertos que trabajan juntos:

• El Arquitecto (YOLO): Primero, este "arquitecto" mira la página y dice: "¡Espera! Aquí hay una columna en griego, allá una en latín, y aquí arriba hay un título". Es como un guardia de seguridad que separa a los invitados de la fiesta según su traje, para que no se mezclen. Identifica dónde está cada cosa en la página.
• El Traductor (CRNN): Una vez que el arquitecto sabe dónde están las líneas, el "traductor" se pone a leer. Pero no es un traductor normal; es un robot que ha practicado miles de horas viendo ejemplos de letras griegas antiguas, incluso las que están borrosas o deformadas.

3. El entrenamiento: De "novato" a "maestro"

Al principio, el robot era como un estudiante que apenas empezaba a leer griego antiguo. Se equivocaba mucho. Para mejorar, los investigadores le dieron un "libro de ejercicios" especial:

• Le mostraron páginas reales de los libros antiguos.
• Le enseñaron a reconocer los acentos complicados (esos puntos y rayitas sobre las letras que cambian el sonido).
• Le mostraron ejemplos de cómo la tinta se mancha o cómo la letra "alfa" puede parecerse a una "tau" si la tinta está muy gastada.

Gracias a este entrenamiento intensivo, el robot ahora es un genio. Lee con una precisión del 99% (solo se equivoca en 1 de cada 100 letras). ¡Es mucho mejor que cualquier otro sistema que existía antes!

4. El resultado: Un tesoro limpio y organizado

Lo que obtuvieron no es solo un texto digital. Es un tesoro lingüístico:

• 6 millones de palabras: Han convertido todo el texto en una base de datos ordenada.
• Etiquetas inteligentes: Cada palabra no solo está escrita, sino que tiene una "etiqueta" que dice qué significa (su forma original o "lema") y qué función tiene en la oración (si es un verbo, un sustantivo, etc.).
• Búsqueda fácil: Ahora, un investigador puede buscar una palabra sin preocuparse por los acentos. Si busca "dios", el sistema encontrará "θεός" (theós) automáticamente, aunque tú no sepas escribir los acentos griegos.

¿Por qué es importante?

Imagina que quieres construir una casa (un modelo de Inteligencia Artificial) para entender el griego antiguo. Antes, los arquitectos solo tenían unos pocos ladrillos (textos limitados). Ahora, gracias a este proyecto, tienen un montón de ladrillos nuevos, fuertes y variados.

Esto permite que:

1. Los historiadores encuentren información que estaba "escondida" en esos libros polvorientos.
2. Las nuevas inteligencias artificiales (como los chatbots modernos) aprendan a hablar y entender el griego antiguo de manera mucho más precisa.
3. Cualquiera en el mundo pueda acceder a estos textos gratis, sin tener que ser un experto en paleografía.

En resumen:
Estos autores tomaron una montaña de libros antiguos, sucios y difíciles de leer, y usaron inteligencia artificial para limpiarlos, ordenarlos y ponerles etiquetas. Ahora, ese tesoro del pasado está abierto para que cualquiera pueda explorarlo, como si hubieran abierto las puertas de una biblioteca que estaba cerrada durante siglos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: El Corpus de la Patrología Griega (PG)

1. El Problema
La investigación aborda la falta de un corpus abierto, estructurado y lingüísticamente enriquecido para las ediciones del siglo XIX de la Patrología Graeca (PG), una colección monumental de 161 volúmenes que abarca literatura patrística, bizantina y antigua (siglos I al XV).

• Limitaciones actuales: La mayoría de los volúmenes solo existen como escaneos PDF no buscables, carecen de codificación estructural y presentan tipografías complejas (bilingües griego-latín, columnas superpuestas, márgenes densos).
• Desafíos de OCR: La tipografía polítona griega del siglo XIX, degradada por el tiempo y con diacríticos complejos, supera las capacidades de los sistemas OCR existentes (como Tesseract o modelos genéricos de Transkribus), que suelen presentar tasas de error superiores al 5-10% y fallan en la segmentación de líneas y la distinción entre textos griegos y latinos.
• Brecha de datos: No existen conjuntos de datos de "verdad fundamental" (ground truth) alineados a nivel de página para este material específico, lo que impide entrenar modelos dedicados.

2. Metodología
Los autores desarrollaron un pipeline especializado que combina detección de diseño (layout) y reconocimiento de texto, seguido de análisis lingüístico:

• Preparación de Datos:

  • Se creó un conjunto de prueba de 30 páginas transcritas manualmente.
  • Se generó un conjunto de entrenamiento de 445 imágenes representativas de la diversidad tipográfica y estructural de la PG, utilizando alineación semi-automática y corrección manual en la plataforma Calfa Vision.
  • Se aplicó una estrategia de aumento de datos agresiva (ruido gaussiano, desenfoque, distorsión elástica, etc.) para simular el deterioro visual de los escaneos originales.

• Arquitectura del Modelo de OCR:

  • Detección de Diseño: Se utilizó un modelo basado en YOLO para identificar regiones semánticas (texto griego, texto latino, títulos, márgenes, notas al pie) y orden de lectura.
  • Reconocimiento de Texto: Se empleó una arquitectura CRNN (Red Neuronal Convolucional Recurrente) basada en palabras. El modelo se pre-entrenó en manuscritos griegos y luego se fine-tuneó (ajuste fino) iterativamente con datos de la PG y datos sintéticos degradados.
  • Análisis Lingüístico: Se aplicó una estrategia híbrida para la lematización y el etiquetado morfosintáctico (POS), combinando redes neuronales (basadas en la arquitectura PIE) con corrección post-procesamiento basada en reglas y diccionarios, adaptada al conjunto de etiquetas GREgORI.

3. Contribuciones Clave

• Primer Recurso Abierto a Gran Escala: Lanzamiento del primer corpus OCR y lingüístico abierto para las ediciones del siglo XIX de la PG.
• Corpus Enriquecido: Generación de un corpus de aproximadamente 6 millones de tokens lematizados y etiquetados morfosintácticamente.
• Nuevos Datos de Entrenamiento: Creación de un conjunto de datos de verdad fundamental específico para la PG, crucial para el entrenamiento de futuros modelos de visión y lenguaje.
• Formato Estructurado: Publicación de los datos en formato .vert (compatible con Sketch Engine), que incluye cinco capas de información: forma OCR, forma intuitiva (sin diacríticos), lema, lema intuitivo y etiqueta morfosintáctica, manteniendo la trazabilidad con el documento original.

4. Resultados
El rendimiento del sistema propuesto supera significativamente a las soluciones existentes:

• Precisión de Reconocimiento (en un conjunto de prueba de 30 páginas):

  • Tasa de Error de Caracteres (CER): 1.05% (frente al 6.14% de Transkribus y 11.57% de Tesseract).
  • Tasa de Error de Palabras (WER): 4.69% (frente al 14.82% de Transkribus y 39.65% de Tesseract).
  • Esto representa una mejora de 5 a 7 puntos en CER y 6 a 10 puntos en WER respecto a los baselines anteriores.

• Detección de Diseño:

  • Alta precisión en la detección de columnas de texto griego (mAP50: 0.973) y latín (mAP50: 0.982).
  • Detección de líneas con un 98.3% de precisión.

• Análisis de Errores:

  • El 80% de los errores restantes se deben a confusiones en la codificación de diacríticos (diferencias entre formas monotónicas y polítonas visualmente idénticas), no a la identificación incorrecta de la letra base.
  • Se identificaron patrones de error específicos en letras como iota, omega y épsilon, relacionados con la inestabilidad de los diacríticos y la tipografía comprimida.

• Visualización:

  • Análisis t-SNE que demuestra que el corpus PG forma un clúster léxico y visualmente distinto y coherente, diferenciándose de otros corpus griegos y de datos de manuscritos, lo que confirma su valor único para el entrenamiento de modelos.

5. Significado e Impacto

• Avance Filológico: Permite el acceso computacional a una vasta cantidad de literatura griega que permanecía inaccesible en formato digital utilizable, incluyendo formas raras, términos técnicos y teológicos subrepresentados en otros corpus.
• Benchmarks para IA: Establece un nuevo estándar de referencia para la OCR de griego polítono ruidoso y proporciona material de entrenamiento esencial para modelos de lenguaje grandes (LLMs) y arquitecturas tipo BERT (como Ancient-Greek-BERT, GreBERTa, PhilBERTa) para mejorar su comprensión del griego antiguo y bizantino.
• Reproducibilidad: La liberación de los datos en GitHub y Zenodo, junto con el acceso a través de gregoriproject.com, fomenta la transparencia y permite a la comunidad científica realizar nuevas experimentaciones y comparativas.

En conclusión, este trabajo no solo digitaliza un patrimonio cultural crítico, sino que resuelve desafíos técnicos específicos de la OCR histórica mediante una combinación innovadora de detección visual y procesamiento lingüístico, sentando las bases para la próxima generación de herramientas de humanidades digitales para el griego antiguo.