The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions

Cet article présente le Corpus Patrologia Graeca, la première ressource ouverte à grande échelle d'OCR et d'annotations linguistiques pour les éditions grecques du XIXe siècle, obtenue grâce à un pipeline spécialisé qui atteint des taux d'erreur record sur cette typographie dégradée et fournit six millions de tokens annotés pour la recherche philologique et l'entraînement de modèles.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, comme si on en parlait autour d'un café.

📜 Le Grand Défi : Sauver des livres "cassés"

Imaginez une immense bibliothèque remplie de 161 gros volumes, écrits il y a 150 ans (au XIXe siècle). Ces livres contiennent des textes grecs et latins très anciens, écrits par des philosophes, des théologiens et des historiens. C'est ce qu'on appelle la Patrologia Graeca.

Le problème ? Ces livres sont comme des vieux meubles en bois abîmé :

1. L'encre est fanée et le papier est taché.
2. L'écriture est compliquée : le grec ancien utilise beaucoup de petits accents et de signes diacritiques (comme des virgules ou des traits au-dessus des lettres), ce qui rend la lecture difficile même pour un humain.
3. La mise en page est un casse-tête : chaque page a deux colonnes (une en grec, une en latin) qui se mélangent parfois, avec des notes dans les marges.

Jusqu'à présent, ces livres n'existaient que sous forme de photos de pages (PDF). On ne pouvait pas chercher un mot dedans, ni les faire lire à un ordinateur. C'était comme avoir une encyclopédie dont on ne peut pas tourner les pages, seulement regarder les images.

🤖 La Solution : Un détective robotique ultra-spécialisé

Les auteurs de ce papier (Chahan et Bastien) ont décidé de construire un robot détective capable de lire ces pages difficiles et de les transformer en texte numérique propre.

Voici comment ils ont fait, étape par étape :

1. L'Entraînement du Robot (Le "Miroir")

Avant de pouvoir lire les vieux livres, le robot devait apprendre. Ils ne lui ont pas donné n'importe quel livre. Ils lui ont montré des milliers d'exemples de pages grecques, en lui apprenant à distinguer :

• Où commence et où finit une ligne.
• Quelle colonne est le grec et quelle colonne est le latin.
• Comment reconnaître un "alpha" (α) avec un accent, même si l'encre a bave.

Ils ont utilisé une technique appelée YOLO (qui signifie "You Only Look Once" en anglais, mais ici c'est un algorithme de vision par ordinateur). Imaginez un gardien de sécurité qui scanne une pièce et identifie instantanément où sont les chaises, les tables et les personnes. Ici, le robot scanne la page et dit : "Ah, c'est une ligne de texte grec ! Et là, c'est une note en marge !"

2. La Lecture (Le "Traducteur")

Une fois que le robot a identifié les zones, il utilise un autre outil (un CRNN) pour lire les lettres. C'est comme un traducteur qui ne se contente pas de voir les lettres, mais qui comprend le contexte.

• Le résultat est bluffant : Le robot se trompe seulement 1 fois sur 100 caractères. C'est bien mieux que les autres robots existants qui se trompaient beaucoup plus souvent à cause des accents grecs.

3. Le Nettoyage et l'Organisation (Le "Libraire")

Une fois le texte lu, le robot ne s'arrête pas là. Il fait le travail d'un bibliothécaire très méticuleux :

• Il enlève les erreurs de lecture.
• Il identifie chaque mot (c'est ce qu'on appelle le "lemmatisation", comme trouver la forme de base d'un mot : manger au lieu de mangeais, mangera, etc.).
• Il classe les mots par catégorie (verbe, nom, adjectif).

🎁 Le Trésor Final : Une Mine d'Or Numérique

À la fin de ce processus, ils ont créé un trésor numérique :

• 6 millions de mots grecs, propres, organisés et prêts à être utilisés.
• C'est comme si on avait transformé une montagne de vieux papiers illisibles en une base de données interactive que n'importe qui peut interroger.

Pourquoi est-ce important ?

1. Pour les chercheurs : Ils peuvent enfin chercher des mots rares, analyser le style d'écriture de l'époque, et étudier des textes qui étaient "morts" numériquement.
2. Pour l'Intelligence Artificielle (IA) : Les grands modèles de langage (comme ceux qui font des chatbots) ont besoin de beaucoup de données pour apprendre. Ce corpus est une nourriture de haute qualité pour apprendre à l'IA à comprendre le grec ancien, avec toutes ses nuances et ses accents.

🚀 En Résumé

Imaginez que vous avez une vieille carte au trésor écrite dans une langue obscure, sur un papier taché et plié.

• Avant : Vous regardiez la photo de la carte et vous ne compreniez rien.
• Après ce projet : Un robot expert a recopié la carte, a corrigé les taches, a traduit les mots obscurs et l'a transformée en un GPS interactif que tout le monde peut utiliser pour explorer le monde de la Grèce antique.

Ce papier, c'est l'histoire de la construction de ce GPS, et ils le donnent gratuitement à tout le monde pour que la science avance !

Résumé technique

Voici un résumé technique détaillé de l'article « The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions », structuré selon les axes demandés.

1. Problématique et Contexte

L'article aborde le manque de ressources numériques ouvertes, structurées et linguistiquement enrichies pour les éditions du Patrologia Graeca (PG), une collection massive de 161 volumes publiée par Jacques-Paul Migne entre 1857 et 1866. Ce corpus couvre une vaste gamme de textes patristiques, historiques et théologiques du Ier au XVe siècle.

Les défis majeurs identifiés sont :

• État actuel : La plupart des volumes ne sont disponibles que sous forme de scans PDF non structurés, rendant la recherche textuelle et l'analyse linguistique impossibles.
• Complexité typographique : Les éditions du XIXe siècle présentent des mises en page bilingues complexes (grec et latin en colonnes), une typographie dégradée, et un usage intensif de diacritiques polytoniques (accents, esprits) qui compliquent la reconnaissance optique de caractères (OCR).
• Limites des solutions existantes : Les tentatives précédentes (comme le projet Open Patrologia Graeca 1.0) ont produit des résultats de faible qualité (taux d'erreur élevé, erreurs de segmentation, encodage incohérent) et n'ont pas été maintenues. Les modèles OCR standards (Tesseract, Transkribus) échouent à atteindre un taux d'erreur acceptable (< 5 %) sur ce type de matériel spécifique.

2. Méthodologie

Les auteurs ont développé un pipeline de traitement automatisé combinant détection de mise en page et reconnaissance de texte, suivi d'une annotation linguistique.

A. Préparation des données et Modélisation

• Jeu de données d'entraînement : Un corpus de référence a été créé à partir de 445 images représentant la diversité typographique du PG, incluant des zones de texte croisé (grec/latin).
• Architecture OCR :
  • Utilisation d'une architecture CRNN (Convolutional Recurrent Neural Network) basée sur des mots.
  • Pré-entraînement et Fine-tuning : Le modèle a été pré-entraîné sur un manuscrit grec (Genavensis Græcus 44), puis affiné sur des données imprimées augmentées par 50 000 échantillons synthétiques générés via la bibliothèque albumentations. Ces augmentations simulent les dégradations typiques du PG (bruit gaussien, flou de mouvement, artefacts de compression, distorsion élastique, etc.).
  • Stratégie itérative : Adoption d'une stratégie d'apprentissage actif (active learning) pour corriger et réinjecter les échantillons mal reconnus dans le jeu d'entraînement.
• Détection de mise en page : Utilisation de modèles YOLO (You Only Look Once) pour segmenter les zones de texte (colonnes grecques, latines, marges, titres) et déterminer l'ordre de lecture, surpassant les approches purement textuelles ou hybrides pour ce type de documents denses.

B. Analyse Linguistique

• Lemmatisation et étiquetage (POS) : Utilisation d'une stratégie hybride (réseaux de neurones + post-correction basée sur des règles/dictionnaires) adaptée du corpus De Thessalonica Capta.
• Tagset : Adaptation de l'architecture PIE au jeu de balises GREgORI, offrant une robustesse pour les formes flexionnelles et diachroniques du grec.
• Normalisation : Le pipeline inclut une étape de nettoyage (suppression des traits d'union, des lignes vides et du texte latin) et une normalisation Unicode pour réduire les erreurs de diacritiques.

3. Contributions Clés

1. Le Corpus Patrologia Graeca : Publication du premier corpus à grande échelle (environ 6 millions de mots) de textes grecs anciens lemmatisés et étiquetés, issu des volumes non encore numérisés du PG.
2. Benchmark de référence : Établissement d'un nouveau standard pour l'OCR sur le grec polytonique bruité, avec des métriques de performance supérieures aux systèmes existants.
3. Ressource Open Source :
   • Données brutes et fichiers structurés (.vert) disponibles sur GitHub et Zenodo.
   • Interface de recherche en ligne via gregoriproject.com.
   • Format de sortie enrichi incluant la forme OCR, la forme intuitive (sans diacritiques), le lemme, le lemme intuitif et les étiquettes morphosyntaxiques.
4. Données d'entraînement : Fourniture de matériel d'entraînement pour les futurs modèles de langage (LLM) et architectures de type BERT dédiés au grec ancien.

4. Résultats

Les performances évaluées sur un jeu de test de 30 pages montrent une amélioration significative par rapport aux états de l'art :

• Taux d'erreur de caractères (CER) : 1,05 % (contre 11,57 % pour Tesseract et 6,14 % pour Transkribus).
• Taux d'erreur de mots (WER) : 4,69 % (contre 39,65 % pour Tesseract).
• Détection de mise en page : Précision élevée pour les colonnes de texte principal (mAP50 > 0,97 pour le grec et le latin).
• Analyse des erreurs : Les erreurs résiduelles concernent principalement la confusion entre les formes monotones et polytoniques de caractères visuellement identiques (ex: ι avec ou sans esprit), représentant plus de 80 % des erreurs. Les erreurs de majuscules et de ponctuation sont moins fréquentes mais critiques pour l'analyse lexicale.
• Visualisation : Des projections t-SNE confirment que le corpus PG possède une spécificité lexicale et typographique distincte par rapport aux autres corpus grecs existants (comme Pogretra ou Gaza-Iliad), justifiant la création de ressources dédiées.

5. Signification et Impact

Ce travail comble un vide majeur dans la philologie numérique grecque en rendant accessible une partie substantielle de la littérature byzantine et post-classique.

• Pour la philologie : Il permet l'analyse computationnelle de textes qui n'avaient pas été réédités depuis le XIXe siècle, offrant de nouvelles perspectives sur le vocabulaire technique, théologique et les formes rares.
• Pour l'IA et le NLP : Le corpus fournit des données d'entraînement essentielles pour améliorer les modèles de langage (LLM) et les architectures de type BERT (comme Ancient-Greek-BERT ou GreBERTa), qui souffrent actuellement d'un manque de données diachroniques et stylistiquement diversifiées.
• Pour la numérisation historique : Il démontre qu'une approche combinant détection visuelle (YOLO) et reconnaissance textuelle (CRNN) avec un fine-tuning spécifique permet de surmonter les défis des impressions historiques complexes, ouvrant la voie à la numérisation d'autres corpus similaires.