The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions

Dit artikel introduceert het Patrologia Graeca Corpus, een groot openbaar bron met geoptimaliseerde OCR- en taalkundige annotaties voor de overige ongedigitaliseerde negentiende-eeuwse edities van het Patrologia Graeca, waarbij een nieuwe pipeline met YOLO en CRNN een recordlaag foutpercentage voor polytonisch Grieks bereikt.

De kern

De Patrologia Graeca: Een digitale schatgraven-expeditie in het Oude Grieks

Stel je voor dat je een enorme bibliotheek hebt met 161 oude boeken, geschreven in het Oude Grieks en Latijn, die zijn samengesteld in de 19e eeuw. Dit is de Patrologia Graeca. Het is een waardevolle schat voor historici, maar er zit een groot probleem: deze boeken bestaan alleen als saaie, onleesbare PDF-scans. Je kunt ze niet doorzoeken, niet kopiëren en computers kunnen er niets van begrijpen. Het is alsof je een gouden berg hebt, maar de goudklompen zitten vastgebeten in een muur van beton.

Chahan Vidal-Gorène en Bastien Kindt hebben een team samengesteld om die muur af te breken. Ze hebben een nieuw, slim computerprogramma gebouwd dat deze oude, rommelige boeken kan "lezen" en omzetten in een digitale, zoekbare tekst.

Hier is hoe ze dat deden, vertaald in alledaagse taal:

1. Het Probleem: Een rommelige oude krant

Deze oude boeken zijn niet netjes opgemaakt zoals moderne kranten.

• Twee talen door elkaar: De tekst staat vaak in twee kolommen: links Grieks, rechts Latijn. Soms lopen de regels door elkaar heen, alsof twee mensen tegelijkertijd in hetzelfde boek schrijven.
• Slecht printwerk: De letters zijn oud, soms vervaagd, en de accenten (die kleine streepjes en kromme lijntjes boven de letters) zijn vaak onduidelijk. Voor een computer is dit net als proberen een handgeschreven brief te lezen terwijl er regen op staat en de inkt is uitgelopen.
• Geen handleiding: Er was geen "antwoordboekje" (geen grondwaarheid) om te controleren of de computer het goed deed.

2. De Oplossing: Een slimme robot met twee hersenen

De onderzoekers hebben een speciale "robot" gebouwd die in twee stappen werkt, net als een detective die eerst de scène bekijkt en dan de tekst leest.

• Stap 1: De Architect (YOLO)
  Eerst kijkt de robot naar de pagina en zegt: "Oké, hier is de Griekse tekst, hier is de Latijnse tekst, en hier zijn de randnotities." Het is alsof je met een groene stift de belangrijke tekst in een rommelig document omcirkelt en de rest negeert. Dit zorgt ervoor dat de computer niet probeert de Latijnse tekst te vertalen als Grieks.
• Stap 2: De Verteller (CRNN)
  Vervolgens neemt een tweede robot de omcirkelde tekst en probeert de letters te herkennen. Omdat de oude boeken zo lastig zijn, hebben de onderzoekers deze robot eerst getraind met duizenden "valse" oude boeken. Ze hebben digitale vlekken, ruis en vage letters toegevoegd aan normale teksten, zodat de robot leerde om ook slechte scans te lezen. Het is alsof je een kind leert fietsen door het eerst te laten oefenen op een helling met een stevige wind, zodat het op een rustige dag geen moeite heeft.

3. Het Resultaat: Een gouden mijn van woorden

Het resultaat is verbazingwekkend goed.

• Foutmarge: De computer maakt maar 1 op de 100 letters fout. Vroeger maakten andere systemen 1 op de 10 fouten. Dat is een enorme verbetering.
• De Schat: Ze hebben ongeveer 6 miljoen woorden digitaal gemaakt. Maar ze zijn niet alleen gaan kopiëren; ze hebben elk woord ook "gelezen" en begrepen. Ze hebben voor elk woord de basisvorm (lemma) en de betekenis toegevoegd.
  • Vergelijking: Stel je voor dat je een woordenboek hebt waar niet alleen de woorden staan, maar waar je ook direct kunt zien hoe je ze vervoegt en wat ze betekenen, zelfs als ze 1000 jaar oud zijn.

4. Waarom is dit belangrijk?

Voorheen konden computers en kunstmatige intelligentie (zoals AI) alleen goed Oud-Grieks lezen van schone, moderne teksten. Dit project geeft hen nu toegang tot de "ruwe", echte taal van de Byzantijnse tijd.

• Het is alsof je een spreektaal-leerder eerst alleen met formele kranten laat oefenen, en nu ineens ook de dagboeken, brieven en grappen van gewone mensen uit die tijd krijgt.
• Dit helpt toekomstige AI-modellen om de taal beter te begrijpen, van de oudheid tot de middeleeuwen.

5. De Deelbaarheid: Iedereen mag meedoen

Het mooiste deel is dat ze alles gratis beschikbaar hebben gesteld.

• De "ruwe" scans, de getrainde robots en de 6 miljoen woorden zijn allemaal online te vinden.
• Onderzoekers, studenten en zelfs hobbyisten kunnen nu in deze enorme database zoeken, net zoals je op Google zoekt, maar dan voor teksten uit de 1e tot de 15e eeuw.

Kortom:
De onderzoekers hebben een digitale sleutel gemaakt voor een oude, stoffige kast vol met Griekse teksten. Ze hebben de rommel opgeruimd, de tekst leesbaar gemaakt en de schat opengezet voor iedereen. Hierdoor kunnen we nu eindelijk de wijsheid van de oude wereld beter begrijpen en gebruiken voor de technologie van morgen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions", geschreven in het Nederlands.

Probleemstelling

Ondanks de vooruitgang in digitale filologie ontbreekt er een betrouwbare, open en taalkundig verrijkte corpus voor de Patrologia Graeca (PG), een verzameling van 161 banden met patristische, exegetische en Byzantijnse teksten uit de 1e tot de 15e eeuw, samengesteld door Jacques-Paul Migne (1857-1866).
De huidige digitale beschikbaarheid beperkt zich voornamelijk tot niet-zoekbare PDF-scans. Eerdere pogingen tot OCR (zoals het Open Patrologia Graeca 1.0 project) leverden teksten op met een lage kwaliteit (vaak onder de 90% nauwkeurigheid), inconsistente codering en gebrek aan metadata.

De specifieke uitdagingen voor de PG zijn:

• Complex layout: Dubbele kolommen (Grieks en Latijn) die vaak in elkaar overlopen, met randnoten, lopende titels en apparatus.
• Kwaliteit van de bron: Slechte scankwaliteit (kromming, misalignement, overmatige binarisatie) en vervormde lettertypes uit de 19e eeuw.
• Polytonisch Grieks: De aanwezigheid van complexe diakritische tekens (accenten, spiritus) maakt lijnsegmentatie en tekenherkenning extreem moeilijk.
• Gebrek aan ground truth: Er bestaan geen gestandaardiseerde datasets voor deze specifieke materialen om gespecialiseerde OCR-modellen te trainen.

Methodologie

De auteurs hebben een dedicated pipeline ontwikkeld die bestaat uit drie hoofdfasen:

1. Data Voorbereiding en Ground Truth

• Er werd een testset van 30 pagina's handmatig getranscribeerd om de prestaties te evalueren.
• Voor training werden 445 afbeeldingen geselecteerd die de typografische en structurele diversiteit van de PG vertegenwoordigen.
• Een hybride aanpak werd gebruikt: bestaande digitale teksten (uit de Thesaurus Linguae Graecae) werden semi-automatisch uitgelijnd met de scans in het platform Calfa Vision, gecombineerd met handmatige correctie.

2. OCR en Layout Detectie

• Layout Detectie: Een YOLO-gebaseerd model wordt gebruikt om de complexe lay-out te analyseren en semantische zones te identificeren (bijv. Griekse tekstkolom, Latijnse kolom, titels, randnoten).
• Tekstherkenning (OCR): Een vooraf getraind CRNN-model (Convolutional Recurrent Neural Network) op een Griekse manuscript (Genavensis Græcus 44) werd fijngefineerd (fine-tuning) op gedrukte datasets.
• Data Augmentatie: Om de variabiliteit van de PG-scans na te bootsen, werden 50.000 synthetische samples gegenereerd met agressieve degradaties (Gaussisch ruis, bewegingsonscherpte, compressie-artefacten, elastische vervorming, etc.).
• Iteratieve Fijnafstelling: Een actieve leerstrategie werd toegepast waarbij fouten continu worden gecorrigeerd en teruggevoerd in de trainingsdata.

3. Taalkundige Annotatie

• Voor lemmatisatie, POS-tagging (woordsoort) en morfologische parsing werd een hybride strategie gebruikt (neuraal tagging + regel- of woordenboekgebaseerde post-correctie).
• Dit model is gebaseerd op de PIE-architectuur, aangepast aan het GREgORI-tagset, en getraind op het De Thessalonica Capta-corpus.
• De output wordt gestructureerd in het .vert-formaat (gebruikt door Sketch Engine), inclusief de OCR-woordvorm, een "intuïtieve" vorm (zonder diakritische tekens), de lemma, en morfologische tags.

Kernresultaten

De resultaten tonen een aanzienlijke verbetering ten opzichte van bestaande systemen (zoals Tesseract en Transkribus):

• OCR Prestaties:
  • Character Error Rate (CER): 1,05% (een verbetering van 5-7 punten ten opzichte van baselines).
  • Word Error Rate (WER): 4,69% (een verbetering van 6-10 punten).
  • Dit presteert aanzienlijk beter dan eerdere pogingen (die vaak boven de 10% CER lagen).
• Layout Detectie:
  • Hoofdtekstkolommen (Grieks en Latijn) worden met zeer hoge precisie gedetecteerd (mAP50 > 0,97).
  • Moeilijkere zones zoals randnoten en titels hebben lagere scores, maar blijven bruikbaar.
• Foutanalyse:
  • De meeste fouten (80%+) betreffen verwarring tussen diakritische tekens (bijv. verschillende accenten op dezelfde letter) in plaats van verkeerde letters.
  • Hoofdletters en titels vertonen nog steeds meer fouten.
• Corpus Omvang:
  • Het resultaat is een corpus van ongeveer 6 miljoen lemmatiserde en morfologisch geparseerde tokens.
  • Dit omvat zeldzame vormen, technische termen en naamwoorden die ondervertegenwoordigd zijn in bestaande corpora.

Bijdragen en Significatie

1. Eerste Groot-Schalige Open Resource: Dit is het eerste open, taalkundig verrijkte corpus specifiek voor de 19e-eeuwse polytonische Griekse edities van de PG.
2. Nieuwe Benchmark: Het corpus stelt een nieuwe standaard voor OCR op "ruisachtige" (noisy) polytonische Griekse teksten en biedt trainingsmateriaal voor toekomstige modellen, waaronder Large Language Models (LLMs) en BERT-achtige architecturen voor het Oudgrieks.
3. Verbeterde Toegankelijkheid: Door de tekst te normaliseren (intuïtieve vormen zonder diakritica) wordt het voor onderzoekers eenvoudiger om te zoeken, zelfs zonder expertise in Oudgriekse orthografie.
4. Open Access:
   • De ruwe OCR-data, gestructureerde .vert-bestanden en annotaties zijn beschikbaar op GitHub.
   • Het volledige corpus is zoekbaar via gregoriproject.com.
   • De volledige dataset wordt vrijgegeven via Zenodo.

Conclusie:
De studie bewijst dat het mogelijk is om met een lichtgewicht, maar zorgvuldig ontworpen pipeline (YOLO + CRNN + actieve leer) de complexe en vervormde teksten van de Patrologia Graeca met hoge nauwkeurigheid te digitaliseren. Dit vult een cruciale lacune in de digitale filologie en biedt een solide basis voor verdere computergestuurde analyse van Byzantijnse en post-klassieke Griekse literatuur.