The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions

Este artigo apresenta o Corpus Patrologia Graeca, o primeiro recurso aberto de grande escala com OCR e anotações linguísticas para as edições gregas polítonas do século XIX, alcançando taxas de erro recordes e fornecendo um novo conjunto de dados anotado para estudos filológicos e treinamento de modelos de IA.

O essencial

Imagine que você tem uma biblioteca gigante, cheia de livros antigos escritos em grego e latim, publicados no século XIX. Esses livros são tesouros de história, filosofia e religião, mas há um grande problema: eles estão "presos" em papel. Você pode olhar para as fotos dos livros na internet, mas não consegue copiar o texto, pesquisar palavras ou usar computadores para analisá-los. É como ter um cofre cheio de ouro, mas sem a chave para abri-lo.

Este artigo apresenta a chave para esse cofre: o Corpus Patrologia Graeca.

Aqui está a explicação do projeto, usando analogias simples:

1. O Problema: A "Máquina de Ler" que não funciona

Os livros da Patrologia Graeca são complicados. Eles têm duas colunas (uma em grego, outra em latim) lado a lado, com letras gregas cheias de "acento" e símbolos estranhos (chamados de politonico). Além disso, como foram impressos há 150 anos e depois digitalizados com scanners antigos, as imagens estão borradas, tortas e com manchas.

Se você tentar usar um leitor de texto comum (como o do seu celular) nesses livros, ele vai errar feio. É como tentar ler uma receita escrita com uma caneta que está quase sem tinta, em um papel amassado, enquanto alguém tenta ler outra receita ao mesmo tempo ao lado. O computador fica confuso e transforma "α" em "o", ou perde os acentos importantes.

2. A Solução: Um "Detetive" e um "Tradutor" Especializados

Os autores criaram um sistema inteligente em duas etapas para resolver isso:

• O Detetive (Layout): Primeiro, eles usaram uma inteligência artificial baseada em "YOLO" (que significa "Você só olha uma vez"). Imagine um detetive muito rápido que olha para a página e diz: "Aqui é o texto grego, aqui é o latim, aqui é a nota de rodapé e aqui é o título". Ele separa tudo, mesmo que as linhas estejam cruzadas ou tortas.
• O Tradutor (OCR): Depois, eles usaram um "tradutor" de texto (uma rede neural chamada CRNN) que foi treinado especificamente para esse tipo de letra antiga e suja. Eles ensinaram esse computador a reconhecer as letras gregas mesmo quando elas estão borradas ou com acentos estranhos.

O resultado? O sistema deles erra muito pouco (apenas 1% de erro nas letras). É como se, de cada 100 letras, 99 fossem lidas perfeitamente, superando qualquer outro sistema que existia antes.

3. O Grande Tesouro: A "Enciclopédia Viva"

Depois de ler os livros, o projeto não parou por aí. Eles usaram outro computador inteligente para:

1. Lematizar: Transformar cada palavra em sua forma original (como transformar "correndo" em "correr").
2. Classificar: Dizer se a palavra é um verbo, um substantivo, etc.

O resultado final é um banco de dados com 6 milhões de palavras limpas, organizadas e prontas para uso. É como transformar uma pilha de papéis velhos e ilegíveis em uma enciclopédia digital perfeita, onde você pode pesquisar qualquer termo teológico, histórico ou poético.

4. Por que isso é importante? (A Analogia do "Treinamento de Atletas")

Pense nos modelos de Inteligência Artificial (como o ChatGPT ou outros "cérebros" digitais) como atletas que precisam de treino.

• Até agora, esses atletas só treinavam com livros de grego antigo "perfeitos" e modernos. Eles não sabiam lidar com a greguês "sujo" e complexo dos séculos 10, 11 e 12.
• Com este novo corpus, os autores estão dando aos computadores um "treino de alta performance" com dados reais e difíceis. Isso vai permitir que, no futuro, a IA entenda melhor a história, a religião e a literatura grega antiga, ajudando historiadores e pesquisadores a descobrirem coisas novas que antes eram invisíveis.

5. O Legado: Aberto para Todos

A melhor parte é que eles não guardaram esse tesouro para si.

• Eles liberaram os dados no GitHub (para programadores e pesquisadores técnicos).
• Criaram um site (gregoriproject.com) onde qualquer pessoa pode pesquisar e explorar os textos.
• Forneceram as ferramentas para que outros possam fazer o mesmo com outros livros antigos.

Em resumo:
Os autores pegaram uma biblioteca de livros antigos, sujos e difíceis de ler, construíram robôs inteligentes para limpá-los e organizá-los, e entregaram o resultado de graça para o mundo. Eles transformaram "poeira de papel" em "ouro digital", permitindo que a inteligência artificial e os estudiosos explorem a sabedoria grega como nunca antes.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions", apresentado em português:

1. O Problema

O artigo aborda a lacuna crítica na filologia digital: a ausência de um corpus aberto, estruturado e linguisticamente enriquecido para as edições do século XIX da Patrologia Graeca (PG). A PG, compilada por Jacques-Paul Migne entre 1857 e 1866, contém 161 volumes de textos patrísticos, históricos e teológicos em grego antigo e latim.

• Desafios Específicos: As edições originais apresentam tipografia complexa e degradada, layouts bilíngues densos (colunas gregas e latinas intercaladas), uso intensivo de diacríticos polítonos e variações de qualidade de escaneamento (curvatura de página, ruído, binarização excessiva).
• Limitações Anteriores: Iniciativas anteriores, como o Open Patrologia Graeca 1.0 (2015), produziram textos OCR com baixa precisão (geralmente abaixo de 90% de acurácia), erros de segmentação frequentes e falta de anotação linguística ou estrutura TEI. Modelos existentes (Tesseract, Transkribus) falham em lidar com a ambiguidade tipográfica e a complexidade dos diacríticos gregos nestas condições.

2. Metodologia

Os autores desenvolveram um pipeline dedicado combinando detecção de layout e reconhecimento de texto, seguido de anotação linguística.

• Preparação de Dados e Ground Truth:
  • Criou-se um conjunto de teste de 30 páginas e um conjunto de treinamento de 445 imagens representativas da diversidade tipográfica da PG.
  • Utilizou-se a plataforma Calfa Vision para alinhamento semi-automático de textos existentes (do Thesaurus Linguae Graecae) com as imagens, combinando detecção automática de layout com correção manual.
• Arquitetura de OCR:
  • Detecção de Layout: Utilização de modelos baseados em YOLO para identificar regiões de texto, colunas (grega e latina), títulos e margens.
  • Reconhecimento de Texto (OCR): Uma arquitetura CRNN (Rede Neural Convolucional Recorrente) baseada em palavras.
  • Estratégia de Treinamento: O modelo foi pré-treinado em manuscritos gregos e depois fine-tuned (ajustado) em dados impressos. Para simular a degradação das edições do século XIX, aplicaram-se 50.000 amostras sintéticas com ruído agressivo (desfoque de movimento, artefatos de compressão, distorção elástica, chuva, neblina, etc.).
  • Iteração: Adoção de uma estratégia de active learning, onde erros são corrigidos manualmente e reinseridos no treinamento para robustez progressiva.
• Análise Linguística:
  • Uso de um modelo híbrido (redes neurais + correção baseada em regras/dicionário) treinado no corpus De Thessalonica Capta.
  • O modelo realiza lematização, part-of-speech (POS) tagging e análise morfológica, adaptado ao conjunto de tags GREgORI.

3. Contribuições Principais

• O Corpus Patrologia Graeca: A liberação do primeiro recurso em grande escala de OCR e anotação linguística para as edições do século XIX da PG.
• Dados Abertos e Estruturados:
  • Um corpus de aproximadamente 6 milhões de tokens lematizados e anotados morfologicamente.
  • Dados brutos de OCR, anotações de layout e segmentação de linhas disponíveis publicamente no GitHub e Zenodo.
  • Interface de busca em gregoriproject.com.
• Formato de Saída (.vert): Os dados são estruturados no formato .vert (usado pelo Sketch Engine), contendo cinco camadas de informação por token: forma OCR, forma intuitiva (minúscula sem diacríticos), lema, lema intuitivo e tag morfo-sintática. Isso facilita consultas por pesquisadores menos familiarizados com a ortografia polítona.
• Benchmark de Referência: Estabelecimento de um novo padrão de desempenho para OCR em grego polítono ruidoso e layouts complexos.

4. Resultados

O desempenho do pipeline proposto superou significativamente os sistemas existentes no conjunto de teste de 30 páginas:

• Taxa de Erro de Caracteres (CER): 1,05% (vs. 11,57% do Tesseract e 6,14% do Transkribus).
• Taxa de Erro de Palavras (WER): 4,69% (vs. 39,65% do Tesseract e 14,82% do Transkribus).
• Detecção de Layout: Alta precisão na identificação de colunas de texto principal (mAP50 > 0,97), embora haja desafios residuais em títulos e áreas de sobreposição.
• Análise de Erros:
  • Os erros restantes (80%+) são principalmente confusões de diacríticos (acentos e aspirações) entre formas monotônicas e polítonas, devido a inconsistências de codificação Unicode nos dados de treinamento.
  • Erros de letras maiúsculas e pontuação permanecem mais frequentes, mas são mitigáveis via normalização e regras pós-processamento.
• Análise Visual e Semântica: Visualizações t-SNE confirmam que o corpus da PG possui uma distribuição lexical e tipográfica distinta e coesa, diferenciando-se de outros corpora gregos (como manuscritos ou impressos modernos), validando a necessidade de um recurso específico.

5. Significado e Impacto

• Filologia e Humanidades Digitais: Permite a aplicação de métodos computacionais a uma vasta porção da literatura grega que permanecia inacessível em formato legível por máquina, cobrindo períodos pós-clássicos e bizantinos.
• Treinamento de Modelos de IA: O corpus fornece material de treinamento essencial e diversificado para o desenvolvimento e fine-tuning de futuros modelos de linguagem (LLMs) e arquiteturas Transformer para grego antigo (ex: Ancient-Greek-BERT, GreBERTa), melhorando a cobertura de formas raras, termos técnicos e entidades nomeadas.
• Reprodutibilidade: A liberação aberta dos dados brutos e anotados permite que a comunidade científica valide, refine e expanda os modelos para outras edições históricas complexas.

Em suma, o projeto transforma um acervo histórico degradado e de difícil acesso em um recurso digital de alta precisão, estabelecendo novas bases para a pesquisa em grego antigo e para o desenvolvimento de tecnologias de OCR para idiomas com diacríticos complexos.