The Patrologia Graeca Corpus: OCR, Annotation, and Open Release of Noisy Nineteenth-Century Polytonic Greek Editions

이 논문은 19 세기 고대 그리스어 판본의 복잡한 레이아웃과 열화된 문자를 인식하기 위해 전용 OCR 파이프라인을 구축하여 100 만 개 이상의 토큰으로 구성된 대규모 오픈 코퍼스 'Patrologia Graeca Corpus'를 공개하고, 이를 통해 다성조 그리스어 OCR 의 새로운 벤치마크를 제시했다고 요약할 수 있습니다.

핵심

이 논문은 고대 그리스어와 라틴어로 쓰인 거대한 고전 문헌집인 **'파트로로기아 그라eca (Patrologia Graeca, 이하 PG)'**를 디지털화하고, 인공지능 (AI) 이 읽을 수 있게 만든 획기적인 프로젝트에 대한 이야기입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "읽기 힘든 낡은 도서관"

상상해 보세요. 19 세기에 만들어진 거대한 도서관이 있습니다. 이 도서관에는 수천 권의 책이 꽂혀 있는데, 책장에는 그리스어와 라틴어가 뒤섞여 있고, 글씨체도 매우 복잡하며, 책 자체가 오래되어 글자가 번지거나 지워진 상태입니다.

• 현재 상황: 이 책들은 스캔된 PDF 파일로만 존재합니다. 즉, 컴퓨터가 글자를 인식할 수 없어 검색도 못하고, 내용을 분석할 수도 없습니다. 마치 "글자는 있지만, 컴퓨터가 읽을 수 없는 암호"가 되어 있는 셈입니다.
• 이전 시도: 과거에도 이 책들을 디지털로 옮기려 했지만, 글자 인식이 엉망이어서 (오타가 너무 많고, 줄이 섞여 있음) 제대로 쓸 수 없었습니다.

2. 해결책: "전문가 팀과 AI 의 협업"

저자들은 이 문제를 해결하기 위해 최신 AI 기술을 동원했습니다. 마치 낡고 복잡한 지도를 읽는 전문가 팀을 꾸린 것과 같습니다.

• 레이아웃 감지 (YOLO): 먼저 AI 가 책장을 훑어보며 "여기는 그리스어 본문이야, 저기는 라틴어 주석이야, 여기는 책장 번호야"라고 구분합니다. (마치 복잡한 도시 지도에서 도로와 건물을 구분하는 것 같습니다.)
• 글자 인식 (CRNN): 그다음으로, 글자가 번진 부분이나 복잡한 발음 부호 (그리스어 특유의 악센트) 까지 정확하게 읽어냅니다.
• 결과: 기존 기술은 글자 100 개 중 10 개 이상을 틀렸지만, 이 새로운 AI 는 100 개 중 1 개도 틀리지 않을 정도로 (오류율 1.05%) 정확해졌습니다.

3. 추가 작업: "단어 정리 및 분류"

글자를 읽어내는 것만으로는 부족합니다. 고대 그리스어는 문법 변화가 매우 복잡하기 때문입니다.

• 어원 정리 (Lemmatization): AI 는 읽은 글자들을 마치 사전에 등재하듯, 원래의 기본형 (어원) 으로 바꾸고 품사 (명사, 동사 등) 를 분류했습니다.
• 규모: 이렇게 정리된 단어는 약 600 만 개나 됩니다. 이는 고대 그리스어 연구에 필요한 어휘와 표현을 대폭 늘려주는 엄청난 자원이 됩니다.

4. 의의: "새로운 지도와 나침반"

이 프로젝트가 중요한 이유는 무엇일까요?

• 새로운 기준: 이제 고대 그리스어 OCR(광학 문자 인식) 의 새로운 기준이 생겼습니다. 앞으로 다른 고전 문헌을 디지털화할 때 이 기술을 참고할 수 있습니다.
• AI 학습용 데이터: 이 데이터는 미래의 AI(대형 언어 모델) 를 훈련시키는 데 쓰입니다. 마치 고대 그리스어를 완벽하게 이해하는 AI 를 키우기 위한 '최고급 교재'를 공개한 것과 같습니다.
• 공개: 이 모든 자료 (원본 텍스트, 분석 데이터) 는 무료로 공개되어 전 세계 연구자와 일반인도 자유롭게 사용할 수 있게 되었습니다.

요약

이 논문은 **"오래되고 복잡해서 아무도 읽지 못하던 고대 그리스어 도서관을, 최신 AI 기술을 이용해 완벽하게 디지털화하고, 누구나 쓸 수 있는 정돈된 자료로 만들어 공개했다"**는 이야기입니다.

이는 고전학 연구의 문을 활짝 열었을 뿐만 아니라, 미래의 AI 가 고대 언어를 더 잘 이해하도록 돕는 중요한 디딤돌이 되었습니다.

기술 요약

1. 문제 제기 (Problem)

• 디지털 사료의 부재: 19 세기에 자크 - 폴 미뉴 (Jacques-Paul Migne) 가 편집한 'Patrologia Graeca (PG)'는 161 권에 달하는 고대 그리스어 (비잔틴 시대 포함) 의 방대한 텍스트를 포함하고 있으나, 현재까지도 대부분의 권이 스캔된 PDF 형식만 존재합니다.
• 구조적 및 언어적 한계:
  • 복잡한 레이아웃: 그리스어와 라틴어가 병기된 2 열 구성, 교차하는 텍스트, 주석 (marginalia), 제목 등 비정형적인 레이아웃을 가지고 있습니다.
  • 인식 난이도: 19 세기 인쇄물의 열화, 복잡한 다성 (polytonic) 그리스어 악센트 및 호흡 기호, 다양한 폰트 변형으로 인해 기존 OCR 시스템의 인식률이 매우 낮습니다.
  • 기존 데이터의 부족: 기존 공개된 그리스어 OCR 데이터셋 (GT4HistComment, Pogretra 등) 은 대부분 깨끗한 필사본이나 단순한 레이아웃에 초점이 맞춰져 있어, PG 의 복잡한 인쇄물에는 적합하지 않습니다.
• 연구의 제약: 이러한 문제로 인해 PG 의 상당 부분이 기계 판독 가능하지 않아, 계산적 언어학 분석이나 대규모 언어 모델 (LLM) 학습에 활용되지 못하고 있습니다.

2. 방법론 (Methodology)

저자들은 PG 의 특성에 맞춘 전용 파이프라인을 구축하여 OCR, 레이아웃 분석, 그리고 언어학적 주석을 수행했습니다.

가. 데이터 준비 및 학습 전략

• 테스트셋 구축: PG 코퍼스에서 무작위 추출한 30 페이지를 수동 전사하여 정답 데이터 (Ground Truth) 를 구축했습니다.
• 기초 모델 (Foundation Model) 학습:
  • 그리스어 필사본 (Genavensis Græcus 44) 에서 사전 학습된 CRNN 기반 모델을 시작점으로 사용했습니다.
  • 합성 데이터 증강 (Data Augmentation): albumentations 라이브러리를 통해 가우시안 노이즈, 모션 블러, 압축 아티팩트, 대비 변화, 탄성 왜곡, 안개, 비, 드롭아웃 등을 적용하여 PG 스캔의 열화 패턴을 시뮬레이션한 5 만 개의 합성 샘플을 생성하여 모델을 강화했습니다.
• 반복적 미세 조정 (Iterative Fine-tuning):
  • Calfa Vision 플랫폼을 활용하여 자동 레이아웃 탐지와 수동 교정을 결합한 반복적 미세 조정 전략을 적용했습니다.
  • TLG (Thesaurus Linguae Graecae) 에 이미 디지털화된 텍스트를 기반으로 445 개의 대표 이미지를 학습 데이터로 구성했습니다.

나. 아키텍처

• 레이아웃 탐지: YOLO 기반 모델을 사용하여 텍스트 영역 (그리스어 열, 라틴어 열, 제목, 주석 등) 을 탐지하고 행 (line) 을 분할합니다. 이는 복잡한 레이아웃에서 텍스트/비텍스트 영역을 구분하는 데 가장 효과적입니다.
• 텍스트 인식 (OCR): CRNN (Convolutional Recurrent Neural Network) 기반 모델을 사용하여 행 단위의 텍스트를 인식합니다.
• 언어학적 주석:
  • LEMMA/POS 태깅: 비잔틴 코퍼스 (De Thessalonica Capta) 에 맞춰 조정된 PIE 아키텍처 기반의 신경망 모델을 사용합니다.
  • 하이브리드 접근법: 신경망 태깅과 규칙/사전 기반의 후처리 (post-correction) 를 결합하여, 고도로 굴절된 고대 그리스어의 형태소 분석 정확도를 높였습니다.

3. 주요 성과 및 결과 (Key Results)

가. OCR 성능

• 정확도: 제안된 모델은 기존 시스템 (Tesseract, Transkribus 등) 을 크게 능가하는 성능을 보였습니다.
  • 문자 오류율 (CER): 1.05% (기존 모델 대비 5~7%p 개선)
  • 단어 오류율 (WER): 4.69% (기존 모델 대비 6~10%p 개선)
• 오류 분석:
  • 오류의 80% 이상은 다성 그리스어의 악센트/호흡 기호 (diacritics) 혼동에서 발생했습니다 (예: 모노톤과 폴리톤 형태의 구분).
  • 대문자 (제목 등) 와 행 분할 (splitting) 오류가 잔존하지만, 체계적인 유니코드 정규화와 후처리로 완화 가능합니다.

나. 레이아웃 탐지 성능

• YOLO 모델: 주요 텍스트 열 (그리스어/라틴어) 탐지에서 mAP50 0.973~0.982의 높은 정확도를 달성했습니다.
• 행 탐지: 행 검출 (Line detection) 과 읽기 순서 (Reading order) 식별에서 각각 0.973, 0.98 의 높은 정밀도 (Precision) 와 재현율 (Recall) 을 보였습니다.

다. 코퍼스 구축

• 규모: 약 600 만 단어의 레마 (lemma) 화 및 품사 태깅이 완료된 코퍼스를 구축했습니다.
• 데이터 특성: 기존 코퍼스에 부족했던 희귀 굴절형, 기술/신학적 용어, 고유명사, 지명 등을 대량으로 포함하고 있습니다.
• 포맷: .vert 형식으로 구조화되어 있으며, 각 단어 토큰에 대해 OCR 원문, 소문자/악센트 제거형 (intuitive form), 레마, 품사 태그, 행/페이지 ID 등을 포함합니다.

4. 주요 기여 (Key Contributions)

1. 최초의 대규모 오픈 리소스: 19 세기 인쇄된 복잡한 다성 그리스어 텍스트에 대한 최초의 대규모 오픈 OCR 및 언어학적으로 주석이 달린 코퍼스를 공개했습니다.
2. 새로운 벤치마크 설정: 잡음 (noise) 이 많은 19 세기 그리스어 인쇄물에 대한 OCR 성능의 새로운 기준 (CER 1.05%) 을 제시했습니다.
3. LLM 학습 자료 제공: 고대 그리스어 BERT 계열 모델 (Ancient-Greek-BERT, GreBERTa 등) 의 성능 향상을 위한 방대하고 다양한 어휘 데이터를 제공하여, 고대 그리스어 LLM 의 발전에 기여합니다.
4. 기술적 파이프라인 검증: YOLO 기반 레이아웃 탐지와 CRNN 기반 인식, 그리고 하이브리드 언어학적 주석 파이프라인이 복잡한 역사적 문서 처리에 효과적임을 입증했습니다.

5. 의의 및 활용 (Significance)

• 학문적 접근성 확대: PG 의 방대한 텍스트를 검색 가능하고 분석 가능한 형태로 변환하여, 고전학, 비잔틴학, 신학 연구의 디지털 전환을 가속화합니다.
• 모델 일반화: 19 세기 인쇄물의 복잡한 레이아웃과 열화 문제를 해결한 모델은 향후 유사한 역사적 문서 (다국어, 주석 포함 등) 의 디지털화에도 적용 가능한 방법론을 제시합니다.
• 공유 및 재현성: 모든 데이터 (OCR 원본, 구조화된 텍스트, 주석 데이터) 와 모델 코드가 GitHub 와 Zenodo 를 통해 공개되어, 연구의 투명성과 재현성을 보장합니다.

결론적으로, 이 연구는 기술적 난이도가 매우 높았던 19 세기 그리스어 인쇄물의 디지털화를 성공적으로 수행했을 뿐만 아니라, 고대 그리스어 자연어 처리 (NLP) 연구의 기반을 획기적으로 확장했다는 점에서 중요한 의미를 가집니다.