Pre-Editorial Normalization for Automatically Transcribed Medieval Manuscripts in Old French and Latin

1. 연구 배경 및 문제 제기 (Problem)

• 자동 텍스트 인식 (ATR) 의 한계: 최근 ATR 기술의 발전으로 중세 사본에 대한 접근성이 향상되었으나, '고전적 필사 (Palaeographic transcription)'와 '정규화된 디지털 판본 (Normalized digital edition)' 사이에는 방법론적 간극이 존재합니다.
• 두 극단적 접근법의 문제점:
  1. 그래메틱 (Graphemic) 접근: 원본의 약자, 철자 변이, 구두점을 그대로 보존합니다. 이는 학술적 정확성은 높지만, 현대 NLP 도구 (어근 추출, 품사 태깅 등) 나 일반 독자에게는 사용성이 떨어집니다.
  2. 정규화 (Normalized) 접근: 약자 확장, 단어 분리, 현대식 철자 적용 등을 수행합니다. 하지만 ATR 모델이 처음부터 정규화된 출력을 생성하도록 학습되면, 새로운 도메인에 적응하기 어렵고 **과도한 정규화 (Over-normalization)**나 환각 (Hallucination, 존재하지 않는 내용 생성) 문제가 발생합니다.
• 핵심 문제: 그래메틱 ATR 출력물을 바로 NLP 파이프라인에 사용할 수 없으며, 동시에 ATR 과 정규화를 동시에 수행하는 모델은 신뢰도가 낮습니다. 따라서 ATR 오류와 편집적 정규화 오류를 구분할 수 있는 중간 단계가 필요합니다.

2. 제안된 방법론: 사전 편집 정규화 (Pre-Editorial Normalization, PEN)

이 논문은 **사전 편집 정규화 (PEN)**라는 새로운 태스크를 정의하고 이를 해결하기 위한 접근법을 제시합니다.

• 태스크 정의: 그래메틱 ATR 출력 (원본의 철자 변이와 약자를 보존한 상태) 을 입력으로 받아, 현대 편집 기준에 맞춰 정규화된 텍스트를 생성하는 작업입니다.
  • 수행 내용:
    • 중세 시대의 알로그래프 (예: u/v, i/j) 정규화.
    • 문맥에 민감한 약자 확장 (예: 'qͥ' -> 'qui').
    • ATR 인식 오류 수정 (예: 'rn'을 'm'으로 오인한 경우 수정).
    • 현대 편집 기준에 따른 대문자 및 구두점 정규화.
  • 보존 대상: 원본의 철자 변이 (예: 'ph' 대신 'f' 사용), 원래의 구두점, 명확하지 않은 고유명사의 약자는 수정하지 않음.
• 데이터셋 구축 (CoMMA 기반):
  • 소스: 33,000 권의 중세 사본으로 구성된 CoMMA 코퍼스의 그래메틱 ATR 출력.
  • 정렬 (Alignment): 디지털화된 고전 라틴어 및 고대 프랑스어 판본과 passim 도구를 사용하여 자동 정렬했습니다.
    • 페이지 레이아웃 분석의 불확실성으로 인한 텍스트 순서 변경을 처리하기 위해 HMM 기반 정렬 알고리즘을 사용.
  • 규모: 약 466 만 개의 '실버 (Silver)' 훈련 쌍 생성.
  • 골드 (Gold) 표준: 언어학자가 수동으로 정렬 오류와 정규화 불일치를 수정한 1,800 개 이상의 샘플로 구성된 평가 세트.
• 모델 아키텍처:
  • ByT5 (Byte-level Transformer) 기반 시퀀스-투-시퀀스 모델을 사용.
  • 이유: 유니코드 분해 형태를 포함한 다양한 문자 처리에 강하며, 철자 변이가 심한 언어에 효과적임.
  • 학습 전략: 라틴어와 고대 프랑스어 데이터의 불균형 (약 100:1) 을 해소하기 위해 프랑스어 데이터를 10 배 오버샘플링하여 학습.

3. 주요 기여 (Key Contributions)

1. PEN 태스크의 공식적 정의: ATR 출력과 최종 편집본 사이의 중간 단계인 '사전 편집 정규화'를 명확히 정의하고 그 필요성을 입증함.
2. 대규모 데이터셋 공개:
   • 466 만 개의 실버 훈련 코퍼스 (CoMMA 기반).
   • 1,800 개 이상의 수동 수정 골드 평가 세트.
3. 성능 향상 모델: ByT5 기반 모델을 통해 PEN 태스크에서 기존 모델보다 월등히 높은 성능을 달성.
4. 하류 작업 (Downstream Task) 에 대한 영향 분석: 정규화 모델이 어근 추출 (Lemmatization) 및 품사 태깅 (PoS tagging) 과 같은 후속 NLP 작업의 정확도에 미치는 영향을 실증적으로 분석.

4. 실험 결과 (Results)

• 정규화 성능 (CER/WER):
  • 제안된 모델은 골드 테스트 세트에서 **문자 오류율 (CER) 6.7%**를 기록했습니다.
  • 기존 모델 (Schonhardt, 2025) 의 CER 64.8% 및 제로샷 Llama 3 모델 (CER 139.9%) 보다 압도적으로 우수한 성능을 보였습니다.
  • 특히 고대 프랑스어에서 성능 향상이 두드러졌습니다.
• 정성적 분석:
  • 라틴어: 모델이 고전적 철자 (예: 'ph' 대신 'f' 사용) 로 편향되는 경향이 있으나, 이는 중세 변이를 완전히 지우는 것이 아니라 편집 기준에 맞추는 과정임을 시사.
  • 고대 프랑스어: 훈련 데이터의 지배적 변이를 선호하는 경향이 있으나, ATR 오류 수정 및 토큰 재분할 능력은 뛰어남.
• 하류 작업 영향 (Stylometric Analysis):
  • Vie de Saint Lambert 텍스트를 대상으로 한 실험에서, 제안된 정규화 파이프라인은 기존 방법론 (Lambert pipeline) 대비 정밀도 (Precision) 와 F1 점수가 더 높았으며, 노이즈가 적었습니다.
  • 다만, 회상률 (Recall) 은 기존 방법이 약간 더 높았으나, 이는 과도한 토큰 생성과 관련이 있음.

5. 의의 및 결론 (Significance)

• 방법론적 혁신: ATR 과 정규화를 분리하여 **중간 계층 (Intermediate Layer)**을 도입함으로써, ATR 오류와 편집적 오류를 명확히 구분할 수 있게 되었습니다. 이는 연구의 투명성과 재현성을 높입니다.
• 실용성: 그래메틱 ATR 출력물을 바로 현대 NLP 도구가 처리할 수 있는 형태로 변환하여, 디지털 인문학 연구의 자동화 파이프라인을 간소화하고 효율성을 극대화합니다.
• 향후 과제: 과잉 정규화 (Over-normalization) 위험을 줄이기 위해 불확실성 모델링을 도입하고, 문서 전체의 맥락을 고려한 정규화 (Document-level normalization) 로 확장할 필요가 있음을 제시했습니다.

이 논문은 중세 사본의 디지털화 과정에서 발생하는 '정확성'과 '사용성' 사이의 긴장 관계를 해결하기 위한 실용적이고 기술적으로 엄밀한 프레임워크를 제시했다는 점에서 중요한 의의를 가집니다.