Digitizing Nepal's Written Heritage: A Comprehensive HTR Pipeline for Old Nepali Manuscripts

"네팔의 기록 유산을 디지털화: 고대 네팔어 필사본을 위한 포괄적인 HTR 파이프라인"에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 역사적으로 중요하지만 자원이 부족한 언어인 고대 네팔어에 대한 손글씨 텍스트 인식 (HTR) 의 치명적인 과제를 다룹니다.

• 배경: 이 연구는 18 세기와 19 세기의 필사본 (주로 네팔 - 독일 필사본 보존 프로젝트에서 유래) 에 초점을 맞추며, 데바나가리 문자로 작성되었습니다.
• 과제:
  • 데이터 부족: 학습에 사용할 수 있는 필사본 이미지는 155 장 (약 3,100 개의 텍스트 줄) 에 불과하여 표준 딥러닝 접근법을 어렵게 만듭니다.
  • 문자 복잡성: 고대 네팔어는 복잡한 합성 문자, 일관성 없는 철자법 (서기들이 단어를 다르게 철자함), 그리고 표준화된 단어 간격의 부재 (scriptio continua) 를 특징으로 합니다.
  • 문서 열화: 역사적 문서는 잉크 퇴색, 종이 손상, 다양한 필체로 인해 열화되었습니다.
  • 도메인 격차: 기존 OCR 모델 (Tesseract 또는 표준 TrOCR 등) 은 라틴 문자나 현대 인쇄 문자로 훈련되어 역사적 손글씨 데바나가리 문자에서는 실패합니다.

2. 방법론

저자들은 고자원 사전 학습과 저자원 대상 데이터 간의 격차를 해소하기 위해 데이터 중심 전략과 결합된 3 단계 학습 파이프라인을 제안합니다.

A. 3 단계 학습 파이프라인

레이블이 지정된 손글씨 데이터의 부족을 극복하기 위해 모델은 점진적인 적응 과정을 거칩니다:

1. 1 단계 (합성 사전 학습): 모델은 다양한 데바나가리 폰트와 노이즈/왜곡 효과를 사용하여 역사적 네팔어 교과서에서 생성된 100,000 개의 합성 이미지로 훈련됩니다. 이를 통해 모델은 일반적인 데바나가리 패턴을 학습합니다.
2. 2 단계 (전이 학습): 모델은 하이델베르크 오픈 연구 데이터 (heiDATA) 의 5,139 줄에 달하는 인쇄된 데바나가리 텍스트로 미세 조정됩니다. 이는 합성 데이터와 실제 스캔 문서 간의 격차를 메워줍니다.
3. 3 단계 (최종 미세 조정): 모델은 최종적으로 실제 3,100 줄의 고대 네팔어 손글씨 필사본으로 미세 조정됩니다.

B. 모델 아키텍처

• 인코더: 주로 ViT (Vision Transformer) 백본 (trocr-base-handwritten 및 trocr-large-handwritten) 을 갖춘 TrOCR(Transformer 기반 OCR) 을 사용합니다. Swin Transformer 도 테스트되었으나 데이터 제한으로 인해 성능이 더 낮았습니다.
• 디코더: BERT 스타일 및 GPT-2 언어 모델을 탐구합니다. 가장 성능이 좋은 구성은 BERT 디코더와 Byte-Level BPE 토크나이저를 짝짓는 것입니다.
• 토큰화: 문자 단위 토큰화와 바이트 단위 토큰화를 비교합니다. 바이트 단위 BPE 가 데바나가리의 복잡한 합성 문자를 처리하는 데 최적임이 밝혀졌습니다.

C. 데이터 중심 향상

작은 데이터셋을 고려하여 저자들은 아키텍처의 복잡성보다 데이터의 품질과 다양성을 우선시했습니다:

• 레이블 정규화: 훈련 노이즈를 줄이기 위해 일관성 없는 유니코드 표현 (예: chandrabindu의 서로 다른 코드) 을 통합했습니다.
• 데이터 증강: 스캔 아티팩트와 필체 변이를 시뮬레이션하기 위해 20 가지 유형의 현실적인 증강 (기하학적 왜곡, 가우시안 블러, 소금 - 후추 노이즈, 탄성 워핑) 을 적용했습니다. 8 배 증강 강도가 가장 좋은 결과를 낳았습니다.
• 전처리: 줄 단위 분할을 위해 Kraken을 사용했습니다. 특히, 이진화 (binarization) 는 성능을 해치는 것으로 밝혀져 회색조 이미지가 유지되었습니다.

D. 디코딩 전략

이 연구는 결정론적 (그리디, 빔 서치, 대비 검색) 및 확률적 (온도, top-k, top-p) 디코딩 방법을 체계적으로 평가했습니다. 결과는 데이터 품질과 모델 아키텍처에 비해 디코딩 전략이 최종 문자 오류율 (CER) 에 미치는 영향이 미미함을 보여주었습니다.

3. 주요 기여

1. 최초의 엔드 - 투 - 엔드 파이프라인: 고대 네팔어 필사본을 위해 특별히 설계된 최초의 포괄적인 HTR 시스템입니다.
2. 3 단계 적응: 합성 데이터와 인쇄된 텍스트가 저자원 역사적 문자를 위한 모델을 효과적으로 사전 학습시킬 수 있음을 보여주는 새로운 워크플로우입니다.
3. 데이터 중심 통찰: 레이블 정규화와 데이터 증강이 아키텍처 변경 (예: BERT 에서 GPT-2 디코더로 전환) 보다 성능 향상에 더 기여함을 입증했습니다.
4. 오픈 소스 공개: 추가 연구를 장려하기 위해 훈련 코드, 모델 구성 및 평가 스크립트를 공개했습니다 (GitHub 에 호스팅됨).
5. 웹 애플리케이션: 연구자들이 고대 네팔어 필사본을 업로드하고 전사할 수 있는 기능적인 웹 도구 (nepocr.streamlit.app) 를 개발했습니다.

4. 결과

• 성능: 최우수 모델은 문자 오류율 (CER) 4.9% (가중 CER 4.8%) 를 달성했습니다.
• 개선: 이는 미세 조정된 베이스라인 TrOCR 모델 (9.6% CER) 대비 오류 49% 감소를 의미하며, 합성 문자와 디아크리틱을 인식하지 못했던 Google Cloud Vision OCR 보다 훨씬 뛰어난 성능을 발휘했습니다.
• 절대 실험 (Ablation Studies):
  • 레이블 정제: CER 를 8.9% 에서 8.4% 로 감소시켰습니다.
  • 데이터 증강: CER 를 8.4% 에서 5.6% 로 감소시켰습니다 (8 배 강도).
  • 모델 크기: trocr-base 에서 trocr-large 로 업그레이드하여 CER 를 4.9% 로 추가로 감소시켰습니다.
• 오류 분석:
  • 오류는 무작위가 아닌 구조화되어 있습니다 (예: 시각적 유사성으로 인해 ya 가 pa 와 혼동됨).
  • 긴 시퀀스 열화: 긴 시퀀스 훈련 예제의 부재로 인해 120 자를 초과하는 줄의 성능이 크게 저하됩니다.
  • 토큰 혼동: 소수의 10 개 문자가 모든 오류의 55% 이상을 차지합니다.

5. 중요성

• 문화 보존: 현재 열화와 접근 불가의 위험에 처해 있는 네팔의 방대한 필사본 유산을 디지털화할 수 있는 확장 가능한 솔루션을 제공합니다.
• 저자원 HTR 프레임워크: 다른 저자원 역사적 문자를 위한 견고한 방법론을 확립하며, 데이터가 부족한 환경에서 데이터 품질과 증강 전략이 종종 모델 크기보다 더 중요함을 입증합니다.
• 전이 학습 검증: 합성 데이터와 인쇄 데이터에 대한 사전 학습이 복잡한 손글씨 역사적 문자로 효과적으로 전이될 수 있음을 성공적으로 시연했습니다.
• 미래 방향: 이 논문은 확장된 데이터셋 (특히 긴 시퀀스) 의 필요성과 식별된 구조화된 오류 패턴을 활용하는 후속 수정 방법의 잠재력을 강조합니다.

결론적으로, 이 작업은 복잡한 모델 아키텍처보다 엄격한 데이터 준비 및 도메인 적응 전략에 초점을 맞추어 고대 네팔어 HTR 을 위한 새로운 최첨단 기준을 설정합니다.