Error Patterns in Historical OCR: A Comparative Analysis of TrOCR and a Vision-Language Model

논문 요약: 역사적 OCR 의 오류 패턴: TrOCR 과 비전 - 언어 모델 (VLM) 의 비교 분석

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 18 세기 인쇄된 역사적 문서의 광학 문자 인식 (OCR) 은 인쇄 품질 저하, 고대 글자 형태 (예: 긴 s, 리거처), 비표준화된 철자법 등으로 인해 여전히 큰 도전 과제입니다.
• 문제점:
  • 기존 연구는 트랜스포머 기반 OCR 시스템과 비전 - 언어 모델 (VLM) 이 높은 전체 정확도 (Aggregate Accuracy) 를 보인다고 하지만, 전체 정확도 지표 (CER, WER) 만으로는 학술적 활용에 필요한 신뢰성을 충분히 설명하지 못함.
  • OCR 오류는 단순한 무작위 노이즈가 아니라, 모델의 아키텍처적 편향 (Inductive Bias) 에 의해 체계적인 패턴을 보이며, 이는 다운스트림 작업 (코퍼스 구축, 언어 분석, 역사적 해석) 에 치명적인 영향을 미칠 수 있음.
  • 특히, VLM 이 시각적 충실도 대신 언어적 정규화를 수행하여 역사적으로 의미 있는 형태를 '침묵적으로' 변경할 수 있다는 우려가 있음.

2. 연구 방법론 (Methodology)

• 비교 대상 모델:
  1. TrOCR (OCR-네이티브 트랜스포머): 시각적 근거에 기반한 문자 수준의 정렬을 강조하는 전용 OCR 모델.
  2. Qwen (일반 목적 비전 - 언어 모델, VLM): 대규모 멀티모달 사전 학습을 통해 언어적 사전 지식 (Linguistic Priors) 을 내재한 생성형 모델.
• 데이터셋:
  • 학습 데이터: 18 세기 책의 수동 주석 데이터 (62k 라인), ECCO-TCP 기반 반자동 데이터 (68k 라인), 합성 데이터 (65k 라인) 를 포함한 약 195,000 개의 라인 단위 이미지.
  • 평가 데이터: 학습 데이터와 완전히 분리된 (Book-level disjoint) 18 세기 영어 인쇄 텍스트 (약 200 페이지, 10,000 라인).
  • 입력 조건: 두 모델 모두 라인 단위 (Line-level) 이미지로 제한하여 전처리 (단어 분할 등) 의 영향을 배제하고 순수한 인식 동역학만 분석.
• 평가 지표:
  • 기존 지표: 문자 오류율 (CER), 단어 오류율 (WER) (길이 가중치 적용).
  • 새로운 분석 프레임워크: Nguyen et al. 의 프록시 기반 오류 분류 체계를 적용하여 오류의 구조적 특성을 분석.
    • 실단어 오류 (Real-word errors) vs 비단어 오류 (Non-word errors)
    • 경계 오류 (Boundary errors: 단어 분할/병합)
    • 글자 혼동 (Glyph confusion)
    • 철자 정규화 (Orthographic normalization)

3. 주요 기여 (Key Contributions)

1. 아키텍처별 오류 모드 비교: 전체 정확도가 유사한 모델이라도 아키텍처적 차이 (시각적 근거 vs 언어적 생성) 로 인해 질적으로 다른 오류 프로파일을 생성함을 입증.
2. 가설 기반 분석 프레임워크 개발: 아키텍처 속성과 관찰 가능한 오류 패턴 (시각적 혼동, 언어적 대체, 정규화, 오류 전파) 을 연결하는 체계적인 분석 도구 제시.
3. 평가 관점의 전환: 단순한 정확도 지표를 넘어, 수정 노력 (Correction effort), 위험도 (Risk), 다운스트림 디지털 인문학 응용에 적합한 오류 구조 분석을 제안.

4. 실험 결과 및 발견 (Results)

• 정량적 성능:
  • Qwen (VLM) 이 TrOCR 보다 전반적으로 낮은 CER/WER 을 기록하며 더 강건함 (특히 저화질 흑백 이미지에서).
  • TrOCR 은 이미지 품질 저하 (흑백 이진화) 에 더 민감하게 반응하며, 라인 길이가 길어질수록 오류율이 급격히 증가 (오류 전파 현상).
• 오류 구조 분석 (Qualitative Findings):
  • 시각적 근거 (Visual Grounding, H1): TrOCR 은 시각적 모호성에 기반한 문자 치환 (예: 긴 s 를 f 로 오인) 을 더 많이 발생시킴. 이는 시각적 신호에 충실하려는 경향 때문.
  • 언어적 정규화 (Linguistic Regularization, H2 & H3): Qwen 은 시각적 불확실성을 언어적 맥락으로 해결하여 실단어 (Real-word) 오류를 더 많이 발생시킴. 특히 역사적 철자 (예: 'Antient' → 'Ancient') 를 현대 철자로 자동 수정하는 침묵적 정규화 (Silent Normalization) 경향이 뚜렷함.
  • 오류 전파 (Error Propagation, H4): TrOCR 은 국소적 오류가 연쇄적으로 확산되어 긴 라인에서 큰 편차를 보임. 반면 Qwen 은 오류가 국소적으로 제한되는 경향이 있음.
  • 경계 오류: TrOCR 이 구두점 주변의 단어 분할/병합 오류에 더 취약함.

5. 의의 및 결론 (Significance & Conclusion)

• 아키텍처적 트레이드오프:
  • TrOCR (OCR-네이티브): 시각적 충실도는 높으나, 오류가 연쇄적으로 확산되고 수정 작업량이 많음.
  • Qwen (VLM): 전체 오류량은 적고 국소적 오류에 그치나, 역사적 철자를 현대화하거나 의미를 변경하는 '침묵적 왜곡' 위험이 있음.
• 실무적 시사점:
  • 역사적 문서 디지털화 작업에서 단순한 정확도 순위가 모델 선택의 유일한 기준이 되어서는 안 됨.
  • 연구자의 목적 (예: 원본의 시각적 보존 vs 읽기 쉬운 텍스트 생성) 과 허용 가능한 위험 수준에 따라 모델을 선택해야 함.
  • 아키텍처 인식 (Architecture-aware) 평가와 워크플로우 설계가 필수적이며, 모델의 고유한 오류 패턴을 이해하고 이를 보정하는 전략이 필요함.

이 논문은 역사적 OCR 분야에서 모델의 성능을 평가할 때, 단순한 수치적 정확도뿐만 아니라 오류의 구조와 아키텍처적 기원을 함께 고려해야 함을 강조합니다.