TrOCR for Medieval HTR: A Systematic Ablation Study with Cross-Dataset Validation

기술 요약: 중세 HTR을 위한 TrOCR

문제 정의
TrOCR와 같은 트랜스포머 기반 필기체 텍스트 인식(HTR) 모델을 중세 필사본에 맞게 미세 조정(fine-tuning)하는 것은 상당한 어려움을 수반한다. 이 모델들은 현대 텍스트로 사전 학습되었으며, 변화하는 글자 형태, 만연한 약어, 퇴락한 지지체(흐릿한 잉크, 번짐 현상), 불규칙한 레이아웃과 같은 시각적 도메인에 적응해야 한다. 최근 연구들은 트랜스포머 모델이 역사적 문서에 적응할 수 있음을 확인하고 있으나, 전처리, 데이터 증강, 최적화 전략이 동시에 조정되는 경우가 많아 보고된 성능 향상을 해석하기가 어려운 경우가 많다. 또한, 단일 하이퍼파라미터 구성이 서로 다른 스크립트, 언어, 시대에 걸쳐 어느 정도까지 전이될 수 있는지는 여전히 불분명하며, 특히 역사적 컬렉션이 제한된 감독 정보(통상적으로 몇 천 줄의 라벨링된 데이터)만을 제공하는 경우 더욱 그러하다.

방법론
저자들은 인식 정확도에 미치는 세 가지 제어 가능한 미세 조정 선택 사항의 영향을 격리하기 위해 체계적인 절제 연구(ablation study)를 수행하였다:

1. 전처리: 특히 대비 정규화를 위한 대비 제한 적응형 히스토그램 평활화(CLAHE)의 적용.
2. 데이터 증강: 기하학적 변환(회전, 탄성 변형), 광학적 조정(블러, 밝기, 대비), 그리고 모사된 필사본 퇴락(스펙클 노이즈, 그림자, 얼룩)을 결합한 파이프라인.
3. 매개변수 효율적 미세 조정: 인코더와 디코더의 레이어 동결(layer freezing) 전략.

실험에는 2,517개의 주석이 달린 텍스트 라인을 포함하는 13세기 이탈리아 필사본(I-CT 91 "Cortonese")이 사용되었다. 견고성과 교차 데이터셋 검증을 보장하기 위해 동일한 실험 그리드를 공개 벤치마크인 READ-16에 복제하여 적용하였다. 본 연구는 AdamW 옵티마이저와 One-Cycle 학습률 스케줄을 사용하여 50 에포크 동안 진행되는 고정된 전체 미세 조정 베이스라인(TrOCR-base)을 사용하였다.

절제 설계는 다음과 같다:

• 네 가지 변형을 전체 미세 조정 하에서 비교함: (i) CLAHE + 증강 (베이스라인), (ii) CLAHE 미적용, (iii) 증강 미적용, (iv) CLAHE 및 증강 모두 미적용.
• 한 모듈은 전체 학습 가능하게 유지하면서, 인코더 또는 디코더에서 동결할 레이어의 수($K \in \{0, 3, 6, 9, 12\}$)를 탐색함.
• 개별적으로 유의미하지 않은 동결 임계값이 결합하여 적용되었을 때도 여전히 유의미하지 않은지 확인하기 위해 결합된 구성($enc\_3\_dec\_6$)을 테스트함.
• 통계적 유의성은 라인 레벨의 문자 오차율(CER)에 대해 Holm 보정을 적용한 Wilcoxon 부호 순위 검정(Wilcoxon signed-rank tests)을 사용하여 평가함.
• 맥락 파악을 위해 도메인 특화 베이스라인(Kraken-CATMuS)을 사용하였으며, 해석 가능성은 Grad-CAM과 디코더 교차 주의(cross-attention) 맵을 통해 분석함.

주요 결과

• 전처리 및 증강: Cortonese 데이터셋의 경우, CLAHE나 전체 증강 파이프라인 모두 베이스라인에 비해 통계적으로 신뢰할 수 있는 정확도 향상을 생성하지 못했다. CLAHE를 제거했을 때의 CER은 7.84%로, 도메인 특화 Kraken 베이스라인과 유사했다. 그러나 READ-16 데이터셋에서는 증강이 명확히 유익한 것으로 나타났으며, 이는 데이터셋 의존적인 정규화 효과를 시사한다.
• 레이어 동결 비대칭성: 인코더와 디코더 사이에서 뚜렷한 비대칭성이 관찰되었다.
  • 인코더: 처음 몇 개의 레이어 이후로 동결하는 것은 일관되게 해롭다. Cortonese에서 6개 이상의 인코더 레이어를 동결하면 심각한 성능 저하가 발생했다.
  • 디코더: 디코더는 동결에 더 관대하다. Cortonese에서 최대 6개의 디코더 레이어를 동결해도 전체 미세 조정과 비교하여 정확도에 유의미한 해를 끼치지 않았다.
• 교차 데이터셋 전이: 인코더-디코더의 비대칭성은 READ-16에서도 지속되었으나, 구체적인 동결 임계값은 보편적으로 전이되지 않았다. (Cortonese에서 유의미하지 않았던) 결합 구성($enc\_3\_dec\_6$)은 READ-16에서 전체 미세 조정보다 유의미하게 낮은 성능을 보였다. 이는 결합된 동결 전략이 데이터셋별 재검증을 필요로 함을 나타낸다.
• 해석 가능성: Grad-CAM과 교차 주의 맵은 진단 도구 역할을 했다. 높은 토큰 손실은 높은 엔트로피(확산된) 주의 맵과 상관관계가 있었으며, 올바른 예측이라 하더라도 높은 손실을 가진 토큰을 포함할 수 있었다. 본 연구는 Grad-CAM이 때때로 제로 맵으로 붕괴(실패 모드)될 수 있으며, 이 경우 어텐션 기반 진단이 폴백(fallback) 역할을 한다고 언급했다.

기여 및 의의
본 논문은 저자 ресурсов가 적은 역사적 데이터셋에 대해 TrOCR을 미세 조정하는 실무자들에게 실질적이고 근거 중심적인 권장 사항을 제공한다:

1. 전처리: 강력한 최적화가 공격적인 이미지 전처리에 대한 의존도를 낮출 수 있으므로, CLAHE는 기본 요구 사항이라기보다 선택 사항으로 취급되어야 한다.
2. 증강: 증강 전략은 보편적인 이득을 가정하기보다 데이터셋별로 검증되어야 한다.
3. 동결 전략: 공격적인 인코더 동결은 피해야 한다. 중간 정도의 디코더 동결은 특정 코퍼스에서 측정 가능한 손실 없이 훈련 비용을 줄일 수 있지만, 결합된 동결 레시피는 각 새로운 데이터셋에 대해 재검증되어야 한다.
4. 진단 도구: Grad-CAM과 교차 주의 맵은 특히 토큰 레벨의 손실 신호와 함께 사용할 때 오류 패턴과 실패 모드를 해석하는 데 가치가 있다.

저자들은 본 연구가 모든 기존 HTR 시스템을 능가하는 것을 목표로 하기보다는, 통제된 절제 연구와 실행 가능한 가이드를 제공하는 데 목적이 있다고 겸허히 주장한다. 연구 결과는 최적화 선택이 전문화된 사전 학습의 부족을 부분적으로 보완할 수 있지만, 데이터가 확보될 경우 도메인 인지적 사전 학습이 여전히 가치 있다는 점을 시사한다. 본 연구는 동결 임계값 및 전처리에 관한 결론이 저자 ресурсов가 적은 라인 이미지에 대한 TrOCR 스타일의 인코더-디코더 아키텍처에 특화된 것이며, 추가적인 검증 없이 다른 스크립트나 시대로 일반화해서는 안 된다는 점을 강조한다.