TrOCR for Medieval HTR: A Systematic Ablation Study with Cross-Dataset Validation

문제 정의
트랜스포머 기반의 필기체 텍스트 인식(HTR) 모델, 특히 TrOCR을 중세 필사본에 맞게 미세 조정(fine-tuning)하는 것은 상당한 어려움을 수반한다. 이러한 모델들은 현대 텍스트로 사전 학습되었으며, 변화하는 글자 형태, 만연한 약어, 열화된 지지체(흐릿한 잉크, 번짐 현상), 불규칙한 레이아웃과 같은 시각적 도메인에 적응해야 한다. 최근 연구들은 트랜스포머 모델이 역사적 문서에 적응할 수 있음을 확인해주고 있으나, 전처리, 데이터 증강, 최적화가 동시에 조정되는 경우가 많아 보고된 성능 향상 폭을 해석하기 어려운 경우가 많다. 또한, 단일 하이퍼파라미터 설정이 서로 다른 스크립트, 언어, 시대에 걸쳐 어느 정도까지 전이될 수 있는지도 불분명하다. 아울러, 이 분야의 해석 가능성(interpretability) 연구도 미진하다. 어텐션 시각화 기법은 존재하지만, Grad-CAM과 같은 그래디언트 기반 속성(gradient-based attribution)이 HTR의 실패 모드를 정량적으로 진단하는 용도로 사용되는 경우는 드물다.

연구 방법론
저자들은 인식 정확도에 미치는 세 가지 제어 가능한 미세 조정 선택지의 영향을 격리하기 위해 체계적인 절제 연구(ablation study)를 수행하였다:

1. 전처리: 특히 대비 정규화를 위한 CLAHE(Contrast Limited Adaptive Python Adaptive Histogram Equalization)의 사용 여부.
2. 데이터 증강: 기하학적 변환(회전, 탄성 변형), 광학적 조정(블러, 밝기, 대비), 그리고 모사된 필사본 열화(스펙클 노이즈, 그림자, 얼룩)를 결합한 파이프라인.
3. 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning): 인코더와 디코더의 레이어 동결(layer freezing) 전략.

실험은 두 가지 데이터셋을 대상으로 수행되었다:

• I-CT 91 "Cortonese": 2,517개의 주석 처리된 텍리 라인을 포함하는 13세기 이탈리아 필사본으로, 주요 저자원 테스트 케이스 역할을 한다.
• READ-16: 견고성과 전이성을 평가하기 위해 교차 데이터셋 검증에 사용된 공개 벤치마크.

연구는 고정된 TrOCR-base 초기화 모델과 일관된 훈련 프로토콜(AdamW, One-Cycle 스케줄, 50 에포크)을 사용하여 13가지 구성으로 실험을 진행하였다. 이 구성들은 CLAHE와 증강의 유무를 달리하였으며, 인코더 및/또는 디코더에서 동결되는 레이어의 수($K \in \{0, 3, 6, 9, 12\}$)를 탐색하였다. 비교를 위해 도메인 특화 베이스라인(Kraken의 CATMuS Medieval 모델)도 미세 조정되었다.

오류 패턴을 진단하기 위해 저자들은 Grad-CAM 그래디언트 속성과 디코더 교차 어텐션 맵을 활용하였으며, 모델의 확신도와 공간적 집중도를 이해하기 위해 정규화된 엔트로피와 지니 계수를 분석하였다.

주요 결과

• 전처리 및 증강: Cortonese 데이터셋에서 CLAHE나 전체 증강 파이프라인 모두 베이스라인에 비해 문자 오류율(CER) 측면에서 통계적으로 신뢰할 수 있는 이득을 생성하지 못했다. CLAHE를 제거했을 때의 CER은 7.84%로, 특화된 Kraken-CATMuS 베이스라인(7.9%)과 유사했다. 그러나 READ-16 데이터셋에서는 증강이 명확하게 유익한 것으로 나타났는데, 이는 데이터셋에 따른 규제 효과가 존재함을 시사한다.
• 레이어 동결의 비대칭성: 인코더와 디코더의 동결 사이에는 뚜렷한 비대칭성이 존재한다.
  • 인코더: 초기 몇 개의 레이어를 제외하고 동결하는 것은 일관되게 해롭다. 6개 이상의 인코더 레이어를 동결하면 두 데이터셋 모두에서 CER이 크게 증가했다.
  • 디코더: 디코더는 더 관용적이다. 최대 6개 레이어(50%)를 동결해도 Cortonese에서의 정확도에 큰 해를 끼치지 않았다.
  • 결합 전략: 3개의 인코더 레이어와 6개의 디코더 레이어를 동결하는 구성($enc\_3\_dec\_6$)은 Cortonese에서는 전체 미세 조정과 비교해 유의미한 차이가 없었으나, READ-16에서는 성능이 유의미하게 저하되었다.
• 교차 데이터셋 검증: 인코더 동결 임계값 및 결합된 동결 전략에 관한 결과는 보편적으로 전이되지 않았다. 디코더 동결 임계값은 어느 정도의 견고성을 보였으나, 결합된 전략은 데이터셋별 재검증이 필요하다.
• 진단 분석: Grad-CAM과 어텐션 맵은 뚜렷한 동작을 보여주었다. 높은 오류를 보이는 토큰은 종종 높은 엔트로피(확산된 형태)를 가진 어텐션 맵과 상관관계가 있었다. 반대로, 올바른 예측임에도 불구하고 높은 손실(loss)을 가진 토큰이 존재할 수 있는데, 이 경우 Grad-CAM은 국소적으로 유지되는 반면 어텐션은 확산되어 있었다. 또한 연구는 Grad-CAM 맵이 (ReLU 또는 그래디언트 소실로 인해) 0으로 붕괴되는 실패 모드를 식별하였으며, 이에 따라 어텐션 기반 측정치로 회귀하는 하이브리드 진단 접근법이 필요함을 밝혀냈다.

의의 및 주장
본 논문은 모든 기존 HTR 시스템을 능가한다고 주장하지 않는다. 대신, 그 의의는 소규모 중세 HTR 데이터셋을 다루는 실무자들에게 통제된 절제 연구와 실행 가능한 미세 조정 가이드라인을 제공하는 데 있다. 저자들은 네 가지 실질적인 권장 사항을 제시한다:

1. 현대적 최적화 스케줄 하에서는 CLAHE를 기본 요구 사항이라기보다 선택 사항으로 취급하라.
2. 데이터 증강 전략은 보편적인 이득을 가정하기보다 데이터셋별로 검증하라.
3. 공격적인 인코더 동결을 피하라. 시각적 스택은 필사본 특유의 특징에 적응할 필요가 있기 때문이다.
4. 계산 자원의 제약이 중간 정도의 디코더 동결을 정당화하는 경우가 아니라면, 전체 미세 조정을 선호하라. 결합된 동결 레시피는 보편적으로 전이되지 않음에 유의하라.

본 연구는 최적화 선택이 전문화된 사전 학습의 부재를 부분적으로 보완할 수 있음을 강조하면서도, 도메인 인지적 사전 학습이 여전히 가치 있다는 점을 강조한다. 이 작업은 향후 연구자들이 유사한 저자원 역사적 환경에서 TrOCR을 적응시킬 때 중복된 절제 연구를 피할 수 있도록 돕는 방법론적 참조 자료 역할을 하며, 동시에 서로 다른 스크립트와 재료 조건에 대해 결과를 과도하게 일반화하는 것에 대해 경고한다.