TRIDIS: A Comprehensive Medieval and Early Modern Corpus for Handwritten Text Recognition and Named Entity Recognition

기술 요약: TRIDIS 코퍼스 및 평가 전략

문제 정의
역사적 필사본에 대한 필기 텍스트 인식(HTR)은 데이터 일관성과 평가의 엄밀성 측면에서 상당한 난관에 봉착해 있다. 기존 데이터셋은 종종 일관되지 않은 주석 표준(예: 약어 확장 및 구두점 처리 방식의 차이), 제한된 범위(단일 스크립트 또는 특정 지역에 집중) 등의 문제를 겪는다. 무엇보다 결정적인 문제는 도전적인 테스트 분할(test splits)의 부재이다. 기존의 무작위 분할 방식은 흔히 훈련 데이터와 테스트 데이터 사이에 상당한 중복을 발생시켜, 모델의 진정한 도메인 외(OOD) 일반화 능력을 가리고 지나치게 낙관적인 성능 지표를 산출한다. 이러한 한계는 새로운 미학습 역사 문헌에 적용되는 HTR 모델의 견고한 평가를 저해한다.

방법론
본 논문은 여러 오픈 라이선스 하의 중세 및 근세 필사본(12~18세기) 서브 컬렉션을 통합한 통합 코퍼스인 TRIDIS(Tria Digita Scribunt)를 소개한다. 방법론은 세 가지 핵심 구성 요소를 포함한다:

1. 코퍼스 구축 및 조화(Harmonization):

   • 데이터 집계: TRIDIS는 라틴어, 고대 프랑스어, 중세 독일어, 고대 스페인어를 다루는 레거시 컬렉션(예: Alcar-HOME, Himanis, e-NDP, Bullinger, CODEA)을 결합한다.
   • 전사 표준: 코퍼스는 반-외형적(semi-diplical) 전사 패러다임을 준수한다. 이는 약어의 암묵적 확장, 모든 형태적 변이(예: long-s를 short-s로)의 정규화, 구두점 현대화, 고유 명사의 대문자 표기 등을 포함한다. 이는 현대 NLP 파이프라인 사용을 용이하게 하지만, 본 논문은 이것이 원본의 고문서학적 실체와는 구별되는 해석적 층위를 도입한다는 점을 인정한다.
   • 데이터 모델: 리소스는 표준화된 스키마 하에 구조화되어 있으며 Apache Parquet 형식으로 배포된다. 각 레코드는 라인 이미지(RGB), UTF-8 전사, 메타데이터(필사본 ID, 언어, 세기, 스크립트 계열) 및 사용 가능한 경우 명명 개체 인식(NER) 주석을 포함한다.

2. 이상치 기반 분할 전략(Outlier-Based Partitioning Strategy):

   • 도메인 내 편향 문제를 해결하기 위해, 저자들은 새로운 분할 방법을 제안한다. 무작위 분할 대신, 비전 인코더와 텍스트 인코더의 출력을 결합하여 각 라인에 대한 **결합 시각-텍스트 임베딩(joint visual-textual embeddings)**을 계산한다.
   • 코퍼스의 중심점(centroid)은 모든 임베딩의 요소별 중앙값(element-wise median)으로 정의된다.
   • 테스트 세트는 이 중심점으로부터 유클리드 거리가 가장 큰 상위 5%의 라인을 선택하여 구성한다. 이러한 "이상치(outliers)"들은 그 "이례성(atypicality)"의 다양성을 보장하도록 층화(stratified)된다.
   • 이 전략은 특이한 스크립트, 희귀 어휘, 물리적 퇴락 또는 이례적인 레이아웃을 특징으로 하는 라인들을 격리함으로써, 더욱 까다로운 평가 시나리오를 생성한다.

3. 베이스라인 실험:

   • 두 모델(TrOCR (Large) 및 MiniCPM-Llama3-V 2.5)을 전체 데이터의 90%(5% 검증 및 5% 이상치 테스트 포함)로 미세 조정하였다.
   • 성능은 무작위 및 이상치 기반 테스트 조건 모두에서 문자 에러율(CER), 단어 에러율(WER), BERTScore를 사용하여 측정되었다.

주요 기여

• TRIDIS 코퍼스: 약 20만 개의 라인과 약 200만 개의 토큰을 포함하며, 구성 요소의 출처, 편집 논리 및 전사 규칙을 명시적으로 기록한 포괄적인 다국어 리소스이다. 이는 HTR 및 NER과 같은 다운스트림 작업 모두를 지원한다.
• 평가 프레임라인: 무작위 분할을 넘어 새로운 역사 문헌의 예측 불가능성을 시뮬레이션하는 이상치 기반 분할 전략을 도입하였다.
• 도전 과제의 분류 체계: 이상치 테스트 세트에서 발견된 구체적인 어려움에 대한 상세한 분류를 제공한다:
  • 이름(Names): 약어가 빈번하게 사용된 고유 명사가 지배적인 라인.
    에는
  • 긴 라인(Long Lines): 비정상적으로 길거나 가변적인 기하학적 구조를 가진 라인.
  • 물리적 결함(Physical Defects): 흐릿한 잉크, 얼룩 또는 투명도 문제 등.
  • 저영향 스크립트(Underrepresented Scripts): 학습 사례가 제한적인 희귀 스크립트 계열(예: Praegothica, Humanistica).
  • 복잡한 맥락(Complex Contexts): 16세기 공증인 필체 및 여백 주석.

결과
베이스라인 실험은 도메인 내(무작위) 및 도메인 외(이상치) 평가 사이의 유의미한 성능 격차를 보여준다:

• TrOCR: CER은 9.1%(무작위)에서 11.3%(이상치)로 증가하였고, WER은 **21.3%**에서 **24.9%**로 증가하였다.
• MiniCPM-Llama3-V 2.5: CER은 **10.2%**에서 **12.6%**로, WER은 **24.2%**에서 **28.0%**로 증가하였다.
• 의미적 유사성(BERTScore) 또한 이상치 설정에서 하락하였다 (예: TrOCR은 0.94에서 0.91로 감소).

이 결과는 최첨단 모델들이 표준 분할에서는 우수한 성능을 보이지만, 이상치 분할의 특정한 이례적 특성에 직면했을 때 견고성이 눈에 띄게 저하됨을 확인시켜 준다.

의의 및 주장
본 논문은 TRIDIS를 단순한 데이터 집합이 아닌 견고하고 공정한 평가를 위한 도구로 규정한다. 저자들은 이상치 기반 전략이 헤리티지 문서 HTR에 대한 더 현실적인 벤치마크를 제공하며, 기존의 무작위 평가 설정에서는 숨겨져 있던 성능의 한계를 드러낸다고 주장한다.

그 의의는 다음과 같다:

1. 현실적인 벤치마킹: 헤리티지 기관들이 새로 디지털화된 아카이브 자료에 내재된 "도메인 드리프트(domain drift)"에 맞서 모델을 평가할 수 있는 프레임워크를 제공한다.
2. 격차 식별: 성능 저하는 타겟팅된 데이터 증강, 정규화 전략 또는 전문화된 모델링(예: 저영향 스크립트나 복잡한 약어 대응)이 필요한 특정 영역을 강조한다.
3. 미래 대비: 편집적 이질성을 명시적으로 인코딩하고 풍부한 메타데이터를 제공함으로써, 코퍼스는 교차 언어 분석, 스타일 변화 연구, 그리고 더 깊은 문서 이해를 위한 멀티모달 표현 개발을 지원한다.

저자들은 TRIDIS가 헤리티지 문서 처리의 교차 도메인 전이를 위한 기초 자원인 동시에, 역사적 텍스트 인식의 과제를 더 잘 반영하기 위해 평가 표준을 재고하도록 촉구하는 초대장 역할을 한다고 결론짓는다.