ViHistScriptBench: Benchmarking Vietnamese Historical Script and Document–Type Classification in Low–Resource Settings

기술 요약: ViHistScriptBench

문제 정의
베트남의 역사적 기록물에는 한자(chữ Hán), 한자를 변형하여 베트남어를 표기한 로고그래피 체계인 쯔놈(chữ Nôm), 초기 국어(quốc ngữ), 그리고 현대 국어 등 복잡한 문자들이 혼재되어 있습니다. 디지털화를 통한 문화유산 보존이 매우 중요함에도 불구하고, 이러한 자료에 대한 광학 문자 인식(OCR) 및 문서 분석은 상당한 난관에 봉착해 있습니다. 기존 시스템들은 주로 현대 라틴 문자에 초점을 맞추어 훈련되었기에, 복잡한 서체, 불규칙한 글자 형태, 세로형 레이아웃, 여백의 주석, 그리고 다양한 형태의 훼손 등 역사적 베트남 문서가 가진 특수한 문제들을 해결하는 데 어려움을 겪고 있습니다. 또한, NomNaOCR와 같은 문자 단위 데이터셋에 비해 한·놈(Han–Nôm) OCR을 위한 자원은 매우 부족한 실정입니다. 특히 분절(segmentation)이 아닌 페이지 단위의 분류를 평가할 수 있는 표준화된 벤치마크가 부재합니다.

방법론
본 논문은 베트남 역사 문서 이해에 관한 재현 가능한 연구를 촉진하기 위해 설계된 경량 벤치마크인 ViHistScriptBench를 소개합니다.

• 데이터셋 구축: 코퍼스는 베트남 국립도서관, Nom 재단, 컬럼비아 대학교 도서관 등 공공 아카이브에서 수집한 500페이지의 디지털화된 페이지로 구성됩니다. 데이터셋은 다양한 장르(서사시, 연대기, 민담)와 시대를 포괄합니다. 이미지는 300dpi로 다운샘플링되었으며 PNG 형식으로 저장되었습니다.
• 주석 체계: 각 페이지는 두 가지 속성으로 라벨링됩니다:
  1. 스크립트 클래스(Script Class): 한자(Hán), 쯔놈(Nôm), 혼합(Mixed, 두 문자가 모두 포함됨), 또는 초기 국어(Early Quốc Ngữ).
  2. 문서 유형(Document Type): 목판본(Woodblock Print), 필사본(Handwritten Manuscript), 또는 현대 인쇄본(Modern Print).
     주석 작업은 고문학 배경을 가진 대학원생들에 의해 수행되었으며, 선임 언어학자의 검증을 거쳤습니다.
• 벤치마크 과업: 본 벤치마크는 세 가지 주요 분류 과업을 정의합니다:
  1. 스크립트 식별(Script Identification): 전체 페이지의 스크립트 클래스를 예측합니다.
  2. 문서 유형 분류(Document-Type Classification): 재질 및 레이아웃 유형을 분류합니다.
  3. 혼합 스크립트 탐지(Mixed-Script Detection): 한자와 쯔놈이 혼합된 페이지를 식별하는 이진 분류 과업입니다.
• 베이스라인 모델: 저자들은 이미지 분류에 적합하도록 조정된 세 가지 범주의 모델을 평가했습니다:
  • 고전적 CNN: ImageNet 사전 학습으로부터 파인튜닝된 ResNet-50 및 EfficientNet-B0.
  • 비전 트랜스포머(ViT): 데이터셋에 맞춰 파인튜닝된 기본 ViT 모델.
  • 멀티모달 거대 언어 모델(MLLM): 지도 학습 기반 파인튜닝과 제로샷 프롬프팅을 모두 테스트한 CLIP 이미지 인코더.
• 전처리: 이미지는 224×224 크기로 조정되었습니다. 목판본의 노이즈를 줄이기 위해 특정 전처리(대비 스트레칭, 중간값 필터링)를 적용하였으며, 필사본의 경우 붓 터치를 보존하기 위해 색상 정보를 유지하였습니다.

주요 기여

1. 큐레이션된 코퍼스: 스크립트 및 문서 유형 라벨이 포함된 500페이지의 다양하고 정교한 한·놈 페이지 컬렉션.
2. 정의된 과업: 베트남 역사적 맥락에 특화된 페이지 단위 스크립트 식별, 스크립트 혼합 탐지 및 문서 유형 인식의 공식화.
3. 베이스라인 평가: 정확도, 매크로-F1 점수, 혼동 행렬을 포함하여 고전적 CNN, 트랜스포머, MLLM에 대한 종합적인 성능 지표 제공.
4. 오류 분석: 시각적 유사성으로 인한 한자와 쯔놈 간의 혼동, 세로형 레이아웃의 오해석, 성조/기호 훼손으로 인한 오류 등 구체적인 실패 모드 식별.
5. 공개 배포: 공정한 비교와 향후 연구를 지원하기 위해 데이터와 코드를 공개.

실험 결과
저자들은 홀드아웃 테스트 세트(데이터의 20%)에 대한 결과를 보고합니다. 주요 결과는 다음과 같습니다:

• 성능: 제안된 "Our Pipeline"(전처리, 딥 피처, 경량 분류기 결합)이 가장 높은 성능을 보였으며, 스크립트 식별에서 90.1%, 문서 유형 분류에서 93.4%, 혼합 스크립트 탐지에서 **89.3%**의 정확도를 달성했습니다.
• 모델 비교:
  • ViT-Base는 표준 아키텍처 중 우수한 성능(스크립트 식별 정확도 88.5%)을 보였으며, 이는 장거리 의존성과 열(column) 레이아웃을 포착하는 데 강점이 있음을 시사합니다.
  • EfficientNet-B0는 정확도와 파라미터 효율성 사이의 강력한 균형을 제공했습니다(스크립트 식별 정확도 86.7%).
  • CLIP은 제로샷 설정(스크립트 식별 정확도 68.0%)에서 지도 학습 기반 파인튜닝보다 낮은 성능을 보였으나, 일정 수준의 일반화 능력을 입증했습니다.
• 오류 패턴: 혼동 행렬 분석 결과, 시각적 유사성으로 인해 한자와 쯔놈 클래스 사이에서 가장 빈번한 오류가 발생했습니다. 혼합(Mixed) 페이지는 소수 스크립트가 가장자리 공간에만 나타날 때 자주 오분류되었습니다. 초기 국어 페이지는 인쇄 훼손 및 기호 유사성으로 인해 혼동되는 경우가 있었습니다.

의의 및 주장
본 논문은 ViHistScriptBench를 베트남 역사적 스크립트 인식을 위한 체계적인 벤치마킹을 향한 첫 단계로 규정합니다. 저자들은 데이터셋의 규모가 작다(500페이지)는 점과 문화유산 분야의 데이터 희소성이라는 현실을 인정하며 겸허한 어조를 유지합니다. 그들은 이러한 기초적인 결과조차 표준화된 평가 방식이 없던 분야에 유용한 베이스라인을 제공한다고 주장합니다.

본 연구의 의의는 다음과 같습니다:

• 격차 해소: 문자 단위의 분절 작업과는 구별되는, 한·놈 문서를 위한 최초의 전용 페이지 단위 분류 벤치마크를 제공합니다.
• 특수 과제 부각: 기호, 세로형 레이아웃, 재질 훼손 등 이 도메인에 특화된 고유한 오류 범주를 드러냅니다.
• 향후 연구를 위한 토대: 데이터셋을 확장하고 모델의 견고함을 개선하기 위해 자기지도 학습(self-supervised pretraining), 준지도 학습(semi-supervised learning), 그리고 커뮤니티 주도 주석 이니셔티브(Transkribus와 유사한 방식)를 위한 프레임워크를 구축합니다.

저자들은 OCR 문제를 완전히 해결했다고 주장하는 것이 아니라, 베트남의 텍텍스트 유산을 보존하고 활용하기 위한 진전을 가속화하는 데 필요한 인프라(데이터, 과업, 베이스라인)를 제공하는 것을 목표로 합니다.