A Fine-Tuned BERT Classifier for Personal-Letter Titles in Late-Ming and Early-Qing Collected Works

기술 요약: 레프톤 – 명말청초 문집에 수록된 개인 서간 제목을 위한 파인튜닝된 BERT 분류기

문제 제기
주요 과제는 명말과 청초 시기의 문집 (wenji) 목차 내에서 개인 서간 (shu 書) 을 자동 식별하는 것이다. 문집 구조는 저자의 산출물을 선별된 목록으로 제공하지만, 계산적 방법론으로 서간을 다른 장르와 구별하는 것은 어렵다. 특히 서간은 서문 (xu 序), 특히 송별 서문 (songxu 送序) 과 자주 혼동된다.

전통적인 규칙 기반 접근법 (정규 표현식) 은 고전 중국어 제목의 언어적 변이성으로 인해 실패한다:

• 종단 표지: 서간 제목의 9.2% 만 '서 (書)' 자로 끝난다. 대다수는 다른 표지를 사용하거나 아예 표지가 없다. '서'로 끝나는 제목을 찾는 정규 표현식은 서간의 91% 를 놓친다.
• 개시 동사: 서간은 종종 전달 동사 (예: 여 與, 답 答) 로 시작하지만, 이러한 동사들은 서문 제목의 시작에도 빈번히 등장하여 정규 표현식 기반 필터의 오탐지 (false-positive) 비율을 높인다.

방법론
본 논문은 개인 서간 제목과 서문 제목을 구분하기 위해 설계된 이진 분류기인 레프톤 (Letter Prediction) 을 소개한다.

• 모델 아키텍처: 레프톤은 bert-base-chinese(약 1 억 200 만 매개변수) 의 파인튜닝된 인스턴스이다. 모델은 [CLS] 토큰 위에 BertForSequenceClassification 헤드를 사용하며, 모든 매개변수가 훈련 중 업데이트된다.
• 백본 선택: 저자들은 당시 이용 가능한 도메인 적응형 고전 중국어 모델 (예: 안치BERT, 고문BERT) 이 아닌 현대 중국어 사전 훈련된 백본을 선택했다. 이 결정은 구별 특징 (개시 동사와 종단 표지) 이 현대 사전 훈련 데이터에 잘 표현되어 있어, 역사적 텍스트에 대한 지속적인 사전 훈련 없이도 제목 수준의 신호를 학습할 수 있다는 관찰에 기반했다.
• 코퍼스 구축: 훈련 데이터셋은 명중기부터 청초까지의 33 명 문인의 문집에서 수동으로 레이블이 지정된 5,438 개의 제목으로 구성된다.
  • 양성 클래스: 3,206 개의 서간 제목.
  • 음성 클래스: 2,232 개의 서문 제목.
  • 메타데이터: 각 항목에는 작성자 ID, 수신자 ID, 관계 코드와 같은 CBDB(중국 인물 관계 데이터베이스) 메타데이터가 포함된다.
• 실험 설정: 데이터셋은 80/10/10 비율로 훈련/개발/테스트 세트로 층화되었다. 모델은 여러 베이스라인에 대해 평가되었다:
  1. 다수 클래스 베이스라인.
  2. 정규 표현식 베이스라인 ('서'로 끝남, 전달 동사로 시작함, 또는 둘 중 하나).
  3. TF-IDF 문자 n-그램 (범위 2-2 에서 2-4) 과 로지스틱 회귀의 결합.

주요 결과
홀드아웃 테스트 세트에서 레프톤은 모든 베이스라인보다 우수한 성능을 보였다:

• 정규 표현식 베이스라인: 단순한 '서로 끝남' 정규 표현식은 F1 점수가 불과 0.166 이었다. '동사로 시작함' 정규 표현식은 더 나은 성능 (F1 = 0.915) 을 보였으나 레프톤에 비해 재현율 (0.851) 이 낮았다.
• TF-IDF 베이스라인: 이러한 모델들은 높은 재현율 (0.99) 과 함께 강력한 결과 (F1 ≈ 0.935–0.937) 를 달성했으나 정밀도 (0.89) 는 낮아 개시 동사 신호는 포착했으나 일부 오탐지에 어려움을 겪었음을 시사한다.
• 레프톤 성능: 배포된 모델은 매칭된 테스트 하위 세트에서 F1 점수 0.984를 달성했다. 특히 서간 클래스에 대해 완벽한 정밀도 (1.000) 를 달성하여 테스트 세트에서 오탐지가 전혀 없었으며, 재현율은 0.968 이었다.

오류 분석
테스트 세트에서 레프톤이 저지른 6 건의 오류는 모두 표준 개시 동사 신호가 부재한 매우 짧고 생략된 제목 (예: 수신자 이름이나 연속 표시) 의 사례였다. 모델은 학습된 '서간' 신호의 부재에 기반하여 이러한 경우를 서문으로 분류하도록 올바르게 기본 설정되었으며, 이는 표면적 장르 표지보다는 편집 관례에 의존하는 템플릿 외 입력을 처리하는 데 한계가 있음을 부각시킨다.

의의 및 주장
본 논문은 레프톤을 언어 모델링의 이론적 돌파구가 아닌 디지털 인문학을 위한 실용적 도구로 위치시킨다. 그 의의는 세 가지 주요 기여를 중심으로 framing 된다:

1. 규모와 적용: 이 모델은 명중기부터 청초까지의 약 55,000 개의 서간을 식별하기 위해 중국 인물 관계 데이터베이스 (CBDB) 에 배포되었으며, 사회 네트워크 연구를 지원하기 위해 '명서간 플랫폼'을 채우고 있다.
2. 전이 학습: 현대 중국어 사전 훈련 모델이 역사적 코퍼스에 대한 지속적인 사전 훈련 없이도 제목 수준의 근대 이전 분류 작업에 효과적으로 전이될 수 있는 구체적인 사례를 제공한다.
3. 해석 가능성: 결과는 신호가 풍부한 짧은 텍스트 작업에서 해석 가능한 n-그램 베이스라인이 신경 모델과 '타격 거리 이내'에 있음을 보여준다. 선형 베이스라인의 상위 가중치 특징과 문헌학적 분석 (개시 동사와 종단 표지) 의 수렴은 기계 학습이 점수뿐만 아니라 특징을 노출해야 한다는 주장을 뒷받침한다.

저자들은 모델의 한계를 명시적으로 지적한다: 1550~1700 년 자료로 훈련되었으며, 시나 기문과 같은 다른 장르가 아닌 서문 장르와만 구분하며, 수신자나 날짜를 추출하거나 사적 서간과 관료적 서간을 구분하지는 않는다.