A Study of Temporal Fusion Strategies for Named Entity Recognition in Historical Texts

기술 요약: 역사적 텍스트의 개체명 인식(NER)을 위한 시계열 융합 전략 연구

문제 정의
역사적 텍스트에서의 개체명 인식(NER)은 고유한 과제인 '시간적 변이(temporal variation)'에 직면해 있다. 역사적 문서 내의 개체들은 시간에 따라 표면 형태, 중요도, 의미가 변화한다. 거대 언어 모델(LM)이 일반적인 NLP 작업에서는 진보를 이루었으나, 특히 통시적(diachronic) 맥락에서 시간성을 추론하는 능력은 여전히 제한적이다. 기존 연구들에 따르면, 고급 모델들조차 방향성 편향, 미흡한 시간적 보정, 그리고 시간적으로 고정된 사실을 유지하는 데 어려움을 겪는 것으로 나타난다. 또한, 시간적 표현(예: 시간 벡터, 시간 그래프)이 다른 작업들을 위해 탐구되어 왔음에도 불구하고, 토큰 수준의 작업인 NER과는 여전히 분리되어 있다. 역사적 NER은 통시적 표류(diachronic drift), OCR 저하, 다국어적 변이로 인해 더욱 복잡해지지만, temporal metadata를 NER 모델에 통합하기 위한 아키텍처 전략을 체계적으로 비교한 연구는 거의 없다.

방법론
저자들은 역사적 NER을 입력값이 토큰 시퀀스 $X$와 문서 발행 연도 $year$로 구성된 토큰 분류 작업으로 취급한다. 이들은 트랜스포머 기반 아키텍처를 채택하고, 명시적인 연도 임베딩($y = \text{Emb}(year)$)을 사용하여 시간 정보를 체계적으로 주입한다. 본 연구는 두 가지 인코딩 모드를 비교한다:

1. 절대 모드(Absolute Mode): 임베딩 인덱스가 발행 연도(예: 1889)와 직접 대응한다.
2. 시간 거리 모드(Time-Distance Mode): 임베딩이 문서의 발행 연도와 고정된 기준 연도(2025) 사이의 연도 차이를 나타내며, 최근 문서일수록 낮은 인덱스를 할당한다.

핵심 기여는 초기 융합(early fusion)(인코딩 전 또는 도중에 시간을 주입)과 후기 융합(late fusion)(인코더 출력에 시간을 적용)으로 분류되는 시간적 융합 전략의 비교에 있다:

• 베이스라인(Baseline): 시간적 융합 없음.
• 초기 융합(Early Fusion):
  • 교차 주의 융합(Cross-Attention Fusion): 인코딩 전, 토큰 임베딩과 연도 임베딩 간의 교차 주의 메커니를 통해 시간 정보를 주입한다.
• 후기 융합(Late Fusion):
  • 어댑터 융합(Adapter Fusion): 경량 MLP가 연도 임베딩을 처리하고 그 결과를 각 토큰 표현에 더한다.
  • 결합 융합(Concatenation Fusion): 연도 임베딩을 각 토큰 벡터에 결합하고 이를 원래의 차원으로 다시 투영한다.
  • 상대적 시간 융합(Relative Temporal Fusion): 비선형 인코더가 연도 임베딩을 상대적 표현으로 변환하며, 이는 특징별 선형 변조(FiLM) 메커니즘에서 사용된다.
  • 교차 주의 융합 (후기) (Cross-Attention Fusion (Late)): 인코딩 후 교차 주의를 사용하여 인코더 출력과 시간 정보를 융합한다.

실험 설정
모델들은 발행 연도 메타데이터를 포함하는 HIPE-2020 데이터셋, 특히 프랑스어와 독일어 서브셋에서 평가되었다. 이 데이터셋들은 넓은 시간 범위를 커버하며(프랑스어: 1798–2018; 독일어: 1798–1950), 상당한 수준의 OCR 노이즈(프랑스어 약 33%, 독일어 약 43%)를 포함한다. 저자들은 다국어 역사적 변형 BERT를 기본 모델로 사용하였으며, 마이크로 평균 F1 점수를 주요 지표로 하여 미세 조정(fine-tuning)을 수행하였다.

주요 결과

1. 성능 향상: 후기 융합 전략이 초기 융합 및 베이스라인에 비해 일관되게 더 견고하고 시간적으로 일반화 가능한 성능을 보였다. 이는 특히 노이즈가 많은 초기 시기(1800–1850)와 구조적으로 복잡하고 긴 개체 언급에서 두드러졌다.
2. 템포럴 모드(Temporal Modes): 인코딩 모드(절대 모드 vs 시간 거리 모드)의 영향은 언어에 따라 의존적이었다. 독일어의 경우, 결합 및 어댑터 전략에서 시간 거리 인코딩이 주목할 만한 이득(최대 +3 F1)을 제공했다. 프랑스어의 경우 결과가 덜 일관적이었으며, 일부 전략은 절대 모드에서 더 나은 성능을 보였다.
3. 개체 민감도(Entity Sensitivity): 후기 융합 전략은 긴 개체(20자 이상)에 대해 안정적이거나 긍정적인 이득을 보였는데, 이는 시간 신호를 후기 단계에서 주입하는 것이 복잡한 개체에 중요한 표면적 구별을 유지하는 데 도움이 됨을 시사한다.
4. 시간의 내재화(Internalization of Time): 추론 시 실제 문서 연도를 무작위 연도로 대체하는 선형 프로빙(linear probing) 실험을 통해, 후기 융합 모델들이 잠재 공간(latent space) 내에서 시간 신호를 실제로 내재화했음을 확인했다. 후기 교차 주의, 어댑터, 결합 전략이 가장 높은 프로빙 정확도를 달-성한 반면, 초기 융합 및 베이스라인 모델은 최소한의 시간적 인코딩만을 보여주었다.
5. 통계적 유의성: 시간적 융합이 일반적으로 성능을 개선하기는 했으나, 그 이득은 종종 미미했다. 쌍체 t-검정 결과, 대부분의 전략이 $p < 0.05$ 임계값에서 통계적으로 유의미한 개선을 보이지 못했으나, 절대 템포럴 모드 하의 후기 교차 주의 전략은 예외적으로 유의미했다 ($p = 0.041$).

의의 및 주장
본 논문은 모듈형 융합 전략을 통해 트랜스포머 아키텍처에 구조적으로 시간을 주입하는 것이 다양한 언어와 연대에 걸쳐 역사적 NER에 대해 완만하지만 일관된 이득을 제공한다고 주장한다. 저자들은 후기 융합이 특히 노이즈가 많은 초기 시대의 데이터와 시간적으로 가변적인 개체 유형(예: 위치)을 처리하는 데 가장 견고한 접근 방식임을 강조한다.

본 연구는 제안된 방식이 생성 능력 측면에서 새롭지는 않지만, 통시적 코퍼스를 위한 실용적이고 경량화된 향상 방안을 제공한다는 점에서 의의가 있다. 이는 실제 역사적 코퍼스가 거대 생성형 LLM의 사용을 제한하는 제약 조건(예: 개인정보 보호, 엄격한 정책)에 직면하는 경우가 많기 때문이다. 이러한 맥락에서 발행일과 같은 메타데이터를 활용하는 구조적 방법은 해석 가능한 모델을 위한 중요한 정보원이 된다. 저자들은 후기 융합을 채택하고, 특정 언어 및 설정에 따라 두 가지 템포럴 인코딩 모드를 테스트하며, 노이즈가 많은 역사적 데이터를 위한 타겟팅된 향상 기법으로서 시간적 융합을 활용할 것을 권장한다.

한론(Limitations)
저자들은 몇 가지 한계를 인정한다: 본 연구는 연 단위의 입도(granularity)에 국한되어 있으며(더 세밀한 시간 해상도 결여), 결과는 HIPE-2020의 프랑스어 및 독일어 서브셋에 한정되어 있다. 또한 프로빙 분석은 선형 디코더 가능성에만 초점을 맞추었으며, 단일 백본 아키텍처 하의 통제된 조건에서 평가가 수행되었으므로, 메타데이터가 누락된 실제 환경에서는 결과가 달라질 수 있다.