ROBE: Reversed-Order-Biased-Experts for Extracting Extreme Long-tail Events from Historical Texts

기술 요약: ROBE – 극단적인 롱테일 이벤트를 추출하기 위한 역순 우선순위 편향 전문가(Reversed-Order-Biased-Experts)

문제 정의
본 논문은 극단적인 데이터 왜곡(skew)과 저자원 조건이 특징인 역사적 텍스트에서 이벤트 정보를 추출하는 과제를 다룹다. 구체적으로, 저자들은 1602년부터 1799년까지의 네덜란드 동인도 회사(VOC) 기록물 내에 존재하는 "롱테일의 롱테일(long-tail of the long-tail)"을 목표로 한다. 해당 데이터셋은 70개의 이벤트 레이블 유형에 대해 매우 불균형한 분포를 보인다. 가장 빈번한 클래스인 "통신(Communication)"은 794회 나타나는 반면, 가장 드문 클래스는 단 1회만 나타난다. 또한, 텍스트 내 토큰의 92%는 어떤 이벤트와도 관련이 없다. 기존의 거대 언어 모델(LLM)과 사전 학습된 인코더는 다음과 같은 이유로 이 영역에서 어려움을 겪는다:

1. 역사적 네덜란드어(초기 근대 네덜란드어)는 일반적인 사전 학습 범위에 포함되지 않는 니치(niche) 도메인이다.
2. 기존 모델들은 도메인 특화 데이터로 미세 조정(fine-tuning)을 거친 후에도 적절한 일반화를 포착하는 데 실패한다.
3. 왜곡된 데이터에 대한 표준 미세 조정은 모델이 빈번한 클래스에 수렴하게 만들어, 문화적 편향으로 인해 기록물 내에서 과소 표현된 희귀하지만 역사적으로 중요한 이벤트(예: 폭력, 반란, 노예화 등)를 무시하게 만든다.

방법론
저자들은 빈도 편향을 완화하기 위해 다중 클래스 토큰 분류 문제를 더 작고 관리 가능한 하위 문제로 분해하는 프레임워크인 **ROBE (Reversed-Order-Biased-Experts)**를 제안한다.

1. 전문가 그룹화 (Expert Grouping): 70개의 이벤트 클래스를 다음 두 가지 기준에 따라 그룹으로 나눈다:

   • 빈도 구간 (Frequency Windows): 훈련 데이터 내에서 토큰 수가 유사한 클래스들을 함께 그룹화한다.
   • 의미적 유사성 (Semantic Relatedness): 의미적 테마를 공유하는 클래스들을 그룹화한다 (예: "폭력", "소유", "이동").
   • 병합 전략: 극도로 희귀한 클래스의 표현력을 더욱 높이기 위해, 그룹 내에서 의미적으로 연관된 클래스들(예: "죽음/사망 상태"와 같은 동적/정적 쌍 또는 계층적 하위 클래스)을 병합한다.

2. 역순 우선순위 (Reversed-Order Priority): 모든 분류기를 동일하게 취급하는 대신, ROBE는 각 전문가 모델에 우선순위를 부여한다.

   • 가장 낮은 표현력을 가진 그룹(극단적인 롱테일)을 학습한 전문가에게는 가장 높은 우선순위를 할당한다.
   • 고빈도 그룹을 학습한 전문가는 가장 낮은 우선순위를 갖는다.
   • 추론 과정에서 각 전문가는 테스트 세트에 대한 레이블을 예측한다. 의견 불일치가 발생하는 경우, 가장 높은 우선순위를 가진 전문가의 예측이 다른 예측을 덮어쓴다(override). 이는 희귀한 이벤트가 흔한 이벤트에 대한 예측에 의해 묻히지 않도록 보장한다.

3. 합성 데이터 생성 (Synthetic Data Generation): 데이터 부족 문제를 해결하기 위해 저자들은 통제된 합성 데이터 생성 방법을 사용한다.

   • 이들은 GLOBALISE 프로젝트의 기존 구조화된 데이터셋(인물/직업에 관한 VOC "Name-books", 상품 사전, 선박 데이터셋)을 활용한다.
   • 도메인 특화 엔티티와 소수의 인간 주석 사례를 사용하여 프롬프트 템플릿을 구성한다.
   • 이러한 프롬프트는 생성형 LLM(gpt-4o)에 입력되어, 초기 근대 네덜란드어 스타일과 VOC 맥락을 준수하면서 "이동(Translocation)" 및 "운송(Transportation)" 이벤트에 특화된 375개의 주석이 달린 합성 문장을 생성한다.

4. 모델 아키텍처: 기본 인코더로는 VOC 기록물로만 사전 학습된 GloBERTise를 사용한다. 저자들은 여러 구성을 평가한다:

   • EtE: 모든 데이터로 미세 조정된 단일 GloBERTise (End-to-End).
   • EtE+synth: 인간 데이터와 합성 데이터로 증강되어 훈련된 EtE.
   • ROBE: 특정 레이블 그룹을 학습한 8개 전문가의 앙상블.
   • ROBE+: 최저 우선순위 전문가로서 EtE 모델을 추가한 ROBE 앙상블.

주요 결과
연구는 18개의 VOC 문서 스캔본으로 구성된 테스트 세트를 사용하여, 판정된(majority vote로 해결된) 지표와 비판정(gold label이 하나라도 일치하는 경우) 지표 모두로 성능을 평가한다.

• 성능 향상: ROBE 방식은 표준 End-to-End (EtE) 베이스라인보다 성능이 크게 향상되었다.
  • ROBE는 비판정 세트에서 EtE 대비 재현율(Recall) 0.10 증가, 정밀도(Precision) 0.16 증가를 달면했다.
  • ROBE+ (일반 EtE 모델을 포함한)는 롱테일 클래스 그룹에 대해 정밀도와 재현율 모두를 개선하여, 특히 F1 점수에서 0.10의 증가를 달성했다.
• 베이스라인 비교:
  • **어휘 베이스라인 (Lexical Baseline, 인간이 큐레이션한 사전 방식)**은 가장 높은 정밀도를 달지만 재현율이 매우 낮아, 규칙만으로는 전체 변이 공간을 커버하기 어렵다는 것을 확인시켜 주었다.
  • **생성형 LLM 베이스라인 (gpt-5.1)**은 전반적으로 낮은 성능을 보였으며 롱테일 클래스에 대해 신뢰할 수 없음을 보여주어, 고도로 특화된 저자원 도메인에서 제로샷/퓨샷 접근법의 한계를 입증했다.
• 합성 데이터의 영향: 합성 데이터를 포함하는 것은 정밀도를 개선했지만 재현율을 유의미하게 개선하지는 못했다. 이는 합성 데이터가 모델의 확신도를 높이는 데는 도움이 되지만, ROBE의 구조적 개입 없이는 희귀 이벤트에 대한 표현력 격차를 완전히 해결할 수 없음을 시사한다.

의의 및 주장
본 논문은 방대한 생성 모델이나 광범한 새로운 인간 주석 없이도, 매우 도메인 특화된 저자원 역사적 텍스트에서 극단적인 롱테일 정보를 추출하기 위한 실질적인 해결책을 제시한다고 주장한다.

• 편향 완화: 데이터셋을 분할하고 특화된 전문가를 훈련하며 역순 우선순위 시스템을 결적으로 결합하는 것이 빈번한 클래스의 지배력을 효과적으로 완화함을 입증했다.
• 자원 효율성: 이 접근 방식은 복잡한 아키텍처 변경보다는 그룹화 전략과 우선순위 규칙에 의존하므로 "추가적인 자원이나 복잡한 엔지니어링이 거의 필요하지 않다."
• 도메인 특화성: 본 연구는 역사적 맥락에서의 롱테일 지식에 대한 저조한 성능이 일반 목적의 모델에 의존하기보다, 도메인 특화 사전 학습(GloBERTise)과 타겟팅된 데이터 증강을 통해 해결될 수 있음을 강조한다.
• 향 향후 방향: 저자들은 합성 데이터 주입이 유익하긴 하지만, 분류 문제의 구조적 분해(ROBE)가 더 큰 성능 향상을 가져온다고 제안한다. 그들은 이 연구가 다른 니치 도메인에서 극단적인 롱테일 정보 추출을 다루는 연구에 영감을 주기를 바란다.