Named Entity Recognition of Historical Texts via Large Language Model

다음은 논문 "대규모 언어 모델을 통한 역사적 텍스트의 개체명 인식"에 대한 상세한 기술 요약입니다:

1. 문제 제기

배경: 개체명 인식 (NER) 은 디지털 인문학 연구를 지원하기 위해 비정형 역사적 텍스트 (예: 신문, 원고) 에서 구조화된 정보를 추출하는 데 필수적입니다.
과제:

• 데이터 부족: 수동 라벨링에 필요한 높은 비용과 전문성으로 인해 역사적 텍스트용 고품질 주석 데이터셋은 드뭅니다.
• 언어적 변이성: 역사적 텍스트에는 고어, 불일치한 철자, 제한된 구두점, 그리고 광학 문자 인식 (OCR) 디지털화 과정에서 발생한 노이즈가 포함되어 있습니다.
• 전통적 방법의 한계: 표준 지도 학습 및 딥러닝 접근법은 대규모 도메인별 주석 학습 데이터를 필요로 하는데, 이는 역사적 코퍼스에서 종종 구할 수 없습니다.
  목표: 작업별 미세 조정이나 광범위한 주석 학습 데이터 없이 대규모 언어 모델 (LLM) 이 제로샷 (zero-shot) 및 퓨샷 (few-shot) 프롬프트 전략을 사용하여 역사적 텍스트에서 NER 을 효과적으로 수행할 수 있는지 조사하는 것입니다.

2. 방법론

본 연구는 18 세기부터 20 세기까지를 다루는 다국어 코퍼스 (독일어, 프랑스어, 영어, 스웨덴어, 핀란드어) 인 HIPE-2022 데이터셋을 활용하며, 거시적 NER 작업 (Person, Location, Work 등 식별) 에 초점을 맞춥니다.

실험 설정:

• 모델: 강력한 다국어 성능과 비용 효율성으로 인해 DeepSeek-V3-0324 를 선정했습니다.
• Temperature: 결정론을 보장하기 위해 0 으로 설정했으나, 모델의 확률적 특성을 고려하여 실험을 세 번 반복했습니다.
• 평가된 접근법:
  1. 제로샷 베이스라인: LLM 에 개체 태그와 출력 형식에 대한 지시사항은 제공되지만 예시는 제공되지 않습니다.
  2. 퓨샷 프롬프팅: LLM 에 학습/개발 세트에서 검색된 $k$개의 주석 예시 ($k \in \{1, 3, 5\}$) 가 제공됩니다.
     • 검색 전략:
       • 무작위 선택: 퓨샷을 위한 베이스라인.
       • 어휘 중첩: 표면적으로 유사한 문서를 찾기 위해 TF-IDF 가중 토큰 중첩을 사용합니다.
       • 임베딩 유사성: 코사인 유사성을 통해 의미적으로 유사한 문서를 찾기 위해 distiluse-base-multilingual-cased-v2 를 사용합니다.
  3. 후처리: LLM 출력 (튜플의 파이썬 리스트) 을 HIPE-scorer 가 요구하는 IOB 형식으로 변환합니다.
  4. 앙상블 방법: 예측을 집계하고 분산을 줄이기 위해 세 번의 실험 실행 전반에 걸쳐 다수결 투표 (Majority Voting) 를 적용합니다.

평가 지표:

• HIPE-scorer: 공식 평가 도구 사용.
• 설정: Strict(정확한 경계 및 라벨 일치) 와 Fuzzy(올바른 라벨과 중첩) F1 점수 (Micro) 모두 적용.
• 통계 분석: 세 번의 실행에 대한 평균 및 신뢰 구간; 유의성 검정을 위한 Bonferroni 보정을 적용한 Wilcoxon 검정.

3. 주요 기여

1. 경험적 평가: 제로/퓨샷 패러다임을 사용하여 다섯 가지 언어와 여러 장르에 걸친 역사적 NER 을 위한 LLM 에 대한 포괄적 평가.
2. 전략 비교: 제로샷과 퓨샷 프롬프팅에 대한 비교 분석으로, 단일 예시 (1-shot) 프롬프팅이 종종 다중 예시 (3-shot, 5-shot) 접근법보다 우수함을 규명.
3. 검색 분석: 예시 선택 방법 (무작위 vs 어휘 vs 임베딩) 에 대한 조사 결과, 선택 방법보다 예시의 존재가 더 중요하다는 점 발견.
4. 오류 분석: 프롬프팅이 특정 실패 모드를 어떻게 완화하는지 이해하기 위해 오류 유형 (예: 누락된 개체, 유형 대체) 을 상세히 분류.

4. 주요 결과

• 성능 향상: 퓨샷 프롬프팅은 모든 데이터셋에서 제로샷 베이스라인을 크게 능가합니다. 단일 무작위 예시만으로도 성능이 크게 향상됩니다.
• "한 예시" 현상: 직관과 달리, 더 많은 예시 (3 개 또는 5 개) 를 제공하는 것이 단일 예시를 사용하는 것보다 종종 성능을 저하시킵니다. 저자들은 이를 프롬프트 길이가 모델의 최적 컨텍스트 창을 초과하거나 작업 명확성이 희석되기 때문이라고 설명합니다.
• 선택 전략: 단일 예시 프롬프트의 경우 무작위, 어휘 중첩, 임베딩 유사성 선택 전략 간에 통계적으로 유의미한 차이가 없었습니다. 모델은 예시가 어떻게 선택되든 잘 일반화됩니다.
• 다수결 투표: 세 번의 실행에 대한 다수결 투표 적용은 특히 Fuzzy 설정에서 modest 한 개선을 가져오지만, Strict 설정에서는 종종 통계적으로 유의미하지 않습니다.
• 최고 성능 (SOTA) 과의 비교:
  • LLM 기반 프롬프팅은 일반적으로 주석 데이터로 미세 조정을 수행하는 완전한 지도 학습 SOTA 모델보다 현저히 낮은 성능을 보입니다 (예: ajmc (de) 에서 -0.20 F1).
  • 예외: LLM 접근법은 Sonar (de) 데이터셋에서 기존 SOTA 를 약간 상회했습니다.
• 오류 감소: 퓨샷 프롬프팅은 "누락된 개체" 오류 (Type 2) 와 "개체 유형 대체" 오류 (Type 3) 를 줄이는 데 가장 효과적이며, 모델이 올바른 범주에 정렬되도록 돕습니다.

5. 중요성 및 함의

• 실현 가능한 저자원 대안: 고정밀 시나리오에서 지도 학습 미세 조정의 완전한 대체제는 아니지만, LLM 프롬프팅은 주석 데이터가 존재하지 않거나 생성 비용이 너무 비싼 역사적 NER 을 위한 비용 효율적이고, 언어에 구애받지 않으며, 학습이 필요 없는 베이스라인을 제공합니다.
• 효율성: 1-shot이 최적이라는 발견은 연구자들이 대규모 컨텍스트 창과 같은 복잡성을 피하고 최소한의 프롬프트 엔지니어링 및 검색 오버헤드로 강력한 결과를 달성할 수 있음을 시사합니다.
• 디지털 인문학 영향: 이 접근법은 수동 주석의 병목 현상 없이 다국어이고 자원이 부족한 역사적 코퍼스를 분석할 수 있게 하여, 아카이브 자료에 대한 보다 광범위한 접근을 촉진합니다.
• 향후 방향: 프롬프트 최적화 (압축), 역사적 메타데이터를 활용한 고급 검색, 그리고 일반화성을 높이기 위한 더 넓은 코퍼스로의 평가 확장에 대한 향후 연구가 제안됩니다.

결론: 본 연구는 LLM 이 저자원 환경에서 역사적 NER 을 위한 강력한 도구임을 보여줍니다. 특정 데이터로 학습된 지도 학습 모델의 정밀도와는 아직 일치하지 않지만, 제로 또는 단일 예시로 합리적인 성능을 발휘할 수 있는 능력은 디지털 인문학을 위한 실용적이고 확장 가능한 솔루션을 만듭니다.