Automated Motif Indexing on the Arabian Nights

이 논문은 민속학 텍스트에서 모티프 (motif) 를 자동으로 색인화 (indexing) 하는 첫 번째 계산적 접근법을 제시합니다. 연구팀은 '아라비안 나이트 (The Arabian Nights)' 텍스트와 엘-샤미 (El-Shamy) 가 작성한 상세한 모티프 색인서를 활용하여, 모티프 표현을 탐지하는 다양한 자연어 처리 (NLP) 기법을 평가했습니다.

다음은 논문의 기술적 요약입니다.

1. 문제 정의 (Problem)

• 모티프 색인화 (Motif Indexing): 민속학 텍스트 (예: 전설, 민담) 에 등장하는 모티프 (반복되는 서사적 요소) 를 자동으로 찾아내고 색인화하는 작업입니다.
• 기존 연구의 한계: 기존 연구는 주로 현대 텍스트에서의 모티프 탐지 (Motif Detection) 에 집중했으나, 원전 민속 텍스트에서의 색인화 작업은 데이터 접근성의 부재로 인해 자동화되지 못했습니다.
• 데이터 장벽: 많은 모티프 색인서가 존재하지만, 해당 색인서가 참조하는 원본 텍스트가 디지털화되지 않았거나 접근이 어려운 경우가 많아 대규모 학습 데이터 구축이 어려웠습니다.

2. 데이터 및 전처리 (Data & Preprocessing)

• 데이터 소스:
  • 텍스트: 현대 번역본 (Irwin, 2010) 의 '아라비안 나이트' (약 139 만 토큰, 45,769 문장).
  • 색인서: 엘-샤미 (2006) 가 작성한 '천일야화 모티프 색인서 (A Motif Index of The Thousand and One Nights)' (약 5,000 개의 모티프).
• 정렬 (Alignment) 문제 해결: 엘-샤미의 색인서는 1885 년 버턴 (Burton) 번역본의 페이지 번호를 기준으로 합니다. 이를 현대 번역본 (Irwin) 과 정렬하기 위해 두 가지 방법을 시도했습니다.
  • BERT 기반 정렬: 0.93 정확도.
  • Needleman-Wunsch 알고리즘 (동의어 감지 포함): 시맨틱 유사성을 고려하여 0.99 의 높은 정확도를 달성하여 최종 데이터 정렬에 사용되었습니다.
• 데이터 주석 (Annotation):
  • 200 개의 다양한 모티프에 대해 58,450 개의 문장을 수동 주석했습니다.
  • 양성 데이터: 2,670 개 (모티프가 포함된 문장).
  • 음성 데이터: 55,779 개 (모티프가 없는 문장).
  • 주석자 간 일치도 (Inter-annotator Agreement): 코헨의 카파 (Cohen's Kappa) 0.72 로 '상당한 (substantial)' 일치를 보였습니다.

3. 복잡성 분석 (Complexity Analysis)

연구팀은 모티프 탐지의 난이도를 두 가지 차원으로 분석하여 4 가지 범주로 분류했습니다. 이는 모델 성능 평가의 기준이 되었습니다.

1. 개념적 복잡성 (Conceptual Complexity): 모티프 정의의 구조적 복잡도 (단순 vs 복잡).
2. 표현 복잡성 (Expression Complexity): 텍스트 내에서의 표현 방식 (직접적/단순 vs 간접적/복잡).
   • 예: '뱀 (Viper)'은 단순하지만, '다른 사람에게 한 행위가 자신에게 되돌아온다'는 모티프는 텍스트 내에서 은유적으로 표현되어 탐지가 어렵습니다.

4. 방법론 (Methodology)

연구팀은 모티프 색인서 엔트리를 입력으로 받아 해당 모티프가 포함된 문장을 탐지하는 5 가지 접근법을 비교 평가했습니다.

1. 검색 및 재순위화 (Retrieve-and-Rerank):
   • BM25(어휘적 검색) 와 Semantic Search(임베딩 기반) 로 후보 문장을 추출한 후, Cross-Encoder(BERT) 로 재순위화.
   • 단순 모티프에는 효과적이었으나, 복잡한 모티프에서는 성능이 낮았습니다.
2. 기성 임베딩 모델 (Off-the-Shelf Embeddings):
   • Mistral, Gemini, NV-Embed, Jina, T5 등 사전 훈련된 임베딩 모델 사용.
   • 임계값 (Threshold) 을 설정하여 이진 분류 수행.
3. 파인튜닝된 임베딩 모델 (Fine-Tuned Embeddings):
   • SBERT 와 T5 모델을 학습 데이터로 파인튜닝.
4. 생성형 프롬프팅 (Generative Prompting):
   • Zero-shot: 예시 없이 모티프 정의와 문장만 입력.
   • Few-shot (N-shot): 2 개의 긍정/부정 예시를 포함하여 프롬프팅.
   • Mistral-7B 와 Llama-3-8B 모델 사용.
5. LoRA 를 통한 LLM 파인튜닝:
   • Mistral 과 Llama-3 모델을 LoRA (Low-Rank Adaptation) 기법으로 파인튜닝하여 분류기 역할 수행.

5. 주요 결과 (Results)

• 최고 성능 모델: 파인튜닝된 Llama-3 모델이 전체 F1 점수 0.85를 기록하여 가장 우수한 성능을 보였습니다.
  • 단순 모티프/단순 표현: 0.90 F1
  • 복잡한 모티프/복잡한 표현: 0.73 F1
• 모델 비교:
  • 파인튜닝된 LLM: Mistral-FT (0.81), Llama-FT (0.85).
  • Few-shot (N-shot): Mistral (0.78), Llama (0.77).
  • Zero-shot: Llama (0.74), Mistral (0.61).
  • 임베딩 모델: 평균 F1 약 0.57~0.65 수준.
  • 검색 및 재순위화: 전체 F1 0.36 수준으로 가장 낮았으나, 초기 데이터 수집에 유용함.
• 복잡성 영향: 모든 모델에서 '개념적/표현적 복잡성'이 높을수록 성능이 저하되었습니다. 이는 모티프가 텍스트 내에서 은유적이거나 긴 문맥을 필요로 할 때 LLM 이도 어려움을 겪음을 보여줍니다.

6. 기여 및 의의 (Contributions & Significance)

1. 최초의 자동 모티프 색인화 시스템: 민속학 텍스트에 대한 자동 모티프 색인화 작업을 수행한 최초의 계산적 연구입니다.
2. 데이터 구축: 접근이 어려웠던 엘-샤미의 색인서와 현대 텍스트를 정렬하고, 2,670 개의 양적 예시와 5 만 개 이상의 문장을 포함한 대규모 주석 코퍼스를 구축했습니다.
3. 복잡성 분석 프레임워크: 모티프의 '개념적 복잡성'과 '표현 복잡성'을 분리하여 분석함으로써, 모델 성능 저하의 원인을 규명하고 향후 연구 방향을 제시했습니다.
4. LLM 의 가능성과 한계: 파인튜닝된 LLM 이 이 분야에서 매우 높은 성능 (F1 0.85) 을 보임을 입증했으나, Zero-shot 환경이나 복잡한 문맥 (다중 문장) 이 필요한 경우에는 여전히 한계가 있음을 확인했습니다.
5. 향후 연구 방향: 다중 문장 단위의 모티프 탐지, RAG(Retrieval-Augmented Generation) 활용, 그리고 더 많은 주석 데이터를 통한 모델 고도화의 필요성을 제시했습니다.

이 연구는 민속학 텍스트의 디지털 인문학 분석을 위한 강력한 기반을 마련했으며, 문화적 문맥을 이해하는 NLP 모델 개발에 중요한 통찰을 제공합니다.