When Semantic Overlap Is Not Enough: Cross-Lingual Euphemism Transfer Between Turkish and English

이 논문은 영어와 터키어 간의 교차 언어적 은유 (Euphemism) 감지에서 의미적 중첩 (Semantic Overlap) 이 전이 (Transfer) 성능을 보장하지 못한다는 점을 규명하고, 자원 불균형이 교차 언어적 일반화에 미치는 영향을 분석한 연구입니다. 주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 정의

• 문제: 은유 (Euphemism) 는 사회적 민감성을 완화하기 위해 사용되지만, 문화적·화용론적 (pragmatic) 맥락에 깊이 의존합니다. 이로 인해 다국어 언어 모델이 한 언어에서 학습한 은유 개념을 다른 언어로 전이하는 것은 매우 어렵습니다.
• 핵심 질문: 두 언어 간에 의미적·기능적 중첩이 있는 경우 (Overlapping) 와 없는 경우 (Non-Overlapping) 에 교차 언어 전이 성능에 어떤 차이가 발생하는가? 특히 저자원 언어 (터키어) 에서 고자원 언어 (영어) 로, 혹은 그 반대로 전이할 때 성능이 어떻게 달라지는가?
• 기존 연구의 한계: 기존 연구들은 다국어 은유 감지 자체에 초점을 두었으나, 의미 중첩 여부가 제로샷 (Zero-shot) 전이에 미치는 구체적인 영향을 체계적으로 분석한 연구는 부족했습니다.

2. 방법론 (Methodology)

• 데이터셋 구축 및 확장:
  • 기존 영어 및 터키어 '잠재적 은유어 (PETs, Potentially Euphemistic Terms)' 데이터셋을 기반으로, 터키어 데이터셋을 확장하여 두 언어 간 균형을 맞췄습니다.
  • OPETs (Overlapping PETs): 두 언어 간에 기능적·실용적·의미적 대응 관계가 있는 은유어 (예: 영어 pass away ↔ 터키어 vefat etmek, 모두 '사망'을 우회적으로 표현).
  • NOPETs (Non-Overlapping PETs): 소스 언어에는 은유적 표현이 존재하지만 타겟 언어에는 기능적 대응어가 없는 경우 (예: 영어 the birds and the bees는 터키어에 직접적인 대응 은유어가 없음).
  • 이 분류를 위해 상세한 주석 가이드라인을 적용하고, 주석자 간 일치도 (Cohen's Kappa = 0.96) 를 확보했습니다.
• 모델 및 실험 설정:
  • 모델: 100 개 언어로 사전 학습된 다국어 마스킹 언어 모델인 XLM-RoBERTa (XLM-R) 사용.
  • 실험 설계: 10 교차 검증 (10-fold cross-validation) 을 통해 각 하위 집합 (EN-OPET, EN-NOPET, TR-OPET, TR-NOPET) 에 대해 모델을 미세 조정 (Fine-tuning) 하고, 다른 언어/하위 집합에 대한 제로샷 전이 (Zero-shot transfer) 성능을 평가했습니다.
  • 비교 대상: 파인튜닝된 XLM-R 과 제로샷 프롬프팅을 사용한 GPT-4o를 비교 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 교차 언어 은유 데이터셋: 영어와 터키어 간의 중첩 (OPET) 및 비중첩 (NOPET) 하위 집합으로 명시적으로 분류된 최초의 교차 언어 은유 데이터셋을 공개했습니다.
2. 전이 비대칭성 (Transfer Asymmetry) 규명: 의미적 중첩이 있다고 해서 항상 긍정적인 전이가 일어나는 것은 아니며, 특히 저자원 언어 (터키어) 에서 고자원 언어 (영어) 로의 전이에서 성능이 급격히 저하되는 비대칭 현상을 발견했습니다.
3. 상세한 분석 가이드라인 및 리소스 공개: OPET/NOPET 분류를 위한 주석 가이드라인과 모든 실험 코드 및 데이터 분할을 공개했습니다.

4. 주요 결과 (Key Results)

• 전이 비대칭성:
  • 영어 → 터키어 (EN→TR): 도메인 전반에 걸쳐 강력한 전이 성능을 보였습니다 (예: 고용 분야 F1=0.90, 사망 분야 F1=0.86).
  • 터키어 → 영어 (TR→EN): 성능이 현저히 저하되었습니다. 특히 고용 (F1=0.36) 과 정치 (F1=0.18) 분야에서 큰 격차가 발생했습니다. 이는 영어 기반 모델이 터키어 학습 데이터의 특정 패턴을 학습하지 못했거나, 터키어에서 영어로 전이할 때 문화적 맥락의 부재가 더 크게 작용했음을 시사합니다.
• 의미 중첩의 한계:
  • OPET(중첩) 으로 학습한 모델이 NOPET(비중첩) 보다 항상 더 좋은 전이 성능을 보이는 것은 아닙니다.
  • EN→TR 방향: OPET 학습 모델이 NOPET 학습 모델보다 기준선 (Baseline) 대비 성능 저하가 적었습니다.
  • TR→EN 방향: OPET 학습 모델조차 기준선 (Frozen XLM-R) 보다 성능이 떨어지는 경우가 많았습니다. 이는 의미적 중첩이 있더라도, 저자원 언어에서 학습된 모델이 고자원 언어의 복잡한 문화적 뉘앙스를 포착하는 데 한계가 있음을 보여줍니다.
• 레이블 분포의 영향:
  • 터키어 NOPET 하위 집합은 은유적 인스턴스 비율이 높았으며, 이는 영어 학습 모델의 '은유적' 레이블 예측 편향과 맞아떨어져 특정 조건에서 성능이 높게 나타나는 왜곡된 결과를 초래하기도 했습니다.
• GPT-4o 비교:
  • GPT-4o 는 특정 레이블 분포에 편향되어 '은유적'이라고 과다 예측하는 경향이 있었습니다.
  • 파인튜닝된 XLM-R(2 억 7 천 8 백만 파라미터) 이 GPT-4o(거대 모델) 와 유사하거나 더 나은 성능을 보였으며, 이는 특정 작업에 대한 미세 조정이 제로샷 생성 모델보다 효과적일 수 있음을 시사합니다.

5. 의의 및 결론

• 의미적 중첩의 불충분성: 단순히 두 언어 간에 의미적 대응어가 있다는 사실만으로는 교차 언어적 일반화를 보장할 수 없음을 증명했습니다. 특히 문화적 맥락과 화용론적 차이가 전이 실패의 주요 원인입니다.
• 자원 불균형의 영향: 고자원 언어 (영어) 에서 저자원 언어 (터키어) 로의 전이는 상대적으로 잘 이루어지지만, 그 반대 방향에서는 문화적·언어적 장벽으로 인해 성능이 크게 저하됩니다.
• 실용적 함의: 온라인 콘텐츠 모니터링 및 혐오 발언 감지 시스템에서 다국어 은유를 처리할 때, 단순한 번역이나 의미 매칭만으로는 부족하며, 문화적 맥락을 고려한 모델 설계와 데이터 전략이 필요함을 강조합니다.

이 연구는 다국어 NLP 모델이 문화적으로 민감한 언어 현상을 어떻게 처리해야 하는지에 대한 중요한 통찰을 제공하며, 향후 저자원 언어 간의 교차 언어 학습 전략 수립에 기여할 것으로 기대됩니다.