Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders

1. 연구 배경 및 문제 정의 (Problem)

• 코드혼합 (Code-Mixing) 의 중요성: 다국어 사회에서 화자들은 단일 문장 내에서 두 개 이상의 언어를 섞어 사용하는 현상 (예: 힌디어 - 영어 혼합인 'HINGlish') 이 매우 흔합니다.
• 현재의 한계: 다국어 인코더 기반 언어 모델 (MLMs, 예: mBERT, XLM-R) 은 코드혼합 텍스트 분석에 널리 사용되지만, 내부적으로 코드혼합 입력을 어떻게 표현하는지, 그리고 그 표현이 구성 언어 (Constituent Languages) 들과 어떻게 연결되는지에 대한 이해는 매우 부족합니다.
• 핵심 질문: 다국어 모델이 단일 언어 (영어, 힌디어) 간에는 잘 정렬 (Alignment) 되어 있음에도 불구하고, 왜 코드혼합 텍스트는 이러한 언어들 사이에서 제대로 연결되지 않거나 (loosely connected), 특정 언어 (주로 영어) 에 편향되어 표현되는지 그 메커니즘을 규명하는 것이 본 연구의 목적입니다.

2. 방법론 (Methodology)

A. 데이터 구축 (Trilingual Corpus Construction)

• 기존 리소스 (CM-En Parallel, PHINC, LinCE 2021) 를 통합하여 3 언어 병렬 코퍼스를 구축했습니다.
• 각 인스턴스는 다음 세 가지 형태로 구성됩니다:
  1. CM (Code-Mixed): 로마자 (Roman script) 로 표기된 힌디어 - 영어 혼합 텍스트.
  2. EN (English): 단일 영어 문장.
  3. HI (Hindi): 데바나가리 (Devanagari) 문자로 표기된 단일 힌디어 문장.
• 총 21,139 개의 정렬된 문장 삼중체 (Triples) 로 구성되었으며, 번역 일관성을 검증하기 위해 Google Translate API 와 IndicTrans2 모델을 활용했습니다.

B. 분석 도구 및 실험 설계

• 모델: 범용 다국어 인코더 (mBERT, XLM-R) 와 코드혼합 데이터로 추가 학습 (Continued Pre-training) 된 변형 모델 (Hing-mBERT, Hing-RoBERTa 등) 을 비교 분석했습니다.
• 정렬 평가 (Alignment Evaluation):
  • CKA (Centered Kernel Alignment): 레이어별 표현 공간의 유사성을 측정하여 교차 언어 정렬이 어떻게 진화하는지 분석.
  • Retrieval Accuracy: 점곱 (Dot Product) 기반 병렬 문장 검색 정확도를 통해 언어 간 표현의 일관성 평가.
  • Entropy-based Uncertainty: 단일 언어 신호 (영어, 힌디어) 가 코드혼합 표현의 불확실성을 얼마나 줄이는지 분석.
  • Token-level Saliency: 모델이 코드혼합 입력 처리 시 영어 토큰과 힌디어 토큰 중 어느 것에 더 의존하는지 분석.

C. 제안된 방법: 3 언어 후학습 정렬 (Trilingual Post-Training Alignment)

• 목적: 코드혼합 표현이 구성 언어 (영어, 힌디어) 모두와 강하게 연결되도록 유도.
• 손실 함수 (Loss Function): 기존 MLM 손실 (L_base) 에 3 언어 정렬 손실 (L_align) 을 추가합니다.
  • L_align 은 영어, 힌디어, 코드혼합 문장의 [CLS] 임베딩 쌍 (EN-HI, EN-CM, HI-CM) 간의 코사인 거리를 최소화하여, 병렬 문장들이 임베딩 공간에서 서로 가까운 영역을 차지하도록 강제합니다.
• 평가 지표: CLAS (Cross-Lingual Alignment Score) 를 제안하여 방향성 편향 (Directional Bias) 과 설정 간 편차를 고려한 균형 잡힌 정렬 정도를 측정합니다.

3. 주요 결과 및 발견 (Key Findings & Results)

A. 기존 모델의 표현 역학

1. 약한 앵커링 (Weak Anchoring): 표준 다국어 모델은 영어와 힌디어 간 정렬은 잘 되지만, 코드혼합 (CM) 표현은 두 언어 모두와 약하게 연결되어 있습니다.
2. 트레이드오프 (Trade-off): 코드혼합 데이터로 추가 학습 (Adaptation) 을 수행하면 영어-CM 정렬은 향상되지만, 기존에 잘 정렬되었던 영어 - 힌디어 정렬은 악화됩니다. 이는 모델이 영어 표현을 코드혼합 매니폴드 쪽으로 끌어당기기 때문입니다.
3. 스크립트 의존성: 데바나가리 문자로 된 힌디어를 유지할 때 CM-HI 정렬이 향상되지만, 로마자로 변환된 힌디어는 정렬이 저하됩니다. 이는 스크립트 수준의 특징이 표현 기하학에 영향을 미친다는 것을 시사합니다.
4. 영어 중심 해석: 모델은 코드혼합 텍스트를 영어 중심의 의미 공간으로 해석하는 경향이 강합니다. 그러나 데바나가리 힌디어는 불확실성을 줄이는 보조 신호 (Complementary Signals) 역할을 합니다.

B. 제안된 방법의 효과

1. 균형 잡힌 정렬: 제안한 3 언어 후학습 정렬을 적용하면, EN-CM 정렬 향상과 동시에 EN-HI 정렬 저하를 막아 균형 잡힌 교차 언어 정렬을 달성했습니다.
2. CLAS 점수 향상: mBERT 의 경우 CLAS 점수가 14.20 에서 50.97 로 크게 향상되었으며, 방향성 편향이 크게 감소했습니다.
3. 하류 작업 성능 향상:
   • 감정 분석 (Sentiment Analysis) 및 혐오 발언 탐지 (Hate Speech Detection) 작업에서, 정렬된 모델은 다양한 언어 (CM, EN, HI) 입력에 대해 더 일관된 예측 성능을 보여주었습니다.
   • 특히 힌디어로 미세 조정 (Fine-tuning) 할 때 정렬된 모델의 성능 향상 폭이 컸습니다.

4. 주요 기여 (Contributions)

1. 체계적인 분석 코퍼스 구축: 영어, 데바나가리 힌디어, 로마자 코드혼합 텍스트로 구성된 대규모 병렬 3 언어 코퍼스를 구축하여 체계적인 분석을 가능하게 함.
2. 메커니즘 해석 (Interpretability): CKA, 토큰 중요도, 엔트로피 분석 등을 통해 다국어 모델이 코드혼합 텍스트를 처리하는 내부 역학을 규명함 (영어 중심 해석 + 힌디어의 보조 신호 역할).
3. 새로운 정렬 전략 제안: 3 언어 병렬 지도 학습을 통해 코드혼합 표현을 구성 언어와 동시에 정렬시키는 간단한 yet 효과적인 후학습 단계를 제안.
4. 새로운 평가 지표: 교차 언어 정렬의 균형을 측정하는 CLAS (Cross-Lingual Alignment Score) 를 제안.
5. 실용적 검증: 제안된 방법이 하류 작업 (감정 분석, 혐오 발언 탐지) 에서 교차 언어 일관성과 성능을 동시에 개선함을 입증.

5. 의의 및 결론 (Significance)

이 연구는 다국어 언어 모델이 코드혼합 텍스트를 처리할 때 발생하는 표현의 불균형 (Asymmetry) 과 앵커링 문제를 최초로 체계적으로 규명했습니다. 특히, 코드혼합 적응 (Adaptation) 이 기존 단일 언어 간 정렬을 해칠 수 있다는 트레이드오프를 발견하고, 이를 해결하기 위해 구성 언어 (Constituent Languages) 에 기반한 정렬이 필수적임을 증명했습니다.

결론적으로, 코드혼합 텍스트의 표현을 단순히 하나의 언어로만 접근하는 것이 아니라, 그 구성 언어들과의 의미적 연결을 강화하는 것이 다국어 이해와 하류 작업의 성능을 향상시키는 핵심임을 보여주었습니다. 이는 저자원 다국어 환경에서의 NLP 모델 개발 및 코드혼합 텍스트 처리를 위한 중요한 지침을 제공합니다.