Variation is the Norm: Embracing Sociolinguistics in NLP

1. 문제 제기 (Problem)

자연어 처리 (NLP) 분야에서 언어의 **변이 (Variation)**는 종종 처리를 방해하는 '노이즈'로 간주되어, 표준화된 형태로 정규화 (Normalisation) 되거나 제거되는 경향이 있습니다. 그러나 사회언어학 (Sociolinguistics) 에서는 변이가 언어의 본질적 특성이며, 사회적 의미 (정체성, 계층, 지역성 등) 를 구성하는 핵심 요소로 봅니다.

• 현재의 한계: NLP 모델은 주로 표준어 데이터로 학습되므로, 비표준적인 철학이나 방언을 가진 데이터에 대해 성능이 급격히 저하되거나 사회적 맥락이 소실됩니다.
• 핵심 문제: NLP 연구 설정에 사회언어학적 통찰이 부재하여, 언어 다양성을 반영하지 못하고 모델의 견고성 (Robustness) 이 떨어집니다.

2. 방법론 (Methodology)

저자들은 NLP 의 기술적 측면과 사회언어학적 측면을 통합한 새로운 프레임워크를 제안하고, 이를 룩셈부르크어 (Luxembourgish) 를 사례 연구 (Case Study) 로 검증했습니다.

A. 사회언어학 - NLP 통합 프레임워크

이 프레임워크는 언어 변이를 체계적으로 분석하기 위해 두 가지 차원을 결합합니다.

1. 사회언어학적 차원: 언어 변이를 정의하기 위한 9 가지 기준을 제시합니다.
   • 예시: 제도적 지원 (Institutional support), 구조적 독립성 (Structural independence), 표준화 정도 (Degree of codification), 사용 영역 (Domain specificity), 교육적 맥락, 화자 범위, 태도 및 이데올로기 등.
   • 이를 통해 '언어 (Language)'와 '방언/변이 (Variety)'를 구분하고, 데이터셋의 사회적 맥락을 파악합니다.
2. 기술적 차원 (NLP 파이프라인 5 단계): 변이가 영향을 미치는 NLP 단계를 식별합니다.
   • 데이터: 데이터의 품질, 라벨링 오류, 변이의 양 파악.
   • 전처리: 유니코드 정규화, 철자 정규화 (정규화가 사회적 신호를 제거할 수 있음).
   • 모델링: 토크나이저의 민감도, 사전 학습 전략 (다국어/방언 데이터 혼합), 파인튜닝 전략.
   • 평가: 비표준 변이에 대한 평가 지표의 부재 문제.
   • 사용 및 안전: 사용자 선호도 및 저자원 언어의 보안 문제 (재일킹 등).

B. 사례 연구: 룩셈부르크어 실험

룩셈부르크어는 철자 변이가 매우 심한 언어로, 이를 통해 프레임워크의 유효성을 검증했습니다.

• 데이터 조작:
  • Standard (표준): 공식 철자 규칙에 따른 데이터.
  • Non-standard (비표준): 실제 사용자의 철자 변이를 반영한 데이터 (Destandardisation 알고리즘 사용).
  • Combined (혼합): 표준과 비표준 데이터를 모두 포함한 데이터.
• 모델: 룩셈부르크어 전용 모델 (LuxemBERT) 과 다국어 모델 (mBERT) 사용.
• 작업 (Tasks): 8 가지 분류 작업 (의도 분류, WNLI, 품사 태깅, NER, 감성 분석, 주제 분류, 댓글 moderation 등) 에 대해 파인튜닝 및 평가 수행.
• 실험 설계: 각 모델 (std, n-std, comb) 을 3 가지 데이터 유형 (std, n-std, comb) 으로 학습시키고, 3 가지 테스트 데이터로 평가하여 성능을 비교했습니다.

3. 주요 기여 (Key Contributions)

1. 사회언어학적 NLP 프레임워크 제안: NLP 연구 설계 단계에서 언어 변이의 사회적 기능과 구조적 특성을 체계적으로 고려할 수 있는 가이드라인을 제공했습니다.
2. 변이 수용의 중요성 입증: 변이를 '노이즈'가 아닌 '학습 자료'로 포함해야 함을 이론적으로 및 실증적으로 증명했습니다.
3. 룩셈부르크어 NLP 벤치마크: 철자 변이가 심한 룩셈부르크어에 대한 다양한 NLP 작업의 성능과 변이의 영향을 상세히 분석한 데이터와 결과를 공개했습니다.
4. 실용적 해결책 제시: 표준 데이터만 사용하는 것보다 **표준과 비표준 데이터를 혼합하여 학습 (Combined Fine-tuning)**하는 것이 모델의 전반적인 성능과 견고성을 향상시킨다는 구체적인 전략을 제시했습니다.

4. 실험 결과 (Results)

• 비표준 데이터 학습의 한계: 비표준 데이터 (n-std) 만으로 학습된 모델은 표준 테스트 데이터에서도, 비표준 테스트 데이터에서도 가장 낮은 성능을 보였습니다. 이는 변이가 너무 많고 체계적이지 않을 때 모델이 학습에 어려움을 겪음을 시사합니다.
• 혼합 학습 (Combined) 의 효과:
  • 가장 우수한 성능: 표준과 비표준 데이터를 모두 포함한 데이터로 학습된 모델 (Combined) 이 거의 모든 작업에서 가장 높은 성능 (Weighted F1) 을 기록했습니다.
  • 범용성 향상: 혼합 학습은 비표준 데이터에 대한 성능뿐만 아니라, 표준 데이터에 대한 성능까지도 향상시켰습니다. 이는 룩셈부르크어처럼 표준화되지 않은 언어에서도 변이를 포함한 학습이 모델의 일반화 능력을 높인다는 것을 의미합니다.
• 정규화 (Normalisation) 의 비효율성: 비표준 데이터를 표준으로 변환 (정규화) 하는 과정은 오히려 성능 향상에 큰 도움을 주지 못했습니다. 이는 정규화 과정에서 중요한 사회적 신호가 손실되거나, 변환 과정이 완벽하지 않기 때문입니다.
• 모델 비교: 룩셈부르크어 전용 모델 (LuxemBERT) 이 다국어 모델 (mBERT) 보다 전반적으로 우수한 성능을 보였으나, 변이를 포함한 학습 전략은 두 모델 모두에 긍정적 영향을 미쳤습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: NLP 에서 변이는 제거해야 할 '노이즈'가 아니라, 모델이 언어의 사회적 다양성을 이해하고 견고하게 작동하기 위해 반드시 포함해야 할 '규범 (Norm)'임을 강조합니다.
• 포용적 NLP 개발: 저자원 언어 (Low-resource languages) 나 방언, 비표준 변이를 가진 언어를 다루는 NLP 시스템의 성능과 공정성을 높이는 데 기여합니다.
• 실무 적용 가능성: 이 프레임워크는 룩셈부르크어뿐만 아니라 모든 언어에 적용 가능하며, 데이터셋에 '사회언어학적 카드 (Sociolinguistic Card)'를 부착하여 데이터의 특성과 변이 수준을 명시하는 등의 실용적인 가이드로 활용될 수 있습니다.

결론적으로, 이 논문은 NLP 모델의 성능을 극대화하고 언어 다양성을 존중하기 위해서는 기술적 접근과 사회언어학적 통찰을 결합하여 변이를 학습 과정에 적극적으로 수용해야 함을 강력히 주장합니다.