Analyzing Language Bias Between French and English in Conventional Multilingual Sentiment Analysis Models

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 자연어 처리 (NLP) 분야는 급격히 발전했으나, 데이터 품질, 모델 설계, 언어 표현의 편향으로 인해 공정성 문제가 대두되고 있습니다. 특히 다국어 NLP 시스템은 영어에 비해 자원이 부족한 언어 (Low-resource languages) 에서 성능이 저하되거나 편향을 보일 수 있습니다.
• 문제: 기존 연구는 주로 트랜스포머 (Transformer) 기반의 대규모 모델에 집중되어 있으며, 전통적인 머신러닝 모델 (Naive Bayes, SVM) 에서 다국어 간 (특히 영어와 프랑스어) 의 언어 편향을 체계적으로 분석한 연구는 부족합니다. 또한, 데이터셋 내 언어별 균형이 맞춰져 있더라도 모델이 특정 언어를 선호하는지, 그리고 이를 공정성 지표로 어떻게 측정할 수 있는지에 대한 탐구가 필요합니다.
• 연구 목적: 영어와 프랑스어가 균형 있게 포함된 데이터셋을 사용하여 SVM 과 Naive Bayes 모델의 성능 차이를 분석하고, Fairlearn 도구를 활용하여 모델의 편향을 정량화하여 다국어 감정 분석의 공정성을 평가하는 것입니다.

2. 연구 방법론 (Methodology)

2.1 데이터셋 (Dataset)

• 소스: Prettenhofer 와 Stein 이 개발한 Webis-CLS-10 데이터셋 사용 (아마존 제품 리뷰).
• 범주: 음악 (Music), DVD, 책 (Books) 의 3 가지 카테고리.
• 레이블링: 3 점 미만은 부정 (Negative), 3 점 초과인 경우 긍정 (Positive) 으로 분류 (3 점은 제외).
• 데이터 균형화: 영어와 프랑스어 리뷰 수를 균등하게 맞추고, 긍정/부정 비율도 동일하게 조정하여 편향을 제거했습니다.
  • 최종 샘플 수: 음악 (31,880 건), DVD(18,716 건), 책 (65,740 건).

2.2 전처리 (Pre-processing)

• 도구: SpaCy 라이브러리 사용.
• 과정:
  • 소문자 변환 (Lowercasing).
  • 불용어 (Stop words) 제거.
  • 개체명 인식 (NER) 을 통한 고유명사 및 관련 없는 개체 제거.
  • 어간 추출 (Lemmatization): 단어를 기본형으로 변환하여 언어 복잡성 감소.
• 특성 추출: TF-IDF (Term Frequency-Inverse Document Frequency) 를 사용하여 텍스트를 벡터화했습니다.

2.3 모델 및 하이퍼파라미터 튜닝

• 모델: Support Vector Machine (SVM) 과 Naive Bayes 사용.
• 튜닝: Optuna 라이브러리를 사용하여 베이지안 최적화 (Bayesian Optimization) 를 수행했으나, 교차 검증 결과 기본 파라미터가 이미 최적에 가까워 기본값을 사용했습니다.
• 데이터 분할: 80% 학습, 20% 테스트 (Stratified sampling 적용).

2.4 공정성 평가 지표 (Fairness Metrics)

• 도구: Fairlearn 라이브러리 사용.
• 민감 속성 (Sensitive Feature): 언어 (영어 vs 프랑스어).
• 주요 지표:
  1. Demographic Parity Difference (DPD) & Ratio (DPR): 각 언어 그룹에서 긍정으로 분류된 비율의 차이. (0 또는 1 에 가까울수록 공정).
  2. Equalized Odds Difference (EOD) & Ratio (EOR): True Positive Rate(TPR) 와 False Positive Rate(FPR) 의 그룹 간 차이. (0 또는 1 에 가까울수록 공정).

3. 주요 결과 (Key Results)

3.1 모델 성능 (Performance)

• 일반적 경향: 두 모델 (SVM, Naive Bayes) 모두 프랑스어 데이터에서 영어 데이터보다 높은 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1 점수를 기록했습니다.
  • SVM 예시 (음악): 프랑스어 정확도 0.918 vs 영어 0.859.
  • Naive Bayes 예시 (음악): 프랑스어 정확도 0.889 vs 영어 0.838.
• 카테고리별 차이: 편향은 음악 리뷰에서 가장 두드러졌으며, DVD 와 책보다 공정성 지표가 낮았습니다.

3.2 공정성 평가 (Fairness Evaluation)

• SVM 모델:
  • DPR: 0.962 (음악), 0.990 (DVD), 0.985 (책) 로 상대적으로 공정한 분포를 보임.
  • EOR: 음악 (0.528) 에서 크게 떨어졌으나, DVD(0.877) 와 책 (0.814) 은 양호함. 이는 음악 리뷰에서 언어 간 예측 일관성이 낮음을 시사.
• Naive Bayes 모델:
  • DPR: 음악 (0.813) 에서 가장 낮아 편향이 큼.
  • EOR: 음악 (0.352) 에서 매우 낮아 프랑스어와 영어 간 예측 정확도 격차가 심함.
• 결론: SVM 은 Naive Bayes 보다 공정성 측면에서 더 나은 성능을 보였으나, 두 모델 모두 프랑스어에 유리한 편향을 가짐.

4. 논의 및 원인 분석 (Discussion)

• 음악 리뷰의 특수성: 음악 리뷰는 은어 (Slang) 와 관용구, 문화적 뉘앙스가 풍부합니다. 프랑스어 리뷰가 모델 학습 데이터에서 더 일관된 패턴을 보였거나, 영어 리뷰의 다양한 표현 방식이 모델의 일관된 감정 인식을 방해했을 가능성이 있습니다.
• 언어적 특성: 프랑스어 텍스트가 감정 표현에 있어 더 명확하거나 모호성이 적어 머신러닝 모델이 분류하기 쉬웠을 수 있습니다. 반면 영어는 맥락에 따라 의미가 달라지는 모호성이 더 많을 수 있습니다.
• 특성 공학의 영향: 전처리 과정 (Lemmatization 등) 이 프랑스어의 언어적 뉘앙스를 더 잘 포착했을 가능성이 있습니다.

5. 연구의 의의 및 기여 (Significance & Contributions)

1. 전통적 모델의 편향 규명: 딥러닝 모델이 아닌 전통적인 머신러닝 모델 (SVM, Naive Bayes) 에서도 다국어 간 편향이 존재함을实证적으로 증명했습니다.
2. 공정성 지표의 적용: Fairlearn 을 활용하여 다국어 NLP 모델의 편향을 정량적으로 측정하는 방법론을 제시했습니다.
3. 데이터 균형의 중요성: 데이터셋 내 언어 비율을 균형 있게 맞추더라도 (50:50), 모델이 특정 언어를 선호할 수 있음을 보여주어, 단순한 데이터 균형 이상의 전략적 개입이 필요함을 강조했습니다.
4. 도메인별 통찰: 음악과 같은 문화적/감정적 뉘앙스가 강한 도메인에서 언어 편향이 특히 심해질 수 있음을 발견했습니다.

6. 한계점 (Limitations)

• 모델 제한: SVM 과 Naive Bayes 만 사용했으므로 트랜스포머 기반 모델 등 최신 아키텍처의 편향 특성은 반영되지 않았습니다.
• 데이터 도메인: 음악, DVD, 책 리뷰로 한정되어 다른 텍스트 유형 (뉴스, 소셜 미디어 등) 에 대한 일반화에는 한계가 있습니다.
• 계산적 제약: 더 정교한 전처리나 GridSearchCV 와 같은 최적화 기법 적용에 제한이 있었습니다.
• 공정성 지표: Fairlearn 의 지표만 사용되어 NLP 의 모든 공정성 측면 (예: 문화적 편향, 톤 등) 을 포괄하지는 못했습니다.

7. 결론 (Conclusion)

이 연구는 다국어 NLP 시스템이 영어 중심의 편향을 넘어, 균형 잡힌 데이터셋에서도 특정 언어 (이 경우 프랑스어) 에 유리하게 작동할 수 있음을 보여주었습니다. 향후 다국어 NLP 시스템의 형평성을 확보하기 위해서는 단순한 데이터 양의 균형을 넘어, 언어별 특성 (문화적 뉘앙스, 표현 방식) 을 고려한 정교한 전처리와 모델 평가가 필수적임을 강조합니다.