Assessing the Political Fairness of Multilingual LLMs: A Case Study based on a 21-way Multiparallel EuroParl Dataset

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 정치적 편향성을 평가하는 기존 연구들은 주로 영어 기반의 시뮬레이션 설문조사에 의존해 왔습니다. 그러나 이러한 접근법은 다음과 같은 한계가 있습니다.

• 언어적 편향: 영어 중심의 평가는 다국어 LLM 의 실제 다국어 성능을 반영하지 못합니다.
• 프롬프트 민감성: 설문 문장의 미세한 변화에 따라 답변이 크게 달라지는 '프롬프트 취약성 (Brittleness)' 문제가 있습니다.
• 정치적 스펙트럼의 제한: 미국의 양당제 (진보 - 보수) 중심 평가는 유럽연합 (EU) 의 다차원적 이념적 스펙트럼 (예: 환경 - 권위주의, 도시 - 농촌 등) 을 포착하지 못합니다.

이에 저자들은 기계 번역 (Machine Translation) 품질의 편향을 새로운 평가 프레임워크로 제안합니다. 즉, "LLM 이 특정 정치적 성향 (정당) 을 가진 연설문을 번역할 때, 그 번역 품질이 체계적으로 달라지는가?"를 질문합니다.

2. 핵심 기여: 21-EuroParl 데이터셋 (Key Contribution: Dataset)

이 연구를 가능하게 한 가장 중요한 기여는 21-EuroParl이라는 새로운 다중 병렬 (Multiparallel) 데이터셋 구축입니다.

• 데이터 구성: 유럽의회 (EP) 의 회의록 (EuroParl) 을 기반으로 하며, 2009 년부터 2011 년까지의 3 년 치 데이터를 포함합니다.
• 규모: 총 72,234 개의 발화 (Speech) instance, 약 150 만 문장, 4 천만 단어, 24,800 만 자.
• 다국어 지원: 21 개 EU 공식 언어 (불가리아어, 체코어, 덴마크어, 독일어, 그리스어, 영어, 스페인어, 에스토니아어, 핀란드어, 프랑스어, 헝가리어, 이탈리아어, 리투아니아어, 라트비아어, 네덜란드어, 폴란드어, 포르투갈어, 루마니아어, 슬로바키아어, 슬로베니아어, 스웨덴어) 간에 **문장 단위 (Sentence-level)**로 정렬되어 있습니다.
• 메타데이터: 각 화자의 정치적 소속 (국가 정당, EU 정당, EU 위원회) 이 상세히 포함되어 있어, 번역 품질과 정치적 성향 간의 상관관계를 분석할 수 있습니다.
• 기존 데이터셋과의 차별성: 기존 EuroParl 이 이중 병렬 (Biparallel) 이거나 메타데이터가 불완전한 것과 달리, 21-EuroParl 은 21 개 언어 간 완전한 병렬 정렬과 풍부한 정치적 메타데이터를 제공합니다.

3. 방법론 (Methodology)

연구는 LLM 의 번역 품질이 화자의 정치적 성향에 따라 편향되는지 확인하기 위해 다음과 같은 방법을 사용했습니다.

• 실험 설정:

  • 모델: Gemma-3-4B, Qwen3 (4B/8B), Llama-3.1 (8B/70B) 등 다양한 크기와 계열의 5 가지 LLM 을 사용.
  • 작업: 21 개 언어 간 모든 가능한 방향 (21 × 20 = 420 개 언어 쌍) 에 대해 제로샷 (Zero-shot) 번역 수행.
  • 평가 지표: 번역 품질을 측정하기 위해 sBLEU (문장 단위 BLEU) 와 COMET (참고 문헌 기반 신경망 평가 지표) 사용.

• 편향 측정 기법: 보르다 카운트 (Borda Count)

  • 기존 번역 평가 지표 (BLEU, COMET) 는 언어 쌍마다 점수 범위가 달라 직접 비교가 어렵습니다. 이를 해결하기 위해 보르다 카운트 방식을 도입했습니다.
  • 각 언어 쌍에서 8 개 EU 정당 (EPP, S&D, ALDE 등) 을 번역 점수에 따라 순위 매깁니다.
  • 최하위 (0 점) 에서 최상위 (7 점) 까지 점수를 부여하고, 모든 언어 쌍에 대한 점수를 평균화하여 각 정당의 '공정성 점수'를 산출합니다.
  • 이 방식은 특정 언어의 절대적 번역 난이도보다는 정당 간 상대적 순위 차이에 초점을 맞춰 편향을 측정합니다.

4. 주요 결과 (Results)

실험 결과는 LLM 이 정치적 중립성을 유지하지 못하며, 특정 정당에 유리한 번역 품질을 보임을 시사합니다.

• 정치적 편향의 발견:

  • 주류 정당 우대: 중도 우파 (EPP), 중도 좌파 (S&D), 자유민주동맹 (ALDE) 등 주류 정당의 연설문이 가장 높은 번역 품질을 받았습니다.
  • 비주류 정당 불이익: 유럽연합좌파/북유럽녹색좌파 (NGL) 와 비연속 의원 (NA) 등 주변부 (Outsider) 정당의 연설문은 가장 낮은 번역 품질을 보였습니다.
  • 일관성: 이 편향은 모델의 크기 (8B vs 70B) 나 계열 (Llama, Qwen, Gemma) 에 관계없이 일관되게 나타났습니다. 특히 COMET 점수 기반 분석에서 편향이 더 뚜렷하게 드러났습니다.
  • 통계적 유의성: 크루스칼 - 월리스 (Kruskal-Wallis) 검정 결과, 대부분의 언어 쌍에서 번역 성능의 분산이 '정당' 변수에 의해 통계적으로 유의미하게 설명됨 (p < 0.01) 을 확인했습니다.

• 언어적 편향 (Language Fairness):

  • 영어 (en) 와 스페인어 (es) 가 가장 잘 번역되는 언어였으며, 에스토니아어 (et) 와 리투아니아어 (lt) 는 가장 번역 품질이 낮았습니다.
  • 특히 프랑스어 (fr) 와 독일어 (de) 는 유럽의회 내 특권적 지위에도 불구하고, 스페인어나 불가리아어 (bg), 루마니아어 (ro) 보다 낮은 순위를 기록했습니다.

• 혼란 변수 통제:

  • 연설의 주제 (Topic) 나 원어 (Original Language) 가 번역 품질에 영향을 미치지만, 정치적 정당성 (Party) 은 주제나 원어와 독립적인 효과를 가짐을 확인했습니다. 즉, 특정 정당의 번역 품질 저하는 단순히 그들이 다루는 주제가 어렵기 때문이 아니라 모델의 편향 때문입니다.

5. 의의 및 결론 (Significance)

• 새로운 평가 패러다임: LLM 의 정치적 편향을 '설문 조사'가 아닌 '실제 응용 작업 (번역)'의 공정성 관점에서 평가하는 새로운 프레임워크를 제시했습니다.
• 민주적 과정에 대한 경고: LLM 이 유럽의회와 같은 다국적 민주적 deliberation (의사소통) 과정에 활용될 때, 주류 정당에 유리하고 소수/비주류 정당을 불리하게 만드는 체계적 불공정이 발생할 수 있음을 경고합니다. 이는 정치적 대표성과 정보 접근성의 불평등으로 이어질 수 있습니다.
• 데이터셋의 공개성: 21-EuroParl 데이터셋과 코드, 번역 결과를 공개하여 향후 다국어 LLM 의 공정성 연구 및 다른 MT 알고리즘 평가에 기여할 수 있도록 했습니다.

요약하자면, 이 논문은 다국어 LLM 이 정치적 중립성을 유지하지 못하고, 주류 정치 세력에 유리하게 번역 품질을 차별화한다는 사실을 21 개 언어의 대규모 병렬 데이터와 정량적 분석을 통해 입증했습니다.