Do Political Opinions Transfer Between Western Languages? An Analysis of Unaligned and Aligned Multilingual LLMs

기술 요약: 정치적 견해는 서구 언어 간에 전이되는가?

문제 제기
여론 조사들은 사회-언어적 맥락에 따라 정치적 입장의 문화 간 차이를 일관되게 보여준다. 그러나 이러한 인간 수준의 차이가 다국어 대규모 언어 모델(MLLM)에서도 교차 언어적 차이로 나타나는지는 여전히 불분명하다. 기존 연구들이 영어 전용 LLM의 정치적 편향을 광범위하게 평가해 온 것과 달리, 다양한 서구 언어들 사이에서 MLLM이 보이는 동작은 아직 충분히 탐구되지 않았다. 본 연구의 핵심 질문은 MLLM이 지원하는 각 언어에 대해 서로 다른 사회-문화적 정치적 견해를 반영하는지, 아니면 사전 학습 및 정렬 데이터의 영어 지배력으로 인해 정치적 견해가 언어 간에 균일하게 전이되는지 여부이다.

저자들은 두 가지 상충하는 가설을 정의한다:

• H1 (견해 전이): 정치적 견해는 언어 간에 전이된다. 즉, 한 언어에서의 정렬(alignment)이 지원되는 모든 언어에 균일하게 영향을 미친다.
• H2 (별개의 견해): MLLM은 각 언어에 대해 별개의 정치적 견해를 유지하며, 이를 통해 사회-문화적 분화를 허용한다.

연구 방법론
본 연구는 5가지 서구 유럽 언어(영어, 독일어, 프랑스어, 스페인어, 이탈리아어)에 걸쳐 다양한 크기(1B에서 35B 파라미터 범위)의 15개 비정렬(unaligned) 지시 미세 조정(instruction-tuned) MLLM을 포함하는 2단계 실험 설계를 채택하였다.

1. 강건성 필터링 (RQ1):

   • 데이터: 저자들은 유럽 투표 자문 애플리케이션(VAA)에서 추출한 239개의 진술로 구성된 ProbVAA 데이터셋을 활용하였으며, 이는 알려진 좌/우 성향을 가진 8가지 정책 이슈(예: 환경 보호, 법과 질서)로 분류되어 있다.
   • 강건성 검사: 모델의 신뢰성을 확보하기 위해, 저자들은 패러프레이징, 부정, 답변 반전, 템플릿 문구 변경을 포함한 프롬프트 변형에 대한 일관성을 테스트하는 강건성 프레임워크(Ceron et al., 2024 변형)를 적용하였다. 이러한 테스트 중 최소 50%를 통과한 모델들(Phi3.5-3B, Llama3.1-8B, Aya23-8B, Mixtral8x7B, CommandR-35B, GPT3.5-turbo, 총 6개 모델)만이 교차 언어 분석 대상으로 선정되었다.
   • 분석: 베타 회귀 모델을 사용하여 언어와 모델이 정치적 입장에 미치는 영향을 정량화하였으며, 영어를 참조 언어로 설정하였다. 비모수적 Kruskal-Wallis 검정을 통해 언어 간 유의미한 차이를 평가하였다.

2. 정치적 정렬 및 전이 (RQ2):

   • 정렬 전략: 두 개의 강건한 모델(Phi3.5-3B 및 Llama3.1-8B)을 **직접 선호 최적화(DPO)**를 사용하여 더 좌편향되거나 우편향된 견해를 보이도록 정렬하였다.
   • 데이터 소스: 정렬 데이터셋은 Manifesto Project (MARPOR) 코퍼스를 활용하여 구축되었으며, 특히 영어로 작성된 정당 선언문을 필터링하였다. 두 가지 주석(annotation) 접근 방식이 사용되었다:
     • RiLe 접근법: MARPOR 코드를 기반으로 한 기존의 좌/우 점수를 사용함.
     • 정책 이슈 접근법: 8가지 대상 정책 이슈에 대한 찬성/반대 여부를 기준으로 선언문 문장을 주석 처리함.
   • 평의: 정렬된 모델들을 5개 언어 모두에서 ProbVAA 데이터셋으로 재평가하였다. 또한, 모델이 4가지 정책 이슈에 대해 의견이 담긴 요약을 생성하도록 하는 개방형 평가 과제를 수행하였으며, 별도의 LLM(Llama-3.1-70B-Instruct)을 통해 입장을 탐지하였다.

주요 결과

• RQ1: 비정렬 모델:

  • 강건성: 대부분의 언어에서 유사한 강건성 수준을 보였으며, 이는 비영어권 언어의 정치적 견해가 단순히 낮은 생성 품질으로 인한 산물이 아니라 안정적임을 시사한다.
  • 교차 언어적 차이: 회귀 분석 결과, 영어와 기타 서구 언어 간의 전반적인 정치적 입장에는 유의미한 차이가 없었다. 특정 정책 이슈(예: 독일어, 스페인어, 이탈리아어는 영어보다 환경 보호에 대해 약간 더 강한 지지를 보임)에서는 작지만 통계적으로 유의미한 차이가 나타났으나, 이는 전반적으로 체계적인 현상은 아니었다.
  • 모델 변동성: 모델 간에는 유의미한 차이가 발견되었으나(예: Mixtral8x7B가 가장 좌편향됨), 동일 모델 내에서 언어 간의 체계적인 차이는 발견되지 않았다.

• RQ2: 정렬된 모델:

  • 균일한 변화: 모델을 영어 전용 데이터로 정렬했을 때, 그 결과로 나타난 정치적 변화는 다섯 가지 언어 모두에서 거의 균일하게 발생했다.
  • H1의 검증: 정렬된 모델들은 독일어, 프랑스어, 스페인어, 이탈리아어에서 영어의 변화를 그대로 반영하며 목표 이데올로기(좌측 또는 우측)를 향해 일관되게 이동하였다. 이는 영어로 MLLM을 정렬하는 것이 다른 서구 언어들로 해당 정렬을 효과적으로 전이시킨다는 것을 확인시켜 준다.
  • 개방형 평가를 통한 확인: 개방형 평가는 이러한 결과를 뒷받침하였으며, 생성된 텍스트의 "좌파 점수(Left Score)"가 정렬 방향에 따라 언어 전반에 걸쳐 일관되게 변화함을 보여주었다.

주요 기여

1. 강건한 교차 언어 평가: 본 논문은 5가지 서서구 언어에 걸쳐 여러 비정렬 MLLM의 정치적 견해를 강건성 인지적 관점에서 상세히 평가하고, 일관된 입장을 제공하지 못하는 모델들을 필터링하는 방법을 제시한다.
2. 정렬 전이 분석: 영어 중심의 정렬 데이터가 모델의 전체 다국어 능력에 어떻게 균일한 이데올로기적 변화를 유도하는지 분석함으로써, 영어 정렬이 어떻게 다른 언어로 전파되는지에 대한 철저한 분석을 제공한다.
3. 방법론적 통찰: MLLM 내부의 표현이 영어에 의해 지배되는 경 경향이 있어, 개별 언어에 대한 독자적인 사회-언어적 또는 문화적 정렬을 달성하는 것이 어렵다는 점을 강조하며 "제1 언어(first language)" 효과를 부각한다. 이는 한 언어에서의 정렬이 다른 언어에서의 행동을 결정한다는 것을 의미한다.

의의 및 주장
저자들은 서구 언어 맥락에서 MLLM 내의 정치적 견해는 언어 간에 전이된다고 결론짓는다. 이 결과는 MLLM이 지원하는 각 언어에 대해 별개의 사회-문화적 정치적 뉘앙스를 쉽게 표현할 수 있다는 가정에 도전한다.

본 연구의 의의는 근본적인 방법론적 제약을 식별하는 데 있다. 즉, 개별 언어를 위해 독립적으로 정렬 데이터셋을 만드는 것은 MLLM 내에서 언어들이 상호 의존적이기 때문에 불충분하다는 것이다. 결과적으로, 지역적 차이를 존중하는 명시적인 사회-언어적, 문화적, 정치적 정렬을 달성하는 것은 본질적으로 어렵다. 본 논문은 다양한 사회-언어적 맥락에서 MLLM을 정치적 과업에 배치할 때, 미래의 연구는 이러한 교차 언어적 상호작용 효과를 반드시 고려해야 한다고 제언한다. 저자들은 구체적인 인과 기제에 대해서는 조심스러운 입장을 취하며, 전이는 분명히 나타나지만 이를 주도하는 구체적인 구조적 또는 훈련 역학(예: 사전 학습에서의 영어 지배력 vs. 사후 학습에서의 정렬)에 대해서는 추가적인 연구가 필요하다고 언급하였다.