Large Language Models are Perplexed by some Political Parties

기술 요약: 대규모 언어 모델은 특정 정당에 대해 당혹감을 느낀다

문제 정의
대규모 언어 모델(LLM)이 정치적 애플리케이션에 점점 더 많이 배치되고 있지만, 이들의 정치적 공정성은 아직 충분히 연구되지 않았습니다. 기존 문헌은 주로 설문 조사 방식(예: 모델에게 정치적 컴퍼스 질문에 답하도록 요청)을 사용하여 지시 미세 조정(Instruction-Tuned, IT)된 LLM의 "정치적 편향"을 평가합니다. 이러한 방법은 프롬프트 구절의 표현에 따라 취약해질 수 있으며, 베이스(base) LLM에는 일반적으로 적용할 수 없습니다. 또한, 번역 공정성에 관한 선행 연구(Lerner and Yvon, 2025)는 번역 품질이 화자의 정치적 성향에 따라 달라질 수 있음을 시사하지만, 이는 병렬 코퍼스 및 다운스트림 메트릭에 의존합니다. 저자들은 공정한 모델이라면 텍스트의 정당 내용과 관계없이 동일한 확률(perplexitity, 혼란도)을 할당해야 한다고 가정하지만, 베이스 LLM이 다양한 정치 집단과 언어에 걸쳐 사전 학습 분포에서 체계적인 불공정성을 보이는지는 알려진 바 없습니다.

방법론
저자들은 단일 언어 코퍼스에 대한 혼란도(perplexity, 그리고 NLL, BPC, BPEC와 같은 정보 이론적 메트릭)를 사용하여 정치적 공정성을 평가하는 방법을 제안합니다. 핵심 가설은 공정한 모델은 모든 정치 집단의 텍스트에 대해 동일한 혼란도를 보여야 한다는 것입니다.

• 데이터셋: 본 연구는 37개 언어를 다루는 세 가지 데이터셋을 활용합니다:
  1. Manifesto: 정당 강령 (2018년~현재).
  2. Parlamint: 국가 의회 토론 (2022년~현재).
  3. 21-EuroParl: 21개 언어에 대해 문장 단위로 정렬된 유럽 의회 회의록의 다중 병렬 코퍼스 (2009년~2011년).
• 모델: 실험은 세 가지 제품군(Gemma-3, Qwen3, Llama-3.1)의 두 가지 크기(4B/8B 및 8B/70B)에 걸친 10개의 LLM을 대상으로 하며, 베이스 LLM과 그에 대응하는 지시 미세 조정(IT-LLM) 모델을 모두 평가합니다.
• 메트릭 및 분석:
  • 공정성 평가: 저자들은 정당별로 계층화된 텍스트에 대해 혼란도(PPL), BPC, BPEC를 계산합니다. 정당에 따라 혼란도가 유의미하게 변하는지 결정하기 위해 크루스칼-월리스 분석(비모수적 ANOVA)을 사용합니다.
  • 집계: 교차 언어 비교를 위해, 혼란도 점수를 바탕으로 정당 또는 정치적 성향(예: 사회 민주주의 대 민족주의)의 순위를 매기는 보르다 투표법(Borda count) 집계를 사용합니다.
  • 상관관계: 사전 학습의 공정성과 다운스트림 성능을 연결하기 위해, 베이스 LLM의 혼란도와 해당 IT-LLM의 다운스트림 번역 메트릭(sBLEU 및 COMET) 사이의 스피어먼 상관계수를 계산합니다.

주요 결과

1. 사전 학습에서의 체계적 불공정성: 37개 언어를 다루는 10개의 LLM과 데이터셋 전반에 걸쳐, LLM은 사회 민주주의 정당에 비해 극우 및 민족주의 정당의 텍스트에 대해 일관되게 더 높은 혼란도를 보입니다.
   • 포르투갈 사례 연구에서, 급진 좌파와 극우 정당은 가장 높은(최악의) NLL을 기록한 반면, 좌파 사회당은 가장 낮은(최상의) NLL을 기록했습니다.
   • Manifesto 데이터셋의 10개 언어에 걸쳐 집계했을 때, 민족주의/급진 우파 정당은 일관되게 최악의 보르다 점수(가장 낮은 순위)를 받았고, 사회 민주주의 정당은 가장 좋은 점수를 받았습니다.
2. 지시 미세 조정(Instruction-Tuning)의 영향: 베이스 LLM에서 관찰된 정치적 불공정성은 그에 대응하는 지시 미세 조정 모델의 불공정성과 매우 높은 상관관계($r \approx 0.99$)를 보입니다. 본 연구는 지시 미세 조정이 사전 학습 중에 확립된 근본적인 정치적 공정성을 유의미하게 변화시키지 않는다는 것을 발견했습니다.
3. 다운스트림 번역과의 상관관계: 베이스 LLM의 정당 텍스트에 대한 혼란도와 해당 텍스트를 생성하는 IT-LLM의 번역 품질(sBLEU/COMET) 사이에는 강한 음의 상관관계가 존재합니다.
   • 혼란도가 높은(모델이 할당한 확률이 낮은) 정당일수록 낮은 번역 점수를 받습니다.
   • 이 상관관계는 비조건부 혼란도(소스 텍스트 문맥 없이)에서도 유지되며, 이는 특정 정치 집단의 언어를 모델링하는 모델의 내재적 어려움이 나중에 해당 언어를 생성하거나 번역하는 능력에 직접적인 영향을 미친다는 것을 시사합니다.

핵심 기여

• 혼생도(Perplexity)를 활용한 공정성 메트릭: 본 논문은 참조 번역이나 설문 프롬프트 없이도 베이스 및 지시 미세 조정 모델 모두에 적용 가능한, 평이한 단일 언어 코퍼스를 통한 혼란도를 사용하여 정치적 공정성을 평가하는 방법을 도입합니다.
• 편향의 기원으로서의 사전 학습: 저자들은 정치적 공정성 문제가 주로 사전 학습 단계에서 발생함을 입증했습니다. 베이스 LLM과 그 IT 대응 모델이 거의 동일한 공정성 프로필을 보이기 때문입니다.
• 다국어 일관성: 이 결과는 37개 언어와 420개 언어 쌍에 걸쳐 유지되며, 이는 정치적 특징이 특정 언어의 하위 공간에 국한된 것이 아니라 단일 모델 내에서 공유되는 특성임을 시사합니다.
• 다운스트림 성능 예측: 본 연구는 베이스 모델의 혼란도가 다운스트림 번역 공정성을 예측할 수 있음을 입증하며, 병렬 데이터 없이도 번역 편향을 추정할 수 있는 방법을 제공합니다.

의의 및 주장
본 논문은 LLM의 정치적 공정성이 완만한 좌-우 스펙트럼이 아니라, 특정 집단(특히 극우 및 민족주의 정당)이 사회 민주주의 정당에 비해 겪는 구체적인 불이익이라고 주장합니다. 저자들은 이러한 편향이 사전 학습에서 기인하기 때문에, 표준적인 지시 미세 조정 정렬 방법으로는 이를 수정하기에 불충분하다고 주장합니다. 따라서 본 연구는 다음을 촉구합니다:

• 대안적인 사후 학습 정렬 방법.
• 공정한 사전 학습 방법의 설계.
• LLM을 민감한 정치적 애플리케이션에 통합하는 것에 대한 폭넓은 성찰.

이 연구는 모델의 생성된 답변에 집중하는 기존의 설문 기반 문헌과 달리, 모델의 내재적 확률 분포에 초점을 맞춤으로써 "정치적 편향"이 모델의 훈련 분포의 근본적인 속성이라는 증거를 제시합니다.