Beyond Partisan Leaning: A Comparative Analysis of Political Bias in Large Language Models

1. 연구 배경 및 문제 제기 (Problem)

대규모 언어 모델 (LLM) 이 시민, 교육, 정치 정보 환경에 깊이 통합됨에 따라 그 출력물의 정치적 편향성에 대한 우려가 커지고 있습니다. 기존 연구들은 주로 다음과 같은 한계를 가집니다:

• 단일 축 편향 평가: 정치적 편향을 단순히 '리버럴 - 보수' 또는 '민주당 - 공화당'의 단일 축으로만 평가하여 복잡한 현실 정치 담론을 포착하지 못함.
• 가상 페르소나 (Persona) 의존: 모델이 특정 이념적 역할을 수행하도록 시뮬레이션하는 방식은 인위적인 프레이밍 효과를 유발하고, 실제 사용자가 모델을 사용하는 일반적인 상황 (이념적 역할극 없이) 과 괴리가 있음.
• 지리적 편향: 대부분의 평가가 미국산 모델에 국한되어 있어, 중국, 유럽, 중동 등 다양한 지정학적 맥락에서 개발된 모델들의 편향 특성을 간과함.

이 연구는 페르소나 없는 (persona-free), 주제별 (topic-specific) 접근법을 통해 LLM 의 실제 정치적 행동을 평가하고, 지정학적 맥락과 기술적 특성이 편향에 미치는 영향을 규명하는 것을 목표로 합니다.

2. 연구 방법론 (Methodology)

2.1 데이터 및 모델 선정

• 모델 샘플: 미국, 유럽, 중국, 중동에서 개발된 43 개의 LLM(19 개 모델 패밀리) 을 선정.
  • 개방형 (Open-source) 30 개, 폐쇄형 (Closed-source) 13 개.
  • 파라미터 규모: 2B 에서 176B 까지 다양하게 포함.
  • 출시 시기: 2023 년 4 월 ~ 2024 년 9 월.
• 질문 도구: 미국 국민 선거 연구 (ANES 2024) 와 퓨 리서치 센터 (Pew Research Center) 의 설문을 기반으로 한 9 가지 정치 주제를 선정.
  • 고도 분극화 주제 (Highly Polarized): 대통령 선거, 이민, 낙태, 이슈 소유권 등.
  • 저도 분극화 주제 (Less Polarized): 외교 정책, 차별, 기후 변화, 오정보, 가장 중요한 문제 (MIP) 등.

2.2 프롬프트 전략

• 페르소나 없는 접근: 사용자가 실제로 LLM 과 상호작용하는 방식 (중립적 에이전트) 을 모방하여, 특정 이념적 역할을 부여하지 않고 직접 설문 형식의 질문을 입력.
• 이중 프롬프트 방식:
  1. 주 프롬프트 (Primary Prompt): 표준화된 설문 형식.
  2. 재프랙 (Jailbreak) 프롬프트: 정치적 민감성으로 인한 거절 (Refusal) 을 우회하기 위해 'STAN' 역할을 부여하는 프롬프트를 백업으로 사용 (주 프롬프트가 실패할 경우 적용).
• 통제 변수: 답변 순서 무작위화, 온도 (Temperature) 설정 1.0 고정, 모델의 기본 설정 유지.

2.3 분석 지표

1. 엔트로피 가중 편향 점수 (Entropy-Weighted Bias Score):
   • 고도 분극화 주제에 대한 응답을 '민주당 지지', '공화당 지지', '중립'으로 재코딩.
   • 방향성 점수 (Directional Bias): -1(공화당) 에서 +1(민주당) 사이의 편향 방향 계산.
   • 일관성 보정: 응답의 무작위성 (엔트로피) 을 고려하여 편향 점수를 가중치 처리. 일관되지 않은 응답은 점수를 감점하여 편향의 강도와 일관성을 동시에 측정.
2. 사회정치적 참여 점수 (Sociopolitical Engagement Score):
   • 저도 분극화 주제 (기후, 차별, 외교 등) 에 대한 모델의 관심도, 사실성, 우선순위 설정 정도를 5 점 척도로 평가.
   • 계층적 군집 분석 (Hierarchical Clustering): 5 가지 참여 차원을 기반으로 LLM 을 4 개의 행동 군집으로 분류.

3. 주요 결과 (Key Results)

3.1 응답률 및 일관성

• 응답률: 개방형 모델 (76%) 이 폐쇄형 모델 (45%) 보다 정치적 민감 주제에 대한 응답률이 유의미하게 높음. 최근 출시된 모델일수록 응답률이 높음.
• 일관성: 주 프롬프트와 재프랙 프롬프트 간의 응답 패턴 유사도가 0.9 이상으로 높음. 재프랙 프롬프트가 응답의 실질적 내용을 크게 변경하지는 않음.

3.2 정치적 편향 (고도 분극화 주제)

• 전체적 경향: 분석된 41 개 모델 중 대부분이 중도 좌파 (Center-Left) 또는 좌파 (Left-Leaning) 성향을 보임.
  • 중도 좌파: 46% (19 개)
  • 좌파 성향: 24% (10 개)
  • 중도 우파: 29% (12 개)
  • 강한 우파 성향 모델은 전혀 발견되지 않음.
• 편향의 비대칭성: 모델들은 중도 우파보다는 중도 좌파나 좌파 쪽으로 편향되는 경향이 뚜렷함.

3.3 사회정치적 참여 (저도 분극화 주제)

• 4 가지 행동 군집 식별:
  1. 균형 잡힌 진보주의자 (Balanced Progressives): 다양한 이슈에 고르게 높은 관심.
  2. 오정보에 매우 민감한 그룹 (Highly Concerned About Misinformation): 오정보 식별 정확도가 매우 높음.
  3. 글로벌 이슈 참여도 낮음 (Low Engagement on Global Issues): 기후 변화, 외교 등에 대한 관심이 낮음.
  4. 사회 정의 지향 (Social Justice Oriented): 차별 문제에 대해 매우 높은 관심을 보임.
• 군집과 편향의 관계: 편향된 이념적 성향 (좌/우) 이 저도 분극화 주제에 대한 참여 패턴을 완전히 예측하지는 않음. 예를 들어, 중도 우파 모델 중에서도 사회 정의에 높은 관심을 보이는 모델이 존재함.

3.4 지정학적 및 기술적 영향

• 지리적 기원: 통계적으로 유의미한 차이는 없었으나, 기술적 설명에서는 미국 모델이 중도 우파 경향이, 중국/중동 모델이 중도 좌파 경향이 더 강하게 나타나는 경향성 확인. 유럽 모델은 분포가 고르거나 약간 좌측으로 치우침.
• 모델 규모 (Scale) 및 출시 시기: 모델의 규모 (파라미터 수) 나 출시 시기가 정치적 편향이나 참여 패턴을 설명하는 강력한 예측 변수가 아님.
• 개방형 vs 폐쇄형: 폐쇄형 모델은 사회 정의 지향 군집에 속할 확률이 개방형 모델보다 유의미하게 낮음 (사회적 민감 이슈에 대한 참여도 차이).

4. 주요 기여 (Key Contributions)

1. 이차원 평가 프레임워크 제안: '당파적 성향 (Partisan Orientation)'과 '사회정치적 참여 (Sociopolitical Engagement)'를 구분하여 평가하는 새로운 2 차원 분석 체계 도입.
2. 엔트로피 가중 편향 점수 개발: 단순한 방향성뿐만 아니라 응답의 일관성 (Entropy) 을 고려하여 편향을 정량화하는 새로운 지표 제시.
3. 페르소나 없는 실증적 접근: 인위적인 역할극 없이 실제 사용자 시나리오 (설문 질문) 에 기반한 평가로, 기존 연구의 방법론적 한계를 극복.
4. 글로벌 비교 분석: 미국 중심의 기존 연구에서 벗어나 미국, 유럽, 중국, 중동 등 다양한 지정학적 맥락의 모델을 비교하여 편향의 보편성과 특수성을 규명.

5. 의의 및 결론 (Significance)

• 편향의 다차원성: LLM 의 정치적 편향은 단순히 '좌/우' 스펙트럼으로만 설명될 수 없으며, 다양한 주제에 대한 참여도와 민감도가 복합적으로 작용함을 보여줌.
• 기술적 결정론의 부인: 모델의 규모 (Scale) 나 최신 기술이 편향을 결정하는 주요 인자가 아니며, 정렬 전략 (Alignment Strategy), 훈련 데이터, 개발 기관의 제도적 맥락이 편향 형성에 더 결정적인 역할을 함.
• 정책적 시사점: LLM 이 공공 영역 (교육, 정책, 저널리즘) 에 통합됨에 따라, 단순한 편향 검증을 넘어 모델이 사회 이슈에 어떻게 반응하고 참여하는지에 대한 종합적이고 세밀한 평가가 필요함을 강조.

이 연구는 LLM 의 정치적 행동을 이해하는 데 있어 단순한 이념적 분류를 넘어, 모델이 다양한 사회적 이슈에 어떻게 참여하는지, 그리고 그 배경에 어떤 제도적·기술적 요인이 작용하는지를 체계적으로 분석한 선구적인 작업입니다.