What Is The Political Content in LLMs' Pre- and Post-Training Data?

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 정치적 편향을 가진 텍스트를 생성한다는 사실은 잘 알려져 있으나, 이러한 편향이 어떻게 형성되는지에 대한 메커니즘은 명확하지 않습니다.
• 기존 연구의 한계: 대부분의 기존 연구는 모델의 출력 (Output) 을 평가하는 '모델 중심 (Model-centric)' 접근법을 취했습니다. 이는 편향의 근원 (데이터) 을 식별하지 못해 효과적인 완화 전략을 수립하는 데 어려움을 줍니다.
• 핵심 질문: 편향의 원인이 데이터 구성 (Data Composition) 에 있는지, 그리고 학습 데이터의 정치적 성향이 모델의 행동과 어떻게 연관되는지 규명하는 것이 본 연구의 목적입니다.

2. 연구 방법론 (Methodology)

본 연구는 오픈 소스 LLM 들의 사전 학습 (Pre-training) 및 후학습 (Post-training) 데이터를 중심으로 한 데이터 중심 접근법을 취했습니다.

• 분석 대상 모델 및 데이터셋:
  • 모델: OLMO2-13B, Falcon2-11B, Pythia-12B.
  • 데이터셋: 각 모델의 학습 단계별 데이터 (DOLMA, DOLMINO, REFINEDWEB, THE PILE 등) 와 후학습 데이터 (SFT-MIX, DPO-MIX).
  • 선택 기준: 서로 다른 모델 간의 학습 데이터 중복을 최소화하여 데이터의 고유한 영향을 분석했습니다.
• 데이터 샘플링:
  • 전체 데이터를 분석하는 것은 불가능하므로, 저수조 샘플링 (Reservoir Sampling) 알고리즘을 사용하여 각 데이터셋에서 대표성을 가진 문서 (약 20 만 개) 를 추출했습니다.
  • 비영어권 문서와 코딩 관련 문서는 제외했습니다.
• 정치적 성향 분류 (Political Leaning Classification):
  • 3 단계 분류: 좌파 (Left-leaning), 우파 (Right-leaning), 중립 (Neutral).
  • 모델: LLaMA-3.1-70B-Instruct 를 제로샷 (Zero-shot) 방식으로 활용하여 문서를 분류했습니다.
  • 검증: 'NEWSLEAN'이라는 뉴스 기사 데이터셋을 사용하여 분류기의 정확도를 검증했습니다 (정밀도: 우파 0.72, 좌파 0.65).
• 모델의 입장 분석 (Stance Detection):
  • 데이터: 유럽 7 개국의 투표 조언 애플리케이션에서 추출한 239 개의 진술 (ProbVAA 데이터셋) 사용.
  • 방법: 모델이 특정 정책 이슈 (예: 사회복지 확대, 이민 제한 등 8 가지 정책 벡터) 에 대해 동의하거나 반대하는지 30 회 반복 샘플링하여 점수화했습니다.
  • 상관관계 분석: 학습 데이터 내 문서의 정치적 입장과 모델의 출력 간 상관관계를 피어슨 상관계수 (Pearson correlation) 로 계산했습니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 데이터 분석: 여러 오픈 소스 LLM 의 사전 및 후학습 데이터셋에 포함된 정치적 내용을 체계적으로 분석했습니다.
2. 편향의 불균형 정량화: 학습 데이터에서 좌파 성향 문서가 우파 성향 문서보다 일관되게 우세함을 수치화했습니다.
3. 데이터 큐레이션의 영향 평가: 서로 다른 데이터 소스와 큐레이션 전략을 사용했음에도 불구하고, 다양한 사전 학습 데이터셋이 유사한 정치적 분포를 보임을 발견했습니다.
4. 데이터와 모델 행동의 상관성 입증: 학습 데이터의 정치적 편향과 모델의 정책 이슈에 대한 행동 간 강한 상관관계를 증명했습니다.
5. 학습 단계별 편향 지속성 확인: 편향이 사전 학습 단계에서 이미 존재하며, 후학습 (SFT, DPO) 단계를 거치더라도 사라지지 않음을 보였습니다.

4. 주요 결과 (Key Results)

가. 학습 데이터의 정치적 불균형 (R1)

• 좌파 우세: 모든 분석된 데이터셋에서 좌파 성향 문서가 우파 성향 문서보다 2.3 배에서 12 배까지 더 많았습니다.
• 학습 단계별 차이: 사전 학습 데이터 (Pre-training) 가 후학습 데이터 (Post-training) 에 비해 2.5 배에서 4 배 더 많은 정치적 참여 내용을 포함하고 있었습니다.
• SFT-MIX 의 특징: 후학습 데이터 중 SFT-MIX 는 정치적 문서 비율이 가장 낮았으나 (우파 0.12%, 좌파 1.5%), 좌파 우세 경향은 유지되었습니다.

나. 데이터 소스의 차이 (Source Domains)

• 우파: 블로그 (BlogSpot, WordPress 등) 와 온라인 커뮤니티에서 주로 발생했습니다.
• 좌파: 확립된 뉴스 매체 (The Guardian, HuffPost, NYT 등) 와 위키피디아 등에서 주로 발생했습니다.
• 결론: 우파 콘텐츠는 더 다양하고 최근의 블로그 기반인 반면, 좌파 콘텐츠는 전통적인 뉴스 기관에 더 의존하는 경향이 있었습니다.

다. 데이터와 모델 행동의 상관관계 (R3)

• 강한 상관성: 학습 데이터의 정치적 입장과 모델의 정책 이슈에 대한 입장은 피어슨 상관계수 r = 0.87로 매우 강한 양의 상관관계를 보였습니다.
• 의미: 모델의 편향은 학습 데이터의 분포를 그대로 반영하고 있음을 시사합니다.

라. 학습 단계별 편향의 지속성 (R4)

• 사전 학습의 결정적 역할: 베이스 모델 (Base models) 에서 이미 정치적 편향이 존재했으며, 후학습 (SFT, DPO) 을 거치더라도 편향의 방향성이 크게 변하지 않았습니다.
• 후학습의 역할: 후학습은 편향을 근본적으로 바꾸기보다는 모델의 응답 일관성을 높이는 역할을 하는 것으로 보입니다.

마. 데이터셋 간 유사성 (R2)

• 서로 다른 모델 (OLMO, Falcon, Pythia) 이 서로 다른 데이터 소스를 사용했음에도, 전체적인 정치적 분포는 매우 유사했습니다. 이는 데이터 필터링 및 큐레이션 전략이 정치적 편향의 거시적 특성을 크게 바꾸지 못함을 의미합니다.

5. 의의 및 시사점 (Significance)

• 편향의 근원 규명: LLM 의 정치적 편향이 모델 아키텍처나 후학습 과정보다는 학습 데이터의 구성 (Data Composition) 에 기인함을 실증적으로 증명했습니다.
• 완화 전략의 방향성: 편향을 완화하기 위해서는 모델 튜닝보다는 사전 학습 데이터의 선별 (Pre-filtering) 이나 정치적 편향 데이터의 제거가 더 효과적일 수 있음을 시사합니다.
• 투명성 요구: 데이터 출처와 큐레이션 과정에 대한 투명한 공개가 필요하며, 이는 AI 규제 정책 수립에 중요한 근거가 됩니다.
• 사회적 영향: LLM 이 정보의 중개자로서 정치적 신념에 영향을 미칠 수 있으므로, 편향된 데이터가 민주적 과정과 사회적 양극화에 미칠 수 있는 위험을 경고합니다.

결론

이 연구는 LLM 의 정치적 편향이 우연이 아니라 학습 데이터의 체계적인 왜곡에서 비롯된다는 것을 보여주었습니다. 특히 사전 학습 단계에서 좌파 성향 콘텐츠가 압도적으로 많으며, 이는 모델의 최종 행동에 직접적인 영향을 미칩니다. 따라서 공정하고 중립적인 AI 를 만들기 위해서는 데이터 수집 및 정제 과정에서의 투명성과 균형 잡힌 데이터 구성이 필수적입니다.