기술 요약: LLM 의 지리정치적 편향은 사후 훈련에서 기원한다

문제 제기

대형 언어 모델 (LLM) 편향 분야에서 지배적인 가정은 지리정치적 선호도가 사전 훈련 코퍼스의 통계적 규칙성에서 직접 유래한다는 것이다. 기존 문헌은 모델이 훈련 데이터에 존재하는 인구통계학적, 문화적, 이데올로기적 편향을 수동적으로 계승한다고 주장하며, 편향 완화는 데이터 수준에서 이루어져야 함을 시사한다. 본 연구는 이러한 인과 모델을 도전하여, 지리정치적 편향이 주로 사전 훈련 데이터의 함수인지, 아니면 사후 훈련 단계 (지시 미세조정 및 정렬) 에서 능동적으로 도입되거나 증폭되는지를 질문한다.

방법론

저자들은 일곱 개의 서로 다른 연구소에서 개발된 일곱 개의 오픈 가중치 LLM 패밀리 (서구권 3 개: Mistral AI, Meta, Google; 중국계 4 개: Alibaba, Baichuan, 01.AI, Zhipu) 를 대상으로 통제된 쌍대 시나리오 실험을 수행하였다.

실험 설계

• 모델 쌍: 각 패밀리별로 '베이스' 모델 (사전 훈련만) 과 '채팅' 모델 (사전 훈련 + 사후 훈련) 을 비교하였다. 모든 모델은 재현성을 보장하기 위해 단일 RTX 3090 에 적합하도록 선택되었으며 (7~9B 파라미터),
• 시나리오 뱅크: 28 개 국가 쌍을 포함하는 79 개의 지리정치적 시나리오 뱅크를 구축하였다. 시나리오는 영공 침입, 무역 강압, 주권 분쟁 등 13 가지 유형을 포괄하며, '뜨거운' 정치적 주제와 '차가운' 절차적 주제를 균형 있게 구성하였다.
• 강제 선택 탐지: 모델에게 국가 A 와 국가 B 가 분쟁에 휘말린 내러티브를 제시하고, 어느 국가가 더 정당하거나 덜 정당하게 행동했는지 선택하도록 강요하였다.
  • 강건성 특징: 설계에는 역할 균형 (어느 국가가 공격자인지 변경) 과 이중 질문 프레임 ( '더' 정당함과 '덜' 정당함을 모두 요청) 이 포함되어 어휘적 또는 위치적 인공물을 필터링하였다.
  • 측정: 편향은 어휘에 대한 softmax 후 로그 오즈 ($\log P(A) - \log P(B)$) 를 사용하여 정량화하였다.
• 언어 변수: 탐지는 영어, 프랑스어, 중국어 세 가지 언어로 수행되었다. 일관성을 유지하기 위해 LLM(Claude) 이 번역을 생성했으나, 저자들은 이것이 잠재적인 교란 변수를 도입할 수 있음을 지적한다.
• 기술적 수정:
  • 토큰 변형 합계: SentencePiece 토크나이저를 사용하는 모델 (Yi, Baichuan) 의 경우, 토큰 변형 (예: "A", " A", "(A") 에 대한 확률을 합산하여 준수율 과소 계산을 방지하였다.
  • 프리필 수정: GLM 및 Yi 채팅 모델의 경우, 응답 템플릿 (예: 새 줄이나 괄호 추가) 으로 인해 단순 단일 토큰 점수에서 준수 점수가 인위적으로 억제되는 것을 보정하기 위해 특정 조정을 가하였다.
  • 일관성 필터: 분석은 '정당'과 '부정당' 프레임 간에 모델 선호도가 부호가 반전된 31 개 시나리오로 제한되었으며, 이는 적어도 70% 의 모델 - 언어 조합에서 발생하였다.

주요 결과

1. 편향의 원천으로서의 사후 훈련

가장 중요한 발견은 지리정치적 편향이 사전 훈련이 아닌 사후 훈련에서 기원한다는 것이다.

• 베이스 모델: 일곱 개 베이스 모델 중 여섯 개는 중국 선호도에 대해 통계적으로 거의 중립적이었다. 예를 들어, 알리바바의 Qwen 2.5 베이스 모델은 중국 선호도 점수가 $-0.15$로그 오즈 ($p=0.15$) 로 중립과 구별되지 않았다.
• 채팅 모델: 사후 훈련은 상당한 변화를 초래하였다. Qwen 2.5 채팅 모델은 $+2.91$ 로그 오즈 ($p < 10^{-4}$) 로 이동하여 중국을 지지하는 오즈가 18 배 증가하였다.
• 방향성: 일곱 개 패밀리 중 여섯 개에서 사후 훈련 이동은 모델 개발자의 국적과 일치하였다 (서구권 연구소는 반중국으로, 중국계 연구소 중 세 곳은 친중국으로 이동). 예외는 01.AI 의 Yi 로, 사후 훈련 후 반중국으로 이동하였다.

2. 편향의 언어적 조절

모델을 프롬프트하는 데 사용된 언어는 인쇄된 편향을 증폭하거나 감쇠시킨다.

• 프랑스어 프롬프팅: 프랑스제 Mistral 모델은 프랑스어로 프롬프트되었을 때만 결정적으로 친프랑스적이 되었다. 영어에서 프랑스어 프롬프트로 전환된 결과, 프랑스 선호도에서 $+1.91$ 로그 오즈 변화가 발생하였다 ($p < 10^{-4}$).
• 중국어 프롬프팅: 일곱 개 사후 훈련 모델 중 다섯 개는 중국어로 프롬프트되었을 때 친중국적 경향으로 기술적 이동을 보였으나, 이 인구 수준의 효과는 베이스 모델 추세와 통계적으로 구별되지 않았다 ($p=0.66$). 그러나 Mistral 및 Yi 와 같은 특정 모델은 큰 증폭을 보였다.
• 메커니즘: 본 연구는 언어가 단순히 고정된 '제조사 정렬' 편향을 활성화하는 것이 아니라, 모델의 기준선 선호도와 특정 국가와의 언어적 '콘텐츠 얽힘'에 기반하여 표현된 선호도를 조절한다고 제안한다.

3. 연구소 및 상대국 간 이질성

• 연구소 편차: '중국 개발 LLM'은 동질적인 범주가 아니다. Qwen 2.5 는 서구 국가에 대해 강한 친중국 편향을 보였으나 글로벌 남반구 국가에 대해서는 약한 편향을 보였다. 반면, Yi 1.5 는 미국에 대해서만 친중국 편향을 보였고 거의 모든 다른 상대국에 대해서는 반중국 편향을 보였다.
• 주제 독립성: 편향은 특정 주제가 아닌 광범위하였다. 편향의 크기는 '뜨거운' (주권, 핵) 과 '차가운' (영공, 무역) 시나리오 간에 유의미하게 다르지 않았다.

4. 강건성 및 타당성 검증

• 준수: 본 연구는 '거부' 또는 비준수 문제를 다루었다. 단순 점수화는 종종 응답 템플릿 (예: GLM 의 새 줄로 시작하는 출력) 을 거부로 오해하였다. 이러한 템플릿을 보정한 후 준수율은 높았으며 편향이 드러났다.
• 가상 실체: 발음 단서가 있는 가상의 국가 이름 (예: 중국어처럼 들리는 '자오동') 으로 테스트했을 때, 모델은 동일한 제조사 정렬 편향을 나타냈으며, 이는 편향이 실제 국가에 대한 기억된 사실보다는 정체성 단서에 의해 유발됨을 시사한다.
• 자유 생성: 개방형 추론 작업은 강제 선택 탐지에서 관찰된 편향이 모델이 추론을 생성할 수 있도록 허용되더라도 지속됨을 확인시켰으며, 이는 선호도가 강제 선택 형식의 인공물이 아님을 나타낸다.

중요성 및 주장

본 논문은 지리정치적 편향을 단순히 인터넷에서 유래한 데이터 문제로서가 아니라 정렬 및 배포 문제로 재정의한다고 주장한다.

• 능동적 형성: 본 연구는 지리정치적 선호도가 사후 훈련 파이프라인 (SFT, RLHF, 또는 안전 미세조정) 동안 능동적으로 형성됨을 입증한다. 베이스 모델은 대체로 중립적인 반면, 채팅 모델은 개발 연구소의 특정 정렬 목표를 반영한다.
• 투명성 필요성: 사후 훈련이 모델이 국가와 정치적 관점을 어떻게 표현하는지 결정하기 때문에, 저자들은 정렬 과정에 대한 더 큰 투명성, 감사, 감독을 주장한다.
• 한계: 저자들은 주장에 대해 겸손하다. 표본 크기 ($n=7$ 패밀리) 가 연구소 간 일반화의 통계적 힘을 제한한다고 지적한다 (6/7 정렬 추세는 $\alpha=0.05$에서 이항 검정을 통과하지 못했으나 부호 - 크기 t-검정을 통과함). 또한 고의적인 정렬 목표와 다른 미세조정 목표 (예: 유용성 또는 해로움 없음) 의 우발적 부작용을 구별할 수 없다고 인정한다. furthermore, 본 연구는 7~9B 파라미터 모델로 제한되어 있으며 폐쇄형 최첨단 모델을 다루지 않는다.

결론적으로, 본 연구는 LLM 의 '지리정치적 렌즈'가 주로 사전 훈련 데이터가 아닌 사후 훈련 정렬의 산물이며, 프롬프트 언어가 이러한 표현된 선호도의 중요한 조절자임을 실증적 증거로 제공한다.