A Systematic Analysis of Biases in Large Language Models

이 논문은 네 가지 주요 대규모 언어 모델 (LLM) 을 정치, 이념, 동맹, 언어, 성별 차원에서 체계적으로 분석한 결과, 모델이 중립적으로 정렬되어 있음에도 불구하고 다양한 형태의 편향과 경향을 여전히 드러낸다는 점을 밝혔습니다.

핵심

이 논문은 우리가 매일 사용하는 인공지능 (AI) 챗봇들이 정말로 '중립적이고 공정한' 존재인지, 아니면 우리 인간처럼 편견을 가지고 있는지 조사한 연구입니다.

마치 새로운 직원이 입사해서 면접을 보는 상황이라고 상상해 보세요. 이 연구는 Qwen, DeepSeek, Gemini, GPT 라는 네 명의 '인공지능 직원'을 불러모아, 정치, 사상, 국제 관계, 언어, 성별이라는 다섯 가지 분야에서 그들이 어떻게 생각하는지 시험을 치렀습니다.

그 결과, 이 AI 들은 완벽하게 중립적인 '로봇'이 아니라, 어떤 편향을 가진 '인간'과 비슷하게 행동한다는 것이 밝혀졌습니다. 구체적인 내용은 다음과 같습니다.

1. 정치 편향: "뉴스 요약할 때 어느 쪽을 더 좋아할까?"

• 실험: AI 에게 중립적인 뉴스 기사를 요약하게 했습니다. 그리고 그 요약문이 '진보 (좌파)' 쪽 뉴스와 더 비슷했는지, '보수 (우파)' 쪽 뉴스와 더 비슷했는지 비교했습니다.
• 결과: 대부분의 AI 는 중립을 지키려고 노력했지만, 완벽하지는 않았습니다.
  • Gemini는 약간 '보수 (우파)' 성향을 보였습니다.
  • GPT는 약간 '진보 (좌파)' 성향을 보였습니다.
  • DeepSeek은 네 명 중 가장 중립에 가까웠습니다.
  • 재미있는 점: 요약이 잘될수록 (품질이 높을수록) 오히려 진보 성향의 뉴스와 더 비슷해졌습니다. 마치 "잘 쓰는 사람은 진보적인 글을 더 잘 쓴다"는 식의 편향이 숨어 있었던 것입니다.

2. 사상 편향: "뉴스를 보고 진영을 가르는 눈"

• 실험: 이민, 성소수자 (LGBT), 낙태 등 민감한 주제의 뉴스 기사를 보고 "이 기사가 진보派인지 보수派인지" 맞춰보게 했습니다.
• 결과: AI 들은 진영의 뉘앙스를 구별하는 데 서툴렀습니다.
  • Gemini는 보수 (우파) 의 말투는 잘 알아챘지만, 진보 (좌파) 의 말투는 잘 못 알아챘습니다. 그래서 진보 성향 뉴스를 중립이라고 잘못 판단하는 경우가 많았습니다.
  • GPT는 반대로 진보 (좌파) 의 뉘앙스를 더 잘 알아챘습니다.
  • 결론: AI 들은 특정 진영의 언어에 더 익숙하거나, 그 진영의 가치관을 더 내면화하고 있는 것으로 보입니다.

3. 국제 동맹 편향: "유엔 투표에서 누구 편을 들까?"

• 실험: AI 에게 유엔 총회 (UNGA) 대의원을 연기하게 하고, 1946 년부터 2012 년까지의 실제 투표 안건에 대해 "찬성 (YES)", "반대 (NO)", "기권 (ABSTAIN)"을 선택하게 했습니다.
• 결과: AI 들은 실제 국가들의 투표 패턴과 어느 정도 일치했지만, 각자 독특한 '친구 관계'를 가지고 있었습니다.
  • Gemini는 실제 유엔 투표와 가장 비슷하게 행동했지만, 미국과는 정반대로 투표하는 경향이 있었습니다. 반면 중국, 북한, 베트남 등 공산권 국가들과는 더 잘 맞았습니다.
  • GPT는 미국과는 비슷했지만, 동유럽 국가들과는 정반대 편을 들었습니다.
  • 이는 AI 가 훈련된 데이터에 따라 '어떤 국가의 입장을 더 자연스럽게 받아들이는지'가 다르다는 것을 보여줍니다.

4. 언어 편향: "다른 언어로 생각하면 생각이 달라질까?"

• 실험: 실제 문화와 무관한 가상의 부족 이야기를 92 개 언어로 번역해서 AI 에게 이어 쓰게 했습니다. "이 언어로 생각할 때 AI 는 어떤 가치를 중요하게 여길까?"를 확인했습니다.
• 결과: 놀랍게도 AI 는 영어 (주요 훈련 언어) 에만 치우치지 않았습니다. 하지만 남아프리카 언어로 생각할 때는 영어로 생각할 때와 매우 비슷한 사고방식을 보였습니다.
  • 비유: 마치 영어로 배우는 지식을 다른 언어로 옮길 때, 그 언어의 고유한 문화보다는 영어식 사고방식을 그대로 가져오는 '번역기' 같은 현상이 일부 관찰되었습니다.

5. 성별 편향: "남자보다 여자 편을 드는 AI?"

• 실험: 세계 가치관 조사 (World Values Survey) 라는 전 세계 사람들의 설문에 AI 가 답하게 했습니다. 그리고 그 답이 '남성' 평균과 더 가깝지, '여성' 평균과 더 가깝지 비교했습니다.
• 결과: 네 명의 AI 모두 여성들의 가치관에 더 가깝게 답했습니다.
  • 특히 GPT는 여성과 가장 비슷하고, 남성과는 가장 달랐습니다.
  • AI 들은 낙태, 안락사, 성평등 등 진보적인 가치에 대해 전 세계 남성 평균보다 더 진보적인 입장을 취했습니다.
  • Qwen과 DeepSeek은 때로는 모순되는 답을 내놓기도 했으나, 전체적으로 여성들의 가치관을 더 많이 반영했습니다.

📝 결론: "선생님이 편견을 가지면 학생도 편견을 가진다"

이 연구의 핵심 메시지는 **"AI 는 스스로 편견을 만들지 않는다. 인간이 만든 데이터 (책, 뉴스, 인터넷 글) 를 배웠기 때문에, 인간 사회의 편견을 그대로 거울처럼 비추고 있다"**는 것입니다.

• 우리가 AI 에게 "중립적으로 행동해"라고 명령해도, 그 AI 가 배운 데이터 자체가 편향되어 있다면 AI 도 편향될 수밖에 없습니다.
• 마치 어린 학생이 편견 있는 선생님에게 배워 그 선생님의 생각을 그대로 따라 하는 것과 같습니다.

우리가 무엇을 해야 할까요?
이 AI 들을 사용할 때는 "이 AI 는 완전히 중립적인 기계가 아니다"라는 사실을 기억해야 합니다. AI 가 내리는 결정이나 답변을 맹신하기보다, 그것이 **어떤 편향을 가지고 있는지 (누구의 목소리를 더 반영하는지)**를 알고 있어야 더 현명하게 사용할 수 있습니다.

결국, 더 나은 AI 를 만들기 위해서는 단순히 기술만 발전시키는 것이 아니라, 인간 사회의 다양성과 편견을 어떻게 AI 에게 가르칠지에 대한 새로운 고민이 필요하다는 것입니다.

기술 요약

논문 개요: 대규모 언어 모델 (LLM) 의 편향에 대한 체계적 분석

이 연구는 현재 널리 사용되는 네 가지 대규모 언어 모델 (Qwen, DeepSeek, Gemini, GPT) 이 정치적, 이념적, 지정학적 동맹, 언어, 성별 등 다양한 차원에서 어떻게 편향 (Bias) 과 성향을 나타내는지 체계적으로 분석한 것입니다. 연구진은 LLM 이 중립적이고 공정한 도구로 간주되지만, 실제로는 훈련 데이터와 정렬 (Alignment) 과정에서 다양한 편향이 내재되어 있음을 실증했습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: LLM 은 정보 획득과 의사결정 지원에 필수적이 되었으나, 이러한 모델이 다양한 맥락에서 공정한지 여부에 대한 의문이 제기되고 있습니다.
• 문제: 기존 연구는 성별, 인종, 장애 등 특정 인구통계학적 편향이나 문화적 편향 (Semantic Anglocentrism) 을 주로 다뤘습니다. 그러나 LLM 의 정치적 중립성, 이념적 성향, 지정학적 동맹 선호도, 다국어 환경에서의 사고 패턴, 그리고 성별 가치관 편향 등을 포괄적으로 비교 분석한 연구는 부족했습니다.
• 목표: 폐쇄형 소스 모델이 늘어나고 있는 상황에서, 다양한 도메인에서 LLM 의 편향을 탐지할 수 있는 접근 가능한 방법론을 제시하고, 네 가지 주요 모델의 편향을 체계적으로 평가하는 것입니다.

2. 연구 방법론 (Methodology)

연구진은 네 가지 모델 (Qwen2.5-7B-Instruct, DeepSeek-V3-0324, Gemini-2.5-flash, GPT-4o-mini) 을 대상으로 5 가지 실험을 설계했습니다.

1. 정치적 편향 (Political Bias):

   • 데이터: 1,018 개의 정치적 사건에 대한 중도 (Center) 언론 보도.
   • 방법: LLM 에게 중립적인 뉴스 요약 생성을 지시한 후, 생성된 요약과 좌파 (Left) 및 우파 (Right) 언론의 보도 내용 간의 코사인 유사도 (Cosine Similarity) 를 측정했습니다.
   • 지표: 요약 내용이 특정 정치적 성향과 얼마나 유사한지 분석하여 중립성 여부를 판단.

2. 이념적 편향 (Ideological Bias):

   • 데이터: 선거, 인종/차별, 이민, LGBT, 낙태 등 5 가지 이념적 쟁점 관련 뉴스 (총 6,322 건).
   • 방법: LLM 에게 뉴스의 이념적 성향 (좌/중/우) 을 분류하도록 요청.
   • 지표: 오분류 (Misclassification) 패턴을 분석하여 모델이 특정 이념적 어휘나 뉘앙스에 어떻게 반응하는지 확인.

3. 동맹 편향 (Alliance Bias):

   • 데이터: 1946~2012 년 유엔 총회 (UNGA) 결의안 투표 기록 (5,602 건).
   • 방법: LLM 을 유엔 대표로 설정하여 투표 (찬성/반대/기권) 를 시뮬레이션.
   • 지표: 실제 200 개 국가 대표와의 투표 일치도를 코헨의 카파 (Cohen's Kappa) 계수로 측정하여 지정학적 동맹 선호도 분석.

4. 언어 편향 (Language Bias):

   • 데이터: 현실 문화와 무관한 5 가지 가상의 문화/가치 스토리 프롬프트.
   • 방법: 92 개 언어로 번역된 프롬프트를 사용하여 LLM 에게 스토리 완성 요청. 생성된 내용을 다시 영어로 번역 후 임베딩 (Embedding) 을 추출.
   • 지표: 주성분 분석 (PCA) 을 통해 언어별 사고 패턴의 군집 (Clustering) 을 시각화하고, 고자원 언어 (영어 등) 로의 편향 여부를 확인.

5. 성별 편향 (Gender Bias):

   • 데이터: 세계 가치관 조사 (World Values Survey, WVS) 의 사회적 가치 및 윤리적 규범 섹션.
   • 방법: 성별을 부여하지 않고 LLM 에게 설문 응답을 생성.
   • 지표: LLM 의 답변과 실제 남성/여성 응답 평균 간의 절대 차이 (Absolute Difference) 를 비교하여 어느 성별의 가치관에 더 근접하는지 분석.

3. 주요 결과 (Key Results)

• 정치적 편향:

  • 전반적으로 LLM 은 정치적 중립성을 유지하려는 경향이 있으나, 고품질의 요약일수록 좌파적 성향의 보도와 더 유사한 경향을 보였습니다.
  • Gemini는 우파적 성향을, GPT는 약간의 좌파적 성향을 보였습니다. DeepSeek이 가장 균형 잡힌 중립적 성능을 보였습니다.

• 이념적 편향:

  • 모델들은 이민과 LGBT 와 같은 주제에서 이념적 뉘앙스를 구분하는 데 어려움을 겪었습니다.
  • Gemini는 좌파적 어휘를 식별하는 데 가장 취약하며 우파적 성향과 더 잘 정렬된 것으로 나타났습니다. 반면 GPT는 좌파적 신호에 더 민감하게 반응했습니다.

• 동맹 편향 (지정학):

  • 모든 모델은 라틴아메리카, 서아프리카, 중앙아프리카 대표들과 더 높은 투표 일치도를 보였습니다.
  • Gemini는 실제 유엔 대표들의 투표 패턴과 가장 유사하게 행동했으나, 미국과는 불일치하고 중국, 북한, 베트남 등 공산주의 정권과는 일치하는 독특한 경향을 보였습니다.
  • GPT는 동유럽 및 중국/북한 대표들과 강한 불일치를 보였습니다.

• 언어 편향:

  • LLM 의 사고 패턴은 훈련 코퍼스에서 우세한 언어 (영어, 중국어 등) 로 치우치지 않았습니다.
  • 흥미롭게도, Qwen, DeepSeek, Gemini는 남아프리카 언어로 사고할 때 영어와 유사한 사고 패턴을 보였으며, 이는 저자원 언어에 대한 전이 학습 (Transfer Learning) 의 부작용일 수 있음을 시사합니다. GPT는 언어별 분포가 가장 다양했습니다.

• 성별 편향:

  • 네 가지 모델 모두 여성의 가치관에 더 크게 부합하는 경향을 보였습니다.
  • 특히 GPT는 여성 가치관과 가장 일치하고 남성 가치관과는 가장 멀었습니다 (차이 36.77%).
  • Qwen과 DeepSeek은 일부 질문에서 모순된 답변을 내놓아 가치관의 일관성이 부족함을 보였습니다.

4. 연구의 의의 및 기여 (Significance & Contributions)

1. 포괄적인 편향 평가 프레임워크: 기존 연구들이 특정 편향에 국한되었던 것과 달리, 정치, 이념, 동맹, 언어, 성별 등 5 가지 차원을 아우르는 체계적인 평가 체계를 제시했습니다.
2. 모델별 편향 프로파일링: 널리 사용되는 4 가지 주요 LLM 이 각기 다른 편향 패턴을 가지고 있음을 실증하여, 모델 선택 시 사용자의 주의가 필요함을 강조했습니다.
3. 정렬 (Alignment) 의 한계 지적: 인간 피드백 기반 강화학습 (RLHF) 등 정렬 기술이 편향을 완전히 제거하지 못하며, 오히려 새로운 편향을 강화할 수 있음을 지적했습니다.
4. 새로운 AI 철학적 제언: 인간과 유사한 사고를 모방하는 것보다, 중립성, 강건성, 그리고 인간의 복잡한 가치 다양성을 정직하게 반영하면서도 편향되지 않는 새로운 형태의 지능 이론을 모색해야 함을 주장했습니다.

5. 결론

이 연구는 LLM 이 완전히 중립적인 존재가 아니며, 훈련 데이터와 정렬 과정에서 다양한 편향이 내재되어 있음을 명확히 보여주었습니다. 사용자는 LLM 을 활용할 때 모델마다 고유한 정치적, 이념적, 성별적 성향을 인지하고 이를 고려하여 신중하게 활용해야 합니다. 또한, AI 개발자들은 인간 중심의 편향을 단순히 모방하는 것을 넘어, 보다 포용적이고 중립적인 AI 설계에 대한 근본적인 재고를 필요로 합니다.