Polarization by Default: Auditing Recommendation Bias in LLM-Based Content Curation

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 이 이제 단순한 정보 생성을 넘어, 소셜 미디어 콘텐츠의 순위 매기기 및 큐레이션 (예: X 의 Grok, Bluesky 의 Attie, Instagram 의 AI 추천) 에 핵심적으로 활용되고 있습니다. 그러나 이러한 LLM 기반 추천 시스템의 편향 (Bias) 의 구조와 특성은 아직 명확히 규명되지 않았습니다.

• 핵심 질문: LLM 의 추천 편향은 공급자 (Provider) 와 플랫폼에 따라 어떻게 달라지는가? 프롬프트 설계 (Prompt Design) 를 통해 편향을 완화할 수 있는가?
• 연구 격차: 기존 연구는 주로 영화나 전자상거래 등 단일 공급자의 제품 추천에 집중했으며, 소셜 미디어 콘텐츠 큐레이션의 맥락, 다양한 공급자 간 비교, 그리고 프롬프트 전략에 따른 편향 변화를 동시에 분석한 연구는 부재했습니다.

2. 연구 방법론 (Methodology)

이 연구는 3 개의 주요 LLM 공급자, 3 개의 소셜 미디어 플랫폼, 6 가지 프롬프트 전략을 조합한 통제된 시뮬레이션 연구를 수행했습니다.

• 실험 설계:

  • LLM 공급자 (3 개): OpenAI (GPT-4o Mini), Anthropic (Claude Sonnet 4.5), Google (Gemini 2.0 Flash).
  • 플랫폼 (3 개): Twitter/X, Bluesky, Reddit.
  • 프롬프트 전략 (6 가지): 일반적 (General), 인기 (Popular), 참여 유도 (Engaging), 정보성 (Informative), 논쟁적 (Controversial), 중립 (Neutral).
  • 데이터: 각 플랫폼에서 5,000 개의 포스트를 샘플링하여 풀 (Pool) 을 구성. 각 실험 조건에서 100 회 독립적인 추천 시도를 수행 (총 540,000 개의 추천 생성).
  • 입력: LLM 에는 포스트의 텍스트만 제공되었으며, 참여도 수나 저자 정보와 같은 메타데이터는 제공되지 않았습니다. 이는 모델의 사전 학습 (Pre-training) 및 정렬 (Alignment) 에서 학습된 편향을 격리하기 위함입니다.

• 편향 측정 지표:

  • 추천된 포스트와 원본 풀 (Pool) 간의 분포 차이를 분석.
  • 특성 (Features): 텍스트 길이, 감정 (Sentiment), 스타일, 양극화 (Polarization), 유해성 (Toxicity), 저자 인구통계 (성별, 정치적 성향, 소수자 여부 - Twitter/X 데이터만 가능).
  • 통계적 방법: 범주형 데이터는 Cramér's V, 수치형 데이터는 Cohen's d 를 사용하여 $R^2$로 변환하여 편향의 크기를 정량화.

3. 주요 결과 (Key Results)

A. 편향의 지형도 및 프롬프트 효과 (RQ1)

• 양극화 (Polarization) 의 지배적 역할: 모든 모델과 조건에서 가장 강력한 편향은 양극화 점수였습니다. 명시적인 참여 유도 프롬프트가 없더라도 모든 구성에서 양극화된 콘텐츠가 선택되었습니다.
• 프롬프트의 영향: 프롬프트는 콘텐츠 특성 (단어 길이, 주제 등) 에는 큰 영향을 미쳤으나 (단어 길이는 16 배 차이), 인구통계학적 편향 (정치적 성향 등) 에는 제한적인 완화 효과만 있었습니다.
  • '논쟁적 (Controversial)' 및 '정보성 (Informative)' 프롬프트가 평균적으로 가장 큰 편향을 보였습니다.
  • '중립 (Neutral)' 프롬프트조차 명시적 지시가 없을 때 모델의 기본 편향 (양극화 선호) 을 가장 강력하게 드러냈습니다.

B. 모델별 콘텐츠 및 안전 편향 (RQ2)

• 양극화: 세 모델 모두 양극화된 콘텐츠를 선호하는 경향이 있었습니다. 특히 OpenAI 는 프롬프트에 관계없이 가장 일관된 편향을 보인 반면, Claude 와 Gemini 는 프롬프트에 따라 편향이 크게 변했습니다.
• 감정 (Sentiment): 참여 유도 (Engaging) 프롬프트 하에서 모든 모델이 부정적 감정을 선호했습니다. 특히 Gemini 가 가장 강력하고 일관된 부정적 선호를 보였습니다.
• 유해성 (Toxicity) 처리의 역설:
  • 참여 유도 프롬프트: Claude 와 Gemini 는 유해한 콘텐츠를 허용하거나 선호하는 경향을 보였습니다.
  • 정보성 프롬프트: 모든 모델이 유해성을 강력히 회피했습니다.
  • 이는 모델이 프롬프트의 목적에 따라 안전 기준을 역전 (Inversion) 시킬 수 있음을 보여줍니다.

C. 인구통계학적 편향 (Twitter/X 데이터, RQ3)

• 정치적 성향 편향: 풀 (Pool) 에서는 우파 저자가 다수 (43.4%) 였음에도 불구하고, **모든 모델과 프롬프트에서 좌파 저자가 체계적으로 과대표 (Over-representation)**되었습니다. 이는 모델이 학습 데이터에서 정치적 성향과 콘텐츠 특성의 상관관계를 학습했음을 시사합니다.
• 성별 및 소수자 편향: 정치적 성향에 비해 편향 효과는 작고 일관성이 부족했습니다. 특히 소수자 상태는 '알 수 없음 (Unknown)' 비율이 48.4% 로 높아 해석에 주의가 필요했습니다.
• 편향 메커니즘: SHAP 분석 결과, 인구통계학적 특성은 직접적인 결정 요인 (Feature Importance) 이 거의 없었으나, 콘텐츠 특성 (양극화, 주제 등) 과의 학습된 상관관계를 통해 간접적으로 편향이 발생했습니다. 즉, 저자의 성별이나 정치적 성향을 직접 입력하지 않아도, 해당 그룹이 작성한 콘텐츠의 특성이 추천에 영향을 미쳤습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 다차원 편향 감사: 기존 연구가 놓치고 있던 '공급자 - 플랫폼 - 프롬프트'의 3 차원적 교차 분석을 통해, 편향이 모델 고유의 특성인지 구조적인 문제인지를 구분했습니다.
2. 프롬프트 엔지니어링의 한계: 프롬프트 변경은 콘텐츠의 스타일이나 주제 분포를 바꿀 수 있지만, 인구통계학적 공정성 (Demographic Fairness) 을 해결하기에는 불충분함을 입증했습니다. 특히 '중립' 프롬프트조차 편향을 완화하지 못하며 오히려 기본 편향을 강화할 수 있음을 보였습니다.
3. 간접 차별 (Indirect Discrimination) 의 확인: 모델이 명시적으로 인구통계학적 정보를 사용하지 않더라도, 학습된 콘텐츠 패턴을 통해 특정 집단을 체계적으로 과대표하거나 과소대표할 수 있음을 규명했습니다.
4. 실무적 시사점:
   • LLM 기반 큐레이션 시스템 (Grok, Attie 등) 이 실제 배포될 때, 편향 완화는 단순한 프롬프트 조정이 아닌 적대적 편향 제거 (Adversarial Debiasing), 순위 제약 조건, 데이터 큐레이션, 인간-AI 하이브리드 감독 등 더 근본적인 개입이 필요함을 강조합니다.
   • '중립'이라는 개념이 편향 없는 기준이 될 수 없으며, 모델의 기본 동작 자체가 일종의 편집적 선택임을 경고합니다.

5. 결론

이 연구는 LLM 기반 콘텐츠 큐레이션이 양극화를 보편적으로 증폭시키며, 정치적 성향에 따른 체계적인 편향을 유지한다는 사실을 밝혔습니다. 이러한 편향은 모델의 기본 동작 (Default Behavior) 에 내재되어 있어 프롬프트만으로는 해결하기 어렵습니다. 따라서 고위험 분야 (High-stakes domains) 에 LLM 을 배포하기 전에는 민감한 속성, 프롬프트 전략, 플랫폼을 아우르는 포괄적인 편향 감사와 표준화가 필수적입니다.