Large Language Models Reproduce Racial Stereotypes When Used for Text Annotation

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 학술 연구, 콘텐츠 중재, 채용 screening 등 다양한 분야에서 텍스트 자동 주석 (annotation) 을 수행하는 표준 도구로 급격히 확산되고 있습니다. 특히 지시 튜닝 (instruction-tuned) 된 모델은 별도의 학습 데이터 없이 자연어 프롬프트만으로 텍스트의 감정, 정치적 성향, 성격 특성 등을 분류할 수 있습니다.
• 문제: 기존 연구들은 LLM 이 훈련 데이터에 내재된 인종 및 민족적 고정관념을 학습하여 재생산한다는 사실을 지적해 왔습니다. 그러나 기존 연구는 주로 생성형 출력 (generative outputs) 이나 단일 작업 분류에 국한되었습니다. 제로샷 (zero-shot) 텍스트 주석 작업에서 사회적 편향이 어떻게 작용하는지, 그리고 이것이 연구, 거버넌스, 의사결정에 어떤 영향을 미치는지는 충분히 규명되지 않았습니다.
• 핵심 질문: 텍스트에 포함된 미묘한 정체성 단서 (이름, 방언 등) 가 LLM 의 주석 결과에 체계적인 편향을 유발하는가?

2. 연구 방법론 (Methodology)

본 연구는 미국, 유럽, 중국의 9 개 기관에서 개발된 19 개의 LLM을 대상으로 총 400 만 건 이상의 주석 판단을 포함한 대규모 감시 (audit) 연구를 수행했습니다. 연구는 두 가지 보완적인 실험 패러다임을 결합했습니다.

실험 1: 이름 기반 실험 (Names Paradigm)

• 설계: 211 개의 생애 기록 (biographical vignettes) 에 특정 인종/민족과 연관된 이름 (아랍, 아시아, 흑인, 히스패닉, 백인) 을 삽입하여 텍스트의 내용만 동일하게 유지했습니다.
• 작업: 39 가지 이진 분류 작업 (취업 가능성, 인지 능력, 성격, 고정관념 등) 에 대해 모델이 텍스트를 주석하도록 요청했습니다.
• 데이터: 19 개 모델이 총 100 회 (일부 모델은 50 회) 반복 실행하여 약 400 만 개의 응답을 수집했습니다.
• 분석: 소수계 이름과 백인 이름 간의 주석 차이 (Gap) 를 계산하고, 베네만 - 호치버그 (Benjamini-Hochberg) 가설 검정을 통해 통계적 유의성을 검증했습니다.

실험 2: 방언 기반 실험 (Dialect Paradigm)

• 설계: Propositional content (명제적 내용) 는 완전히 동일하지만, **표준 미국 영어 (SAE)**와 **아프리카계 미국인 구어체 (AAVE)**로만 표현을 달리한 텍스트 쌍을 구성했습니다.
• 작업: 16 가지 주석 작업 (전문성, 교육 수준, 유해성, 분노 등) 을 수행했습니다.
• 데이터: 19 개 모델이 50 회 반복 실행하여 약 15 만 2 천 개의 응답을 수집했습니다.
• 분석: SAE 대비 AAVE 텍스트의 주석 점수 차이를 매칭된 쌍 (matched-pair) 구조를 통해 분석했습니다.

3. 주요 결과 (Key Results)

A. 이름에 따른 고정관념 재생산 (Experiment 1)

모델들은 이름에 기반한 정체성 단서에 따라 일관된 고정관념 프로필을 보였습니다.

• 흑인 이름: 19 개 모델 중 18 개가 '공격적 (aggressive)'이고 '수다스러운 (gossipy)' 것으로 평가했습니다. 반면 '자율성 (self-discipline)'은 모든 그룹에서 가장 일관되게 낮게 평가받았습니다.
• 아시아 이름 (대나무 천장 효과):
  • 인지적 우위: 17 개 모델이 '지능이 높다', 15 개 모델이 '창의적이다'로 평가.
  • 대인관계/주도성 열위: 18 개 모델이 '자신감이 없다', 17 개 모델이 '리더십이 부족하다', 18 개 모델이 '사교성이 낮다'고 평가. 이는 인간 연구에서 보고된 '대나무 천장 (bamboo ceiling)' 고정관념을 정확히 재현합니다.
• 아랍 이름: 인지적 능력은 높게 평가받는 반면 (지능, 야망), 대인관계 측면에서는 '감정적이다', '게으르다', '소통 능력이 떨어진다'는 부정적 평가가 우세했습니다.
• 히스패닉 이름: 지능은 높게 평가받지만 '가난할 가능성'이 높고, 리더십 및 소통 능력이 낮게 평가받는 혼합된 패턴을 보였습니다.
• 예외 (채용 가능성): 흥미롭게도, 이름 기반 '채용 가능성 (hireability)' 평가에서는 소수계 이름이 백인 이름보다 더 높게 평가받는 과도한 교정 (overcorrection) 현상이 관찰되었습니다. 이는 지시 튜닝 과정에서 채용 차별에 대한 명시적 교정 압력이 작용했음을 시사합니다.

B. 방언에 따른 보편적 차별 (Experiment 2)

이름 대신 **방언 (AAVE)**으로 정체성이 드러날 경우, 편향 패턴이 더욱 극단적이고 보편적으로 나타났습니다.

• 부정적 평가의 보편성: 19 개 모델 전원이 AAVE 텍스트를 SAE 텍스트보다 훨씬 덜 전문적 (-0.774), 덜 교육받은 (-0.688), 더 화난 (+0.153), 더 유해한 (+0.091) 것으로 평가했습니다.
• 채용 가능성: 모든 모델이 AAVE 화자의 채용 가능성을 낮게 평가했습니다 (-0.305). 이는 이름 기반 실험에서 관찰된 '과도한 교정' 현상이 방언에는 적용되지 않음을 의미합니다.
• 결론: AAVE 는 문법적으로 규칙적인 언어 변이임에도 불구하고, 훈련 데이터에 내재된 비권위적 방언에 대한 가치 하락이 모든 모델에서 일관되게 재생산되고 있습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 자동화 주석의 편향 구조 규명: LLM 이 텍스트 주석 도구로 사용될 때, 저자 (작성자) 의 정체성 단서 (이름, 방언) 를 통해 사회적 고정관념을 체계적으로 재생산한다는 것을 대규모 데이터로 입증했습니다.
2. 편향의 다차원적 특성: 편향은 단순한 '좋음/나쁨'이 아니라, 인종/민족 그룹별로 고유의 프로필 (예: 아시아인의 '지능은 높으나 리더십은 낮음') 을 가지며, 방언의 경우 거의 보편적인 불이익으로 나타남을 발견했습니다.
3. 교정 메커니즘의 한계: 지시 튜닝 (Instruction Tuning) 은 이름 기반의 채용 차별과 같이 '가시적이고 감사 (audit) 하기 쉬운' 편향에는 과도하게 반응하여 역차별을 유발할 수 있지만, 방언 기반의 편향이나 더 미묘한 성격 고정관념에는 효과가 없거나 오히려 악화시킬 수 있음을 보여줍니다.
4. 연구 및 정책적 함의:
   • LLM 을 이용한 텍스트 분류는 중립적인 측정 도구가 아니라, 기존 사회적 위계를 데이터셋과 측정 지표에 직접 주입하는 도구가 될 수 있습니다.
   • 연구자들은 LLM 주석 결과를 사용할 때 저자 정체성 (명시적이지 않더라도 텍스트에서 추론됨) 이 결과에 영향을 미칠 수 있음을 인지하고 경계해야 합니다.
   • 단순히 모델을 교체한다고 해서 이러한 편향이 사라지지 않으며 (9 개 기관 19 개 모델 모두 유사한 패턴), 편향 감지 및 수정을 위한 새로운 검증 절차가 필요합니다.

5. 결론

이 논문은 대규모 언어 모델이 텍스트 주석 작업에서 인종적 고정관념을 재생산하는 메커니즘을 체계적으로 규명했습니다. 특히 이름과 방언이라는 두 가지 다른 정체성 단서가 모델의 판단에 어떻게 다른 형태의 편향을 유발하는지, 그리고 현재의 AI 안전 조치 (지시 튜닝) 가 왜 일부 편향은 교정하면서도 다른 편향은 방치하거나 악화시키는지를 보여줍니다. 이는 AI 기반 의사결정 시스템의 공정성을 확보하기 위해 단순한 성능 최적화를 넘어, 사회적 맥락과 고정관념 구조에 대한 깊은 이해가 필요함을 강조합니다.