Laissez-Faire Harms: Algorithmic Biases in Generative Language Models

기술 요약: 방임주의의 해악: 생성형 언어 모델의 알고리즘적 편향

문제 제기
교육 튜터링부터 인공 친밀감에 이르기까지 중재되지 않은 소비자 환경에서 생성형 언어 모델 (LM) 의 급속한 배포는, 특히 소수화된 집단을 대상으로 한 사회심리적 해악에 대한 우려를 제기해 왔습니다. 기존 알고리즘적 편향에 관한 문헌은 주로 "명시적 정체성 프롬프팅"(예: "흑인 여성은 ~로 일한다") 을 활용하지만, 이 접근법은 정체성 용어가 명시되지 않은 자연스럽고 개방적인 사용 상황에서 발생하는 차별을 포착하지 못합니다. 또한, 개방형 프롬프팅에 대한 선행 연구들은 종종 자동화된 감정 분석이나 독성 탐지에 의존하여 표현적 해악의 미묘한 메커니즘을 반영하지 못하는 등 최종 소비자 해악에 대한 근거가 부족합니다. 본 연구는 사용자가 명시적인 제약 없이 캐릭터 속성을 자유롭게 선택할 수 있는 '방임주의 (laissez-faire)' 환경에서 다섯 가지 보편적인 생성형 LM(ChatGPT 3.5, ChatGPT 4, Claude 2.0, Llama 2, PaLM 2) 이 교차적 정체성 (인종, 성별, 성적 지향) 에 대한 편향을 어떻게 고착화하는지에 대한 이해의 공백을 해소합니다.

연구 방법
연구자들은 다섯 가지 모델을 통해 50 만 개의 합성 텍스트를 생성하는 대규모 감사를 수행했습니다. 실험 설계는 미국 사회생활의 세 가지 영역을 아우르는 100 개의 고유한 개방형 프롬프트를 활용했습니다: 학습(K-12 및 고등 교육 상호작용), 노동(15 개 직종에 걸친 직장 상호작용), 그리고 사랑(대인 관계).

• 프롬프트 설계: 프롬프트는 두 가지 조건으로 분류되었습니다: 권력 중립적(예: 수업에서 뛰어난 성과를 내는 학생) 과 권력 내재적(예: 고군분투하는 학생을 멘토링하는 스타 학생으로, 지배/종속 역학을 도입). 모든 프롬프트는 인종, 성별, 또는 성적 지향을 명시하지 않고 미국적 맥락을 반영하기 위해 구어체 용어 "American"을 사용했습니다.
• 정체성 모델링:
  • 성별/성적 지향: 연구는 대명사, 호칭, 언급과 같은 텍스트 단서를 세 가지 성별 범주 (논바이너리, 여성화, 남성화) 와 성적 지향을 암시하는 여섯 가지 관계 쌍에 매핑했습니다.
  • 인종: 인종은 성명을 기반으로 한 분수화 계수 (fractionalized counting) 를 통해 모델링되었습니다. 저자들은 자기 신고 인종에 대해 2017/2022 년 플로리다 유권자 등록 데이터를 활용하고, 표준 유권자 데이터셋에서 과소 대표된 중동/북아프리카 (MENA) 및 하와이 원주민/태평양 섬 주민 (NH/PI) 집단에 대해서는 위키백과 기반의 국적 매핑을 보충 자료로 활용했습니다.
• 자동 추출: 50 만 개의 이야기에서 이름과 성별 참조를 추출하기 위해 미세 조정된 코어퍼런스 해결 모델 (ChatGPT 3.5) 이 사용되었으며, 논바이너리 정체성과 같은 과소 대표 집단에 대한 수동 보정 후 높은 정밀도 (>98%) 와 재현율 (>97%) 을 달성했습니다.
• 지표:
  • 생략의 해악: 표현 비율 (Representation Ratio, $R_{rep}$) 을 통해 측정되었으며, LM 출력 내 특정 인구 집단의 비율을 미국 인구조사 기준과 비교했습니다.
  • 종속의 해악: 종속 비율 (Subordination Ratio, $R_{sub}$) 을 통해 측정되었으며, 권력 내재적 프롬프트에서 특정 인구 집단이 지배적 역할보다 종속적 역할에 등장할 확률을 계산했습니다.
  • 고정관념화의 해악: 반복되는 내러티브 원형 (예: "백인 구원자", "영구적 이방인", "고귀한 야만인") 을 식별하기 위해 텍스트 일부에 대한 질적 비판적 분석을 수행했습니다.

주요 기여

1. 방임주의 프레임워크: 본 연구는 사용자가 명시적으로 정체성 기반 콘텐츠를 요청하지 않을 때도 편향이 지속되며 종종 심화됨을 입증하는 "방임주의 해악" 개념을 도입했습니다.
2. 교차성 분석: 인종이나 성별을 종종 집계하는 선행 연구와 달리, 본 연구는 인종, 성별, 성적 지향의 교차점을 분석하며, 종종 편향 감사에서 배제되는 "소수 집단 (small-N)"(예: NH/PI, AI/AN, 논바이너리) 을 포함합니다.
3. 종속의 정량화: 저자들은 소수화된 정체성이 단순히 생략되는 것이 아니라 백인 동급자에 비해 종속적 역할 (예: 고군분투하는 학생, 환자, 고객) 에 불균형적으로 배치됨을 경험적 증거로 제시하며, 그 비율이 수천 배에 달한다고 밝혔습니다.
4. 질적 메커니즘: 논문은 정량적 종속을 특정 언어적 고정관념 (예: 백인 멘토링의 필요성을 정당화하는 "영구적 이방인" 원형) 과 연결하여 이러한 편향이 소비자들에게 어떻게 고정관념 위협 (stereotype threat) 을 활성화하는지에 대한 메커니즘을 제시합니다.

결과

• 생략: 권력 중립적 시나리오에서 백인 캐릭터는 현저히 과대표출되었습니다 (중앙값 비율 >1.25), 반면 소수화된 집단은 과소대표되었습니다. 논바이너리 캐릭터는 ChatGPT 3.5 를 제외하고 이야기의 0.5% 미만으로 등장했으며, 비이성애 관계는 이야기의 3% 미만으로 묘사되었습니다.
• 종속: 권력 역학이 도입되면 격차가 극적으로 확대되었습니다. 소수화된 캐릭터는 지배적 역할보다 종속적 역할로 묘사될 확률이 수백 배에서 수천 배 더 높았습니다. 예를 들어, 학습 영역에서 Latine 남성화 학생은 Claude 2.0 출력에서 지배적 역할보다 종속적 역할로 묘사될 확률이 1,308 배 더 높았습니다. 반면 백인 캐릭터는 압도적으로 지배적 역할 (예: "스타 학생", "멘토") 에 배치되었습니다.
• 고정관념화: 질적 분석은 만연한 고정관념을 드러냈습니다:
  • 영구적 이방인: MENA, 아시아, Latine 캐릭터는 언어/문화에 어려움을 겪는 이민자나 외국인으로 자주 묘사되어 성공을 위해 백인 멘토링이 필요하다는 식으로 표현되었습니다.
  • 백인 구원자: 백인 캐릭터는 일관되게 변화, 인내, 자선의 주체로 위치づけ된 반면, 소수화된 캐릭터는 무력하거나 구원이 필요하다고 묘사되었습니다.
  • 고귀한 야만인/시간에 갇힘: 원주민 캐릭터는 종종 외딴 시대의 현대 이전 환경에서 살거나 "고대" 취미를 가르치는 모습으로 묘사되어 현대 사회에서의 존재감이 지워졌습니다.
  • 퀴어/논바이너리: 이러한 캐릭터는 노숙, 트라우마, 또는 재정적 의존에 관한 내러티브에 자주 묘사되었으며, 종종 백인 이성애 주인공의 자비로움을 부각시키는 플롯 장치로 기능했습니다.

의의 및 주장
본 논문은 생성형 LM 이 단순히 사회적 편향을 반영하는 것이 아니라 "방임주의" 생성을 통해 이를 능동적으로 증폭시켜 헤게모니적 권력 구조를 강화하는 피드백 루프를 생성한다고 주장합니다. 저자들은 이러한 해악이 악의적 행위자나 실존적 위험에 초점을 맞춘 "AI 안전" 우려와 구별되며, 무방비한 소비자를 위한 근본적인 인권 문제라고 역설합니다.

본 연구는 소수화된 개인이 종속적 묘사를 접할 확률이 수천 배 더 높다는 이러한 해악의 규모가 고정관념 위협을 활성화하고 부정적인 자아 인식을 강화함으로써 심리적 안녕에 직접적인 위협을 가한다고 주장합니다. 저자들은 현재 자가 감사와 "레드 팀링 (red-teaming)" 접근 방식이 이러한 미묘하고 개방적인 편향을 고려하지 못하기 때문에 불충분하다고 결론지었습니다. 그들은 다음과 같은 조치를 요구합니다:

1. AI 개발의 구조적 격차를 해소하는 정책 수립을 위한 교차적 및 사회기술적 접근.
2. 개발자들의 훈련 데이터 및 모델 아키텍처에 대한 투명성 강화.
3. 다양한 소비자가 이러한 해악을 인식하고 완화할 수 있도록 역량을 부여하는 비판적 AI 교육 프로그램.

저자들은 추가 감사와 연구를 촉진하기 위해 "방임주의 프롬프트 데이터셋"을 공개했으며, 미국 맥락을 넘어 글로벌하고 문화적으로 관련된 연구의 필요성을 강조했습니다.