💬 NLP

IYKYK (But AI Doesn't): Automated Content Moderation Does Not Capture Communities' Heterogeneous Attitudes Towards Reclaimed Language

이 논문은 LGBTQIA+, 흑인, 여성 커뮤니티 구성원들 사이에서도 재회수된 비속어 사용에 대한 해석과 신고 기준에 상당한 이질성이 존재하며, 이러한 맥락과 주관성을 고려하지 않는 현재의 AI 기반 콘텐츠 moderation 시스템은 소수자의 목소리를 잘못 억압하고 있음을 실증적으로 보여줍니다.

원저자: Christina Chance, Rebecca Pattichis, Arjun Subramonian, James He, Shruti Narayanan, Saadia Gabriel, Kai-Wei Chang

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Christina Chance, Rebecca Pattichis, Arjun Subramonian, James He, Shruti Narayanan, Saadia Gabriel, Kai-Wei Chang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎭 1. 핵심 비유: "친구끼리 하는 농담 vs 남이 하는 모욕"

상상해 보세요. 아주 친한 친구들이 모여서 서로를 놀릴 때 쓰는 특정 별명이 있다고 칩시다.

친구끼리 할 때: "야, 너 진짜 바보야!"라고 하면 서로 웃으며 "하하, 내 친구가 나를 그렇게 부르는 건 사랑의 표현이지!"라고 받아들입니다. (이게 **'재회 (Reclamation)'**입니다. 과거에 모욕적으로 쓰이던 단어를 자신들의 단어로 다시 가져와 친밀감을 표현하는 거죠.)
남이 할 때: 하지만 그 친구가 아닌 남이 와서 "야, 너 진짜 바보야!"라고 하면, 그건 순수한 모욕과 혐오로 느껴집니다.

이 연구의 문제점은 다음과 같습니다:
인터넷 플랫폼 (페이스북, 트위터 등) 에 있는 AI 감시 시스템은 이 두 상황을 구분하지 못합니다. AI 는 단순히 "바보"라는 단어가 나왔으니 "이건 욕설이니까 삭제하자!"라고 판단합니다. 그 결과, 친구들끼리 웃으며 나누던 대화까지 AI 가 잘못 판단해서 지워버리거나, 커뮤니티 구성원들의 목소리가 억압받는 일이 생깁니다.

🔍 2. 연구가 발견한 놀라운 사실: "우리도 의견이 달라!"

연구진은 "아니, 우리 커뮤니티 (흑인, 성소수자, 여성 등) 사람들로만 모아서 판단하게 하면 AI 가 더 잘 하겠지?"라고 생각할 수 있습니다. 하지만 연구 결과는 정반대였습니다.

비유: 같은 반 친구들끼리 모아서 "이 그림이 예쁜지 아닌지" 투표한다고 칩시다.
- 기존 생각: "같은 반 친구들이니까 다 비슷하게 생각하겠지?"
- 실제 결과: 친구들끼리도 의견이 팽팽하게 갈렸습니다. 어떤 친구는 "이건 농담이야!"라고 하고, 다른 친구는 "이건 상처 주는 말이야!"라고 했습니다.

왜 그럴까요?

개인의 경험: 어릴 때 이 단어를 어떻게 들었는지, 가족은 어떻게 썼는지, 어떤 상처를 받았는지에 따라 해석이 완전히 다릅니다.
상황의 중요성: 문맥이 조금만 달라져도 (누가, 언제, 왜 썼는지) 같은 단어라도 의미가 바뀝니다.

즉, "우리 커뮤니티 사람들은 모두 똑같은 생각을 한다"는 가정이 틀렸습니다. 커뮤니티 안에도 다양한 목소리와 해석이 공존합니다.

🤖 3. AI 의 한계: "문맥을 읽지 못하는 맹인"

연구진은 실제 AI (Perspective API 같은 도구) 와 사람들의 판단을 비교해 봤습니다.

AI 의 행동: "단어에 'n-word(흑인 비하 단어)'가 들어갔으니 무조건 위험하다!"라고 판단합니다.
사람의 행동: "아, 이건 흑인 친구들이 서로를 부르는 말이야. 삭제하면 안 돼."라고 생각합니다.
결과: AI 는 흑인 커뮤니티가 스스로 단어를 재해석해서 사용하는 경우까지도 "혐오 발언"으로 잘못 표시해서 삭제해 버립니다. 이는 마치 친구들끼리 나누는 농담을 경찰이 와서 "이건 폭력이다"라고 잡아간 꼴입니다.

특히 n-word는 AI 가 가장 민감하게 반응해서 흑인 커뮤니티의 목소리를 가장 많이 억압하는 것으로 나타났습니다. 반면, b-word(bitch) 같은 단어는 일상에서 많이 쓰이게 변해서 AI 와 사람의 의견 차이가 상대적으로 적었습니다.

💡 4. 결론: "하나의 정답은 없다"

이 논문이 우리에게 전하는 메시지는 다음과 같습니다.

단순한 규칙은 통하지 않는다: "이 단어가 나오면 무조건 금지"라는 식의 단순한 AI 규칙은 실패합니다.
다양한 목소리를 인정해야 한다: 같은 커뮤니티 안에서도 사람마다 단어를 보는 눈이 다릅니다. AI 가 "정답 (Gold Standard)"을 정하려 하기보다, 이 다양한 의견이 공존할 수 있도록 유연하게 대처해야 합니다.
문맥이 생명이다: 누가, 어떤 상황에서, 왜 그 단어를 썼는지 (문맥) 를 이해하지 못하면 AI 는 항상 실수합니다.

🚀 요약하자면

이 연구는 **"AI 는 친구들끼리 나누는 복잡한 농담과 감정을 이해하지 못한다"**는 것을 증명했습니다. 특히 소수자 커뮤니티가 스스로의 언어를 재해석하여 사용하는 경우, AI 는 이를 오해하여 오히려 그들의 목소리를 막아버립니다.

**"AI 가 모든 것을 통제하려 하지 말고, 사람마다 다른 해석을 존중할 수 있는 더 똑똑하고 유연한 시스템이 필요하다"**는 것이 이 논문의 핵심 메시지입니다.

1. 연구 배경 및 문제 제기 (Problem)

재회복된 비속어 (Reclaimed Slurs) 의 모호성: LGBTQIA+, 흑인, 여성 커뮤니티와 같은 소수 집단 내에서 역사적으로 억압적이었던 비속어 (예: n-word, f-word, b-word) 가 단결, 정체성, 공유된 경험의 상징으로 재해석되어 사용되고 있습니다.
자동화된 콘텐츠 moderation 의 실패: 현재의 AI 기반 콘텐츠 심사 시스템은 이러한 '재회복된 사용 (reclaimed usage)'과 '혐오 표현 (hateful usage)'을 구분하지 못합니다. 그 결과, 소수 집단의 목소리가 과도하게 삭제되거나 억압당하는 문제가 발생합니다.
동질성 가설의 오류: 기존 연구는 소수 집단 내부의 구성원들이 재회복된 언어에 대해 동일한 태도를 가질 것이라고 가정하고, '내부자 (in-group)' annotator 를 활용하여 라벨링의 정확도를 높이려 했습니다. 그러나 본 논문은 동일한 정체성을 가진 집단 내에서도 개인의 경험, 배경, 상황에 따라 해석이 극도로 이질적 (heterogeneous) 일 수 있음을 지적하며, 단순한 내부자 라벨링만으로는 신뢰할 수 있는 '골드 스탠다드 (Gold Standard)'를 만들 수 없다고 주장합니다.

2. 연구 방법론 (Methodology)

본 연구는 양적 (Quantitative) 과 질적 (Qualitative) 방법을 혼합한 혼합 연구 (Mixed-methods) 접근법을 사용합니다.

데이터 수집:
- Twitter(X) API 와 기존 혐오 표현 데이터셋 (Dynahate, ToxiGen 등) 을 활용하여 약 12,000 개의 비속어 포함 게시글을 수집했습니다.
- 대상 단어: **n-word (흑인), f-word (성소수자), b-word (여성)**의 세 가지 주요 재회복 비속어.
- 최종 분석을 위해 각 단어당 100 개의 텍스트 (총 300 개) 를 선정했습니다.
참여자 (Annotators) 및 인터뷰:
- 대상: Black in AI, Queer in AI, Women in ML 채널을 통해 모집한 해당 커뮤니티 구성원들.
- 규모: 각 단어별 6~9 명의 annotator (총 21 명 완료), 인터뷰는 7 명 수행.
- 특징: 교육 수준과 AI/콘텐츠 심사 맥락에 대한 이해도를 통제하기 위해 전문 커뮤니티 내에서 모집했으나, 일반화보다는 다양한 관점의 포착에 중점을 두었습니다.
주석 (Annotation) 태스크:
- annotator 는 각 텍스트에 대해 다음을 라벨링했습니다:
  1. 재회복 유형: 자부심 (Pride) vs 내부적 유대감 (Insular) vs 재회복 아님.
  2. 비하적 성향 (Derogatory): 비속어 사용이 비하적인지 여부.
  3. 대상 (Target): 자신, 타인, 동일 커뮤니티, 타 커뮤니티 등.
  4. 맥락 (Context): 반격 (Counter speech), 인용 (Quote), 단어 논의, 정체성 논의, 성적 대상화, 풍자 등.
  5. 신고 의사 (Reporting): 작성자가 내부자일 때와 외부자일 때 각각 혐오 표현으로 신고할 의사가 있는지 (Yes/No).
- 인터뷰: 주석자들의 개인적 경험과 재회복 언어에 대한 해석이 어떻게 형성되었는지 심층 인터뷰를 진행했습니다.
모델 비교:
- annotator 의 판단과 Google 의 Perspective API(자동 혐오 표현 탐지 모델) 의 점수를 비교하여 정렬도 (Alignment) 를 분석했습니다.

3. 주요 결과 (Key Results)

A. 내부자 간 합의 부족 (Low Inter-Annotator Agreement)

크립펜도르프 알파 (Krippendorff's $\alpha$ ): 모든 커뮤니티와 질문에서 매우 낮은 합의율을 보였습니다.
- n-word: $\alpha = 0.06$
- f-word: $\alpha = 0.15$
- b-word: $\alpha = 0.21$
- (일반적으로 $\alpha > 0.80$ 을 높은 합의, $0.33$ 이상을 의미 있는 수준으로 봄)
의미: 동일한 커뮤니티에 속한 사람들조차 재회복된 비속어의 맥락과 의도를 해석하는 데 있어 심각한 불일치를 보입니다. 이는 데이터 노이즈가 아니라, 언어 해석의 본질적 주관성을 반영합니다.

B. 신고 결정에 영향을 미치는 요인 (Predictive Features)

저자 정체성 (Author Identity): 텍스트 작성자가 내부자인지 외부자인지에 따라 신고 여부가 크게 달라졌습니다.
비하적 성향과 대상: 텍스트가 비하적인지 (Derogatory) 와 누가 대상인지가 신고 결정의 핵심 요인이었습니다.
단어별 차이:
- n-word: 작성자 정체성보다 '비하적 사용' 여부가 신고 결정에 더 큰 영향을 미쳤습니다.
- f-word, b-word: 작성자의 정체성 (내부자 vs 외부자) 이 신고 결정에 더 큰 영향을 미쳤습니다.

C. AI 모델과의 불일치 (Model Misalignment)

Perspective API 의 편향: Perspective API 는 작성자가 외부자라고 가정할 때 (Out-group) annotator 의 판단과 더 잘 일치했습니다.
- n-word: 내부자가 사용할 때 AI 는 혐오 표현으로 잘못 분류할 확률이 매우 높았습니다 (ATV: 0.42). 이는 흑인 커뮤니티의 실제 경험을 반영하지 못함을 의미합니다.
- b-word: AI 와 annotator 의 합의가 가장 높았으나, 이는 b-word 가 주류 문화에 더 많이 통합되었기 때문으로 분석됩니다.
결론: 현재 AI 모델은 재회복된 언어의 맥락적 뉘앙스를 이해하지 못하고, 소수 집단의 언어 사용을 과도하게 억압 (Over-moderation) 하는 경향이 있습니다.

D. 인터뷰 통찰

경험의 다양성: 연령, 문화적 배경, 개인적 역사 (예: 가족 내 사용, 학교 경험) 가 비속어에 대한 태도를 결정합니다.
맥락의 중요성: 같은 단어라도 사용 맥락 (예: 노래 가사 인용, 풍자, 실제 비하) 에 따라 해석이 완전히 달라집니다. 텍스트만으로는 이러한 맥락을 파악하기 어렵습니다.

4. 주요 기여 (Key Contributions)

내부자 합의 신화 해체: 소수 집단 내부의 구성원이라고 해서 재회복된 언어에 대해 동일한 기준을 공유한다는 가정을 반증했습니다. **이질성 (Heterogeneity)**이 재회복 언어 해석의 핵심 특징임을 입증했습니다.
맥락 중심의 분석 프레임워크: 단순한 키워드 매칭이나 이진 분류 (재회복 vs 혐오) 를 넘어, 작성자 정체성, 대상, 맥락적 맥락 (Context) 이 어떻게 상호작용하는지를 정량화했습니다.
AI 모델의 한계 규명: 현재 가장 널리 쓰이는 자동화 심사 도구 (Perspective API) 가 재회복 언어에 대해 얼마나 편향되어 있는지, 그리고 소수 집단의 실제 경험을 얼마나 놓치고 있는지를 구체적인 데이터로 증명했습니다.
플러럴리즘 (Pluralism) 제안: 단일한 '골드 스탠다드' 라벨을 강요하는 대신, 다양한 해석을 포용하는 다원적 정렬 (Pluralistic Alignment) 접근법의 필요성을 강조했습니다.

5. 의의 및 시사점 (Significance)

콘텐츠 심사 정책의 재고: "내부자 라벨링"이 만능 해결책이 아님을 보여줍니다. 소수 집단의 언어 사용을 규제할 때는 단일 규칙이 아닌, 맥락에 민감하고 유연한 접근이 필수적입니다.
NLP 및 AI 개발 방향: 재회복된 언어를 처리하는 모델은 단순한 분류 문제를 넘어, 사회적 맥락과 개인의 lived experience 를 고려해야 합니다. **다원적 정렬 (Pluralistic Alignment)**이나 사용자 맞춤형 moderation (Personalized Content Moderation) 과 같은 새로운 패러다임이 필요합니다.
사회적 영향: 자동화된 시스템의 과도한 검열은 소수 집단의 표현의 자유와 커뮤니티 형성을 위협합니다. 본 연구는 이러한 기술적 편향이 어떻게 사회적 불평등을 재생산하는지 보여주며, 더 공정한 AI 시스템 설계를 위한 기초를 제공합니다.

결론적으로, 이 논문은 "AI 가 알지 못하는 것 (IYKYK)"은 소수 커뮤니티 내부의 복잡한 언어적 뉘앙스와 주관적 해석임을 강조하며, 기술적 솔루션이 인간의 복잡성을 이해하지 못하면 오히려 소외를 심화시킬 수 있음을 경고합니다.