기존의 자동화 도구들은 성차별적인 콘텐츠를 볼 때 "성차별이다 (Yes)" 아니면 **"아니다 (No)"**라고만 판단했습니다.
비유: 마치 의사가 환자의 증상을 보고 "아프다" 아니면 "아프지 않다"라고만 진단하는 것과 같습니다. 하지만 환자는 "머리가 아픈지, 배가 아픈지, 아니면 심장이 두근거리는지"를 알아야 정확한 치료를 받을 수 있죠.
현실: 성차별도 다양한 형태가 있습니다. "여자는 요리만 해야 한다"는 고정관념, "성평등은 이미 달성됐다"는 부정, "동성애자는 나쁜 사람이다"는 차별, "여자를 물건처럼 보는" 대상화 등 그 종류가 다양합니다. 기존 도구들은 이 미세한 차이를 놓쳐버렸습니다.
2. 해결책: 'FineMuSe'라는 새로운 지도 만들기
연구진은 스페인어권 소셜 미디어 (TikTok, YouTube, BitChute 등) 의 동영상 828 개를 수집하여 **새로운 데이터셋 'FineMuSe'**를 만들었습니다.
비유: 성차별을 찾아내는 '탐정'들을 훈련시키기 위해, 다양한 유형의 성차별 사례가 담긴 정교한 지도를 그린 것입니다.
특징:
다양한 플랫폼: 짧은 영상 (Shorts) 과 긴 영상, 그리고 규제가 엄격한 곳과 느슨한 곳 등 다양한 환경을 포함했습니다.
세밀한 분류: 단순히 '나쁜 말'이 아니라, 고정관념, 차별, 부당함, 대상화 등 4 가지 주요 성차별 유형과, 반대로 성차별을 비판하는 '반대 목소리'까지 구분했습니다.
농담과 아이러니: "농담처럼 말했지만 사실은 성차별이다" 혹은 "성차별을 비꼬는 농담" 같은 미묘한 뉘앙스도 포함시켰습니다.
3. 실험: AI 가 인간보다 잘할까?
연구진은 최신 AI 모델 (LLM) 들을 이 새로운 지도로 시험해 보았습니다.
결과 1 (이진 분류): "이게 성차별이야?"라고 물으면, 최신 AI 는 인간 전문가와 거의同等한 수준으로 잘 맞췄습니다.
결과 2 (세밀한 분류): "어떤 종류의 성차별이야?"라고 물으면, AI 는 약간 헷갈려 했습니다.
비유: AI 는 "여자가 요리하는 장면"을 보고 "고정관념 (성차별)"이라고 잘 알아챘지만, 동시에 그 장면 속에 숨겨진 "여자를 물건처럼 보는 시선 (대상화)"을 놓치는 경우가 많았습니다.
이유: AI 는 텍스트 (대본) 는 잘 읽지만, 영상 속의 미세한 표정, 제스처, 분위기 같은 시각적 단서를 종합해서 여러 성차별 유형이 동시에 섞여 있는 것을 파악하는 데는 아직 한계가 있습니다.
4. 설명 능력: AI 는 왜 그렇게 판단했을까?
성차별을 발견했을 때, AI 가 그 이유를 설명할 수 있는지도 확인했습니다.
결과: AI 가 만든 설명은 인간이 쓴 설명과 비교해도 매우 훌륭했습니다.
비유: AI 가 "이 영상은 성차별입니다. 왜냐하면..."이라고 설명할 때, 그 논리가 인간처럼 자연스럽고 설득력이 있었습니다. 이는 AI 를 단순히 '감시자'가 아니라, 왜 그 콘텐츠가 문제인지 **이해시켜 주는 '해설자'**로 쓸 수 있음을 의미합니다.
5. 결론 및 시사점
이 연구는 **"성차별은 단순한 Yes/No 문제가 아니다"**라고 강조합니다.
핵심 메시지: 성차별을 막기 위해서는 AI 가 단순히 '나쁜 콘텐츠'를 걸러내는 것을 넘어, 어떤 종류의 성차별인지, 어떤 맥락에서 발생했는지를 이해할 수 있어야 합니다.
미래: AI 가 시각적 단서 (영상) 와 텍스트를 더 잘 결합하여, 인간처럼 복잡한 상황에서도 성차별의 여러 층위를 동시에 파악할 수 있다면, 소셜 미디어를 훨씬 더 안전하고 공평한 공간으로 만들 수 있을 것입니다.
한 줄 요약:
"성차별을 '매운지 아닌지'만 구분하는 게 아니라, '어떤 매운맛인지'까지 구분할 수 있는 정교한 AI 지도를 만들었으며, AI 는 이제 그 설명도 잘하지만, 영상 속 숨겨진 뉘앙스를 모두 파악하는 데는 아직 인간이 조금 더 낫다는 것을 발견했습니다."
1. 문제 제기 (Problem Statement)
이진 분류의 한계: 기존 성차별 탐지 도구들은 대부분 '성차별적이다/아니다'라는 이진 분류에 머무릅니다. 이로 인해 성차별의 미묘한 표현 (예: 아이러니, 유머, 암시적 편견) 이나 다양한 유형 (고정관념, 불평등 부인, 차별, 대상화 등) 이 동시에 나타나는 복잡한 사례를 탐지하지 못합니다.
다중 양식 (Multimodal) 데이터의 부재: 기존 연구는 주로 텍스트 (X, Reddit) 나 밈 (Meme) 에 집중했습니다. 텍스트, 음성, 영상이 결합된 소셜 미디어 비디오에서 세분화된 성차별을 탐지하는 연구는 매우 부족합니다. 특히 시각적 단서 (제스처, 의상, 배경 등) 를 통해 전달되는 성차별을 탐지하는 것은 난이도가 높습니다.
설명 가능성 (Explainability) 부족: 성차별 콘텐츠가 flagged 될 때 그 이유를 명확히 설명하지 못하면 사용자 및 콘텐츠 심사자의 신뢰도가 떨어집니다.
확장: 기존 MuSeD 데이터셋을 기반으로 YouTube Shorts 를 추가하여 플랫폼 다양성을 확보했습니다.
주석 (Annotation) 방식:
전문가 주석: 성차별 탐지 경험이 있는 전문가 6 명 (남녀 균형, 다양한 연령대 및 방언 사용) 이 참여했습니다.
계층적 분류 체계 (Hierarchical Taxonomy):
1 단계 (이진): 성차별적 (Sexist) vs 비성차별적 (Non-sexist).
2 단계 (세분화):
성차별적 유형: 고정관념 (Stereotypes), 불평등 부인 및 페미니즘 거부 (Denial of Inequality), 성소수자/성별 정체성 차별 (Discrimination), 대상화 (Objectification).
비성차별적 유형: 성차별 반대 발언 (Counter-speech), 성차별 경험 보고 (Reported Sexism).
3 단계 (수사적 장치): 아이러니 (Irony) 와 유머 (Humor) 여부 (성차별적/비성차별적 모두 적용).
다중 레이블: 하나의 비디오가 여러 성차별 유형을 동시에 가질 수 있도록 다중 레이블 방식을 채택했습니다.
B. 실험 설정
모델: 텍스트 전용 LLM (Llama-3, Qwen, GPT-4o, Claude 등) 과 멀티모달 LLM (GPT-4o V+L, Claude V+L, Gemini Video 등) 을 비교 평가했습니다.
프롬프트: 제로샷 (Zero-shot) 프롬팅 전략을 사용하며, JSON 형식으로 분류 결과와 근거 (Justification) 를 생성하도록 지시했습니다.
평가 지표: 이진 분류는 정확도 (Accuracy), 세분화 분류는 Macro F1 점수를 주 평가 지표로 사용했습니다.
3. 주요 기여 (Key Contributions)
FineMuSe 데이터셋 공개: 스페인어 멀티모달 성차별 탐지를 위한 최초의 세분화된 데이터셋을 공개했습니다. (이진 및 세분화 레이블 포함)
계층적 분류 체계 제안: 성차별의 다양한 형태와 수사적 장치 (아이러니, 유머) 를 포괄하는 상세한 분류 체계를 개발했습니다.
광범위한 모델 평가: 다양한 크기의 LLM 과 멀티모달 모델의 성능을 이진 및 세분화 태스크에서 종합적으로 평가했습니다.
인간 - 모델 상관관계 및 설명 품질 분석: 모델의 예측이 인간 주석가와 얼마나 일치하는지 분석하고, 모델이 생성한 설명의 품질을 인간 주석가와 비교 평가했습니다.
4. 실험 결과 (Results)
A. 모델 성능
멀티모달 모델의 우위: 멀티모달 LLM(비디오 + 텍스트) 이 텍스트 전용 모델보다 전반적으로 우수한 성능을 보였습니다. 특히 YouTube Shorts(Part 2) 데이터에서 시각적 맥락이 성능 향상에 중요한 역할을 했습니다.
모델 규모 효과: 대규모 모델 (Llama-3-70B, GPT-4o, Claude-3.7-Sonnet) 이 소형 모델보다 세분화된 성차별 탐지에서 훨씬 뛰어난 성능을 보였습니다.
최고 성능 모델: **Claude-3.7-Sonnet (V+L)**이 이진 분류 (Part 1: 85.8%, Part 2: 83.6%) 와 세분화 분류 (Part 1: Macro F1 67.5, Part 2: 72.8) 모두에서 최고 성능을 기록했습니다.
B. 세분화 유형별 성능
쉬운 유형: '고정관념 (Stereotypes)'과 '불평등 (Inequality)'은 상대적으로 탐지가 용이했습니다.
어려운 유형: **'대상화 (Objectification)'**는 모든 모델에서 성능이 매우 낮았습니다 (F1 점수 30~50 대). 이는 데이터셋 내 해당 사례의 희소성과, 시각적 단서 (노출, 성적 대상화) 를 텍스트만으로 해석하는 데서 오는 한계 때문입니다.
시각적 단서의 한계: 모델은 텍스트 기반의 고정관념은 잘 탐지하지만, 시각적 단서로 전달되는 성차별 (예: 대상화) 이 공존할 때 이를 함께 탐지하는 데 어려움을 겪었습니다.
C. 인간 - 모델 비교
상관관계: Claude-3.7-Sonnet 은 '고정관념'과 '차별' 카테고리에서 인간 주석가와 높은 상관관계를 보였으나, '대상화'에서는 상관관계가 낮았습니다.
설명 품질: 모델이 생성한 설명의 관련성 (Relevance), 정보성 (Informativeness), 근거성 (Groundedness) 은 인간이 작성한 설명과 통계적으로 유의미한 차이가 없거나 유사한 수준으로 평가되었습니다.
5. 의의 및 결론 (Significance & Conclusion)
연구의 의의: 이 연구는 성차별 탐지를 단순한 분류를 넘어, 성차별의 복잡한 양상과 수사적 기법을 이해하는 단계로 끌어올렸습니다. 특히 멀티모달 데이터의 중요성을 재확인했습니다.
실용적 가치: 콘텐츠 심사 도구 개발에 있어, 단순한 '성차별' 플래그뿐만 아니라 구체적인 유형과 근거를 제공하는 것이 가능해졌음을 시사합니다.
한계 및 향후 과제:
'대상화'와 같은 시각적 성차별 탐지 성능이 여전히 낮아, 시각적 특징을 더 잘 이해하는 모델 개발이 필요합니다.
아이러니와 유머에 대한 데이터가 상대적으로 부족하여, 이러한 수사적 장치를 활용한 성차별 탐지 정확도를 높이기 위한 데이터 수집이 필요합니다.
인간과 모델의 설명 선호도 차이를 분석하여 더 투명하고 신뢰할 수 있는 자동화 심사 시스템을 구축할 수 있는 기초를 마련했습니다.
요약하자면, 이 논문은 FineMuSe 데이터셋과 계층적 분류 체계를 통해 소셜 미디어 비디오의 성차별을 더 정교하게 탐지하고 설명할 수 있는 새로운 기준을 제시하였으며, 최신 멀티모달 LLM 이 인간 주석가와 경쟁력 있는 성능을 보이지만, 여전히 시각적 맥락 기반의 미묘한 성차별 탐지에는 개선의 여지가 있음을 밝혔습니다.