ChildGuard: A Specialized Dataset for Combatting Child-Targeted Hate Speech

기술 요약: ChildGuard: 아동 대상 혐오 표현 대응을 위한 특화 데이터셋

문제 정의
정신 건강 산업은 소셜 미디어에서 아동을 겨냥한 혐오 표현이 증가하는 문제에 대해 점점 더 큰 우려를 표하고 있습니다. 발달의 결정적 단계에 있는 아동이 이러한 콘텐츠에 노출되는 것은 정서적 고통, 불안, 사회적 고립, 자존감 저하를 포함한 부정적인 심리적 결과를 초래할 수 있습니다. 그러나 기존의 혐오 표현 탐지 시스템과 데이터셋은 주로 성인 중심으로 설계되어 있습니다. 이들은 일반적으로 연령별 특성($A$)을 고려하지 않은 채, 텍스트 콘텐츠($X$)와 혐오 표현 라벨($Y \in \{0, 1\}$) 사이의 관계만을 모델링합니다. 결과적으로, 이러한 시스템은 정서적 회복력과 인지적 성숙도가 성인과 확연히 다른 아동을 대상으로 하는 혐오 표현을 효과적으로 탐지하는 데 필요한 전용 표현력을 갖추지 못하고 있습니다.

방법론
저자들은 이 간극을 메우기 위해 설계된 대규모 영어 데이터셋인 ChildGuard를 소개합니다. 방법론은 데이터 수집, 필터링 및 주석 달기(annotation) 과정을 포함합니다:

• 데이터 수집: 아동이 활발하게 참여하는 세 가지 주요 플랫폼인 Reddit, X (구 Twitter), YouTube에서 약 580,000개의 원시 텍스트 인스턴스를 수집했습니다. 수집에는 공공 API (PRAW, Tweepy, YouTube Data API v3)가 사용되었으며, 스레드 깊이 제한을 극복하기 위해 필요한 경우 커스텀 스크립트 (BeautifulSoup, Selenium)를 활용했습니다. 아동 관련 키워드(예: "kid", "teenager", "diagen", "school") 목록을 사용하여 관련 콘텐츠를 필터링했습니다.
• 필터링: 다단계 파이프라인을 통해 영어가 아닌 텍스트, 스팸, 중복 항목(SHA-256 해싱 활용), 그리고 이모지나 URL이 과도하게 포함되거나 토큰 수가 10개 미만인 인스턴스를 제거했습니다. 이 과정을 거쳐 469,910개의 인스턴스가 주석 작업을 위해 남겨졌습니다.
• 주석 달기: 숙련된 3명의 주석 작업자가 남겨진 인스턴스들에 대해 수동으로 라벨을 부여했습니다. 각 인스턴스는 다음을 할당받았습니다:
  • 혐오 표현 라벨 ($Y \in \{0, 1\}$).
  • 연령대 라벨 ($A \in \{\text{유아기 아동}, \text{사춘기 전 아동}, \text{청소년}\}$, 각각 11세 미만, 1112세, 1317세에 해당).
  • 서브셋 카테고리 ($S \in \{\text{어휘적}, \text{맥락적}\}$). 어휘적 서브셋(194K 인스턴스)은 어휘와 직접적인 모욕에 초점을 맞추며, 맥락적 서브셋(157K 인스턴스)은 담론 수준의 특징, 비꼬기(sarcasm), 간접적 참조를 포착합니다.
• 개인정보 보호: 주석 작업 전, 모든 개인식별정보(PII)는 spaCy의 NER 모델과 정규 표현식 규칙을 사용하여 익명화되었으며, 식별자는 SHA-256 해싱된 토큰으로 대체되었습니다.

주요 기여

1. ChildGuard 데이터셋: 아동 중심 콘텐츠와 특정 연령대 주석, 그리고 어휘적/맥락적 혐오 표현의 구분을 결합한 최초의 대규모 데이터셋인 351,877개의 주석 처리된 인스턴스를 도입했습니다.
2. 경험적 벤치마킹: 최근의 트랜스포머 기반 모델들(DeBERTa-v3-large, ModernBERT, RoBERTa-large, HateBERT)과 거대언어모델(GPT-4o, GPT-4.5, Claude-3.7 Sonnet, Gemini-2.5 Pro, DeepSeek-V3)을 이 특정 도메인에서 종합적으로 평가했습니다.

결과
보류된 테스트 세트(held-out test set)에 대한 평가는 아동 대상 혐오 표현 탐지의 상당한 어려움을 드러냅니다:

• 전반적인 성능: 가장 우수한 성능을 보인 모델인 GPT-4.5는 전체 데이터셋에서 **82.07%**의 Macro-F1 점수를 기록했습니다.
• 연령대별 편차: 성능은 대상 연령이 낮아질수록 일관되로 하락했습니다. GPT-4.5의 점수는 사춘기 전 아동에 대해 79.41%, 유아기 아동에 대해 79.24%로 떨어졌으며, 이는 더 어린 연령층을 겨냥한 혐오 표현이 더 미묘하고 맥락 의존적인 특성을 포함하고 있음을 나타냅니다.
• 어휘적 vs 맥락적: 모델들은 맥락적 서브셋(GPT-4.5 기준 Macro-F1 79.24%)에 비해 어휘적 서브셋(GPT-4.5 기준 85.11%)에서 유의미하게 높은 성능을 보였으며, 이는 간접적인 적대감과 담론 수준의 학대를 탐지하는 것이 더 어렵다는 것을 보여줍니다.
• 오류 분석: 오분류의 주요 원인은 암시적 혐오(31.4%), 맥락 의존성(25.8%), 그리고 연령 모호성(18.9%)이었습니다.
• 서브셋 간 일반화: 모델들은 서브셋 간 일반화에 어려움을 겪었습니다. 어휘적 인스턴스에서 맥락적 인스턴스로 전이했을 때, GPT-4.5의 성능은 74.88%로 하락했습니다.

의의 및 주장
본 논문은 ChildGuard가 정신 건강 산업의 중요한 자원 부족 문제를 해결하며, 아동 중심의 혐오 표현 탐지 시스템 개발을 위한 필수적인 토대를 제공한다고 주장합니다. 저자들은 현재의 최첨단 시스템들이 중간 정도의 성공을 거두고 있음에도 불구하고, 연령별 뉘앙스와 암시적 맥락을 처리하는 능력이 부족하여 이 특정 응용 분야에는 여전히 불충분하다고 강조합니다. 이 데이터셋은 텍스트 콘텐츠, 연령대 정보, 혐오 표현 라벨 사이의 관계를 더 잘 고려할 수 있는 모델 개발을 독려하는 벤치마크 역할을 하며, 전통적인 $P(Y|X)$ 공식을 넘어 더 복잡한 연령 인지형(age-aware) 프레임워크로 나아가는 것을 목표로 합니다.

한계점
저자들은 본 데이터셋이 세 가지 특정 플랫폼의 영어 콘텐츠로 제한되어 있다고 언급했습니다. 연령대 주석은 검증된 인구 통계 데이터가 아닌 텍스트 단서를 통해 추론된 것이며, 암시적 혐오를 포함하는 일부 사례는 본질적으로 모호함을 가집니다. 또한, 벤치마크 결과는 평가된 모델들에 국한되어 있어, 향후 연구를 위한 더 넓은 아키텍처 및 다국어 설정의 가능성을 열어두고 있습니다.