Detecting LGBTQ+ Instances of Cyberbullying

기술 요약: LGBTQ+ 대상 사이버불링 탐지

문제 정의
사이버불링은 전 세계 청소년의 정신 건강에 심각한 위협을 가하고 있으며, 동료의 공격적 행위와 자살률 증가 사이의 연관성에 대한 증거가 존재한다. 일반적인 사이버불링 탐지는 이미 확립된 분야이지만, LGBTQ+ 커뮤니티에 특화된 민감성을 갖춘 모델을 개발하는 데에는 결정적인 공백이 존재한다. 연구에 따르면 LGBTQ+ 개인은 이성애자 및 시스젠더 동료들에 비해 온라인 괴롭힘을 겪는 비율이 불균형적으로 높다. 더욱이, 기존의 "원사이즈(one-size-fits-all)" 방식의 탐지 모델은 성소수자를 겨냥한 괴롭힘의 독특하고 미묘하며 맥락 의존적인 특성을 포착하지 못하는 경우가 많다. 본 연구는 실시간 소셜 미디어 환경에서 LGBTQ+ 개인을 표적으로 하는 사이버불링 사건을 정확하게 식별할 수 있는 머신러닝 모델의 필요성을 다룬다.

연구 방법론
본 연구는 인스타그램 댓글이 LGBTQ+ 관련 사이버불링을 포함하고 있는지 여부를 분류하기 위해 세 가지 사전 학습된 트랜스포머 언어 모델인 RoBERTa, BERT, GPT-2를 구현하고 평가한다.

• 데이터셋: 본 연구는 1,083개의 인스타그램 댓글 데이터셋을 활용하며, 이 중 217개는 LGBTQ+ 커뮤니티를 표적으로 하는 것으로 구체적으로 주석이 달린 데이터이다. 데이터는 심리학 및 컴퓨터 과학 전문가로 구성된 다양한 팀에 의해 레이블링되었으며, 콘텐츠 유형, 목적 및 방향성의 미묘한 차이를 포착하였다.
• 모델 아키텍처:
  • RoBERTa 및 BERT: 시퀀스 분류 헤드(sequence classification heads)를 적용하여 적응시켰으며, 이진 교차 엔트로피 손실(binary cross-entropy loss)과 AdamW 옵티마이저를 사용하여 학습되었다.
  • GPT-2: 원래의 텍스트 생성 설계에도 불구하고 시퀀스 분류 작업을 수행할 수 있도록, 풀링된 출력(pooled output) 위에 선형 레이어를 추가하는 GPT2ForSequenceClassification을 사용하여 수정되었다.
  • 하이퍼파라미터: 모델은 배치 크기 16, 학습률 $5 \times 10^{-5}$로 3 에포크(epoch) 동안 학습되었다.
• 클래스 불균형 처리: 소수 클래스(LGBTQ+ 불링)와 다수 클래스(비-LGBTQ+ 불링) 간의 불균형을 해결하기 위해, 저자들은 세 가지 구성(원본 데이터셋, SMOTE(Synthetic Minority Over-sampling Technique)를 이용한 오버샘플링, ADASYN(Adaptive Synthetic Sampling)을 이용한 오버샘플링)을 실험하였다.
• 평가: 성능은 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1 점수, 그리고 AUROC(Area Under the Receiver Operating Characteristic curve)를 사용하여 5-겹 교차 검증(5-fold cross-validation)을 통해 평가되었다.

주요 결과
실험 결과, RoBERTa가 대부분의 구성에서 BERT와 GPT-2보다 일관되게 우수한 성능을 보였다.

• 최고 성능: RoBERT는 오버샘플링을 하지 않은 원본 데이터셋에서 가장 높은 정확도(0.9456)와 F1 점수(0.733)를 기록했다. 가장 높은 AUROC 점수(0.8926)는 ADASYN 오버샘플링을 사용한 RoBERTa에 의해 달성되었다.
• 클래스별 격차: 클래스별 분석 결과 상당한 성능 격차가 드러났다. 모델은 비-LGBTQ+ 불링(True Negatives)을 식별하는 데는 높은 정밀도와 재현율을 보였으나, LGBTQ+ 불링(True Positives)을 식별하는 데는 크게 어려움을 겪었다.
  • RoBERTa(원본)의 경우, 비-LGBTQ+ 클래스의 재현율은 0.986인 반면, LGBTQ+ 클래스의 재현율은 0.6372에 불과했다.
  • 이러한 경향은 모든 오버샘플링 기법 전반에 걸쳐 지속되었으며, 이는 모델이 LGBTQ+ 불링 댓글을 비-LGBTQ+로 빈번하게 오분류(False Negatives)하고 있음을 나타낸다.
• 오버샘플링의 영향: SMOTE와 ADASYN은 일반적으로 원본 데이터셋에 비해 True Positive의 수를 증가시켰으나, 소수 클래스에 대한 낮은 재현율 문제를 완전히 해결하지는 못했다.

한계 및 과제
저자들은 모델 성능의 특정 과제를 다음과 같이 식별하였다:

1. 맥락 및 미묘함: 모델은 LGBTQ+ 괴롭힘에서 흔히 나타나는 암시적 언어, 풍자, 그리고 코드화된 표현을 파악하는 데 어려움을 겪는다. 예를 들어, 모델은 특정 비속어에 대한 학습 데이터 부족으로 인해 'dyke'라는 호모포빅 비속어를 식별하지 못해 False Negative 사례를 발생시켰다.
2. 미검출(False Negatives): 높은 미검출률은 현재 모델들이 모호한 댓글을 비-불링으로 분류하려는 편향을 가지고 있어, 심각한 괴롭힘을 놓칠 가능성이 있음을 시사한다.
3. 데이터셋 제약: 본 연구는 데이터셋의 크기와 다양성, 그리고 인스타그램 데이터에만 국한되었다는 점에서 한계를 가진다.

의의 및 향후 방향
본 논문은 최첨단 트랜스포머 모델들이 일반적인 불링과 LGBTQ+ 특화 불링을 구분하는 데 유망함을 보여주지만, 상당한 미검출(False Negatives) 없이 복잡하고 미묘한 괴롭힘을 처리할 만큼 아직 견고하지는 않다고 주장한다. 본 연구는 범용적인 탐지 시스템보다는 맞춤형 온라인 안전 도구의 필요성을 강조한다.

저자들은 향후 연구가 다음 사항에 집중해야 한다고 제안한다:

• 맥락을 풍부하게 하기 위한 멀티모달 데이터(이미지, 비디오, 소셜 네트워크 지표)의 통합.
• 더 넓은 범위의 불링 시나리오를 반영하는 데이터셋 개발.
• 상호작용의 순서와 타이밍을 고려하는 모델 구축.
• LGBTQ+ 커뮤니티에 대한 탐지 능력을 향상시키기 위한 공정성 인식 학습 방법론(fairness-aware training methodologies) 탐색.

결론적으로, 본 연구는 테스트된 모델 중 RoBERTa가 가장 효과적임을 입증하였으나, 현재의 기술은 LGBTQ+ 개인이 직면한 미묘하고 종종 암시적인 사이버불링을 정확하게 탐지하기 위해 추가적인 정교화가 필요함을 보여준다.