Causality Guided Representation Learning for Cross-Style Hate Speech Detection

기술 요약: 교차 스타일 혐오 표현 탐지를 위한 인과 관계 기반 표현 학습 (CADET)

문제 정의
온라인 혐오 표현의 확산은 콘텐츠 중재, 특히 암시적(implicit) 혐오 표현을 탐지하는 데 있어 상당한 과제를 안겨줍니다. 명시적(explicit) 혐오 표현이 노골적인 비속어나 직접적인 공격으로 특징지어지는 반면, 암시적 혐허는 풍자, 아이러니, 고정관념, 그리고 암호화된 언어에 의존하기 때문에 표면적인 언어적 단서에 의존하여 학습된 모델이 이를 탐지하기 어렵게 만듭니다. 기존의 탐지 시스템은 다양한 스타일적 변이와 플랫폼 간의 일반화 성능이 저하되는 문제를 겪고 있습니다. 모델들은 특정 비속어나 플랫폼 특유의 구문과 같은 특정 스타일적 특징과 혐오 레이블 사이의 가짜 상관관계(spurious correlations)에 의존하며, 이로 인해 암시적 표현을 마주하거나 서로 다른 인구 통계 및 중재 맥락을 가진 플랫폼에 배치될 때 실패하게 됩니다. 핵심 문제는 진정한 혐오 의도(인과 요인)와 도메인에 따라 변하는 스타일적 발현(혼란 요인)을 구분하는 것입니다.

방법론: CADET 프레임워크
저자들은 혐오 표현 생성의 가설적 인과 그래프에 기반한 CADET(Causality Guided Representation Learning for Cross-Style Hate Speech Detection) 프레임워크를 제안합니다.

1. 인과 가설: 혐오 표현의 생성은 다음과 같은 과정을 포함하는 것으로 모델링됩니다:

   • 맥락적 환경 ($U$): 제작자의 동기, 타겟 선정, 스타일 선택에 영향을 미치는 관찰되지 않은 혼란 요인(예: 플랫폼 정책, 인구 통계).
   • 잠재 요인 (Latent Factors):
     • 제작자 동기 ($M$): 해를 끼치려는 의도.
     • 타겟 ($T$): 대상이 되는 집단 또는 개인.
     • 스타일 ($S$): 언어적 표현 (명시적 vs. 암시적).
   • 진정한 동기 ($M^*$): 맥락적 환경 $U$와 독립적인, 도메인 불변적인 잠재 변수로서의 진정한 혐오 의도.
   • 레이블 ($Y$): 진정한 동기 $M^*$과 맥락 $U$에 의해 결정됨.

2. 아키텍처 구성 요소:

   • 인과적 정렬 분리 (Causally-Aligned Disentanglement): 모델은 사전 학습된 인코더(RoBERTa)를 사용하여 텍스트를 잠재 공간으로 매핑합니다. 그 후, 이 표현을 네 가지 잠재 요인, 즉 동기($z_m$)와 혼란 요인($z_u$)을 위한 연속 변수, 그리고 타겟($z_t$)과 스타일($z_s$)을 위한 이산 변수(Gumbel-Softmax 사용)로 분리합니다.
   • 혼란 요인 완화 (Confounder Mitigation): 잠재 요인이 맥락과 관련된 가짜 상관관계를 인코딩하는 것을 방지하기 위해 다음을 채택합니다:
     • 적대적 혼란 재구성 (Adversarial Confounder Reconstruction): 결합된 잠재 요인으로부터 혼란 요인 $U$를 복구하려고 시도하는 판별기(discriminator)를 위해 그래디언트 역전 레이어(GRL)를 사용합니다. 인코더는 이 복구를 최소화하도록 학습되어, 인과적 요인들로부터 $U$를 효과적으로 제거합니다.
     • 직교성 제약 (Orthogonality Constraints): 잠재 요인들($M, T, S, U$)이 서로 직교하도록 투영하여 통계적 독립성을 강제합니다.

로, 융합된 잠재 요인으로부터 원래의 텍스트를 재구성하여 분리가 의미론적 내용을 보존하는지 확인합니다.
* 잠재 반사실적 추론 (Latent Counterfactual Reasoning): 스타일 불변성을 강제하기 위해, 모델은 잠재 공간 내에서 스타일 잠재 변수($S$)에 개입합니다. "스타일 반전 네트워크"는 동기와 타겟은 고정한 채 스타일을 반전시킵(예: 명시적에서 암시적으로). 모델은 이러한 스타일 개입에도 불구하고 혐오 예측이 일관되게 유지되도록 학습됩니다(Counterfactual Consistency Loss).

3. 학습 목적 함수: 모델은 태스크 손실(혐오 분류), 타겟/스타일 분류, 직교성, 적대적 디컨파운딩, 재구성 및 반사실적 일관성 손실을 결합한 다중 목적 함수를 통해 최적화됩니다. 상충하는 목적들을 안정적으로 최적화하기 위해 단계별 학습 커리큘럼이 적용됩니다.

주요 기여

• 원칙적인 인과 그래프: 본 논문은 혐오 표현의 생성 과정을 해석 가능한 잠재 요인(동기, 타겟, 스타일, 맥락)으로 명시적으로 분리하는 공식적인 인과 모델을 도입하여 명시적 및 암시적 혐오 탐지를 통합합니다.
• CADET 프레임워크: 반사실적 추론과 적대적 디컨파운딩을 활용하여 혐오 의도를 스타일적 인공물로부터 격리함으로써, 인과 그래프를 구현하는 표현 학습 프레임워크를 제시합니다.
• 실증적 검증: 네 가지 실제 데이터셋(IsHate, IHC, AbuseEval, DynaHate)에 대한 광범적인 실험을 통해, 전통적인 NLP 모델, 특화된 혐오 탐지기, 대규모 언어 모델(LLM)을 포함한 최첨단 베이스라인 모델들에 비해 우수한 교차 스타일 일반화 성능을 입증했습니다.

결과

• 교차 스타일 일반화: CADET은 명시적-암시적 전이 작업에서 평균 Macro-F1 0.81을 달성하였으며, 이는 가장 강력한 베이스라인 대비 13%의 상대적 향상을 나타냅니다. 암시적-명시적 전이에서도 0.885의 높은 평균 F1을 유지합니다.
• 강건성 (Robustness): 높은 재현율을 보이지만 정밀도가 낮은(또는 그 반대인) 기존 모델들과 달리, CADET은 균형 잡힌 성능을 유지합니다. 또한, 불안정한 성능을 보이거나 교차 스타일 시나리오에서 실패하는 인과 베이스라인(PEACE, HateWATCH) 및 LLM 기반 탐지기(ShieldGemma, Llama Prompt Guard)를 유의미하게 능가합니다.
• 절제 연구 (Ablation Studies): 반사실적 손실($L_{cf}$)을 제거했을 때 가장 큰 성능 저하(F1 24포인트 감소)가 발생하였으며, 이는 스타일 개입을 통한 불변 표현 학습의 결정적인 역할을 확인시켜 줍니다.
• 시각화: t-SNE 시각화는 동기 잠재 공간($z_m$)이 혐오 게시물과 비혐오 게시물을 명확히 구분하는 반면, 타겟, 스타일, 혼란 요인 공간은 그렇지 않음을 보여주며, 이를 통해 인과 요인의 성공적인 분리를 입증합니다.

의의
본 논문은 CADET이 스타일 불변 혐오 탐지 문제에 대한 원칙적인 해결책을 제공한다고 주장합니다. 표면적인 언어 패턴에서 근본적인 인과적 의도로 초점을 전환함으로써, 이 프레임워크는 암시적 혐호에 취약한 현재 모델들의 한계를 해결합니다. 이 연구는 인과적 분리와 반사실적 추론을 활용하여 더욱 강건하고, 해석 가능하며, 일반화 가능한 콘텐츠 중재 시스템을 구축할 수 있는 경로를 제시하며, 진화하는 형태의 혐오 표현에 적응할 수 있는 더 안전한 온라인 환경을 만드는 데 기여합니다.