AIWizards at MULTIPRIDE: A Hierarchical Approach to Slur Reclamation Detection

논문 요약: AIWizards at MULTIPRIDE - 혐오 표현 재점유 감지를 위한 계층적 접근법

1. 문제 정의 (Problem)

• 핵심 과제: 혐오 표현 (Hate Speech) 감지 시스템에서 '재점유된 욕설 (Reclaimed Slurs)'을 식별하는 것은 매우 어려운 문제입니다. 동일한 어휘가 사회적 정체성과 맥락에 따라 공격적인 표현으로 쓰이기도 하고, 동질감을 확인하는 긍정적 표현 (재점유) 으로 쓰이기도 하기 때문입니다.
• 한계: 기존의 텍스트 기반 분류 모델은 표면적인 어휘만 분석하여 화자의 의도나 맥락 (화자의 소속감, 사회적 배경 등) 을 파악하는 데 한계가 있습니다.
• EVALITA 2026 MultiPRIDE 태스크: 본 연구는 EVALITA 2026 의 MultiPRIDE 공유 태스크 (Subtask B) 에 참여하여, 트윗 텍스트뿐만 아니라 사용자 프로필 (Bio) 정보를 활용하여 욕설이 재점유된 것인지 (내부 집단 사용), 아니면 혐오 표현인지 (외부 집단 공격) 를 구분하는 것을 목표로 합니다.

2. 방법론 (Methodology)

저자들은 사용자 정체성과 언어 사용 사이의 방향성 의존 관계를 가정하고, 작업을 두 단계로 분해하는 계층적 모델링 (Hierarchical Modeling) 접근법을 제안했습니다.

• 가설: LGBTQ+ 커뮤니티 구성원들은 비구성원에 비해 특정 욕설을 재점유 (긍정적/내부적) 방식으로 사용할 확률이 높습니다. 따라서 사용자의 정체성 신호를 추출하여 혐오 표현 감지 모델에 통합하면 성능이 향상될 수 있습니다.

• 아키텍처 (Dual-Encoder Architecture):

  1. 텍스트 인코더 (Text Encoder): 트윗과 사용자 프로필을 입력받아 혐오 표현 재점유 감지 (주 태스크) 를 수행하도록 미세 조정 (Fine-tuning) 된 BERT 기반 모델입니다.
  2. 사용자 인코더 (User Encoder):
     • 약한 지도 학습 (Weak Supervision): LLM (DeepSeek-V3.2) 을 사용하여 트윗과 프로필 텍스트를 분석, 사용자가 LGBTQ+ 커뮤니티에 소속되었을 가능성 (Proxy Label) 을 이진 레이블로 자동 생성합니다.
     • 이 레이블은 실제 신원 확인이 아닌, 재점유 감지에 유용한 사회언어학적 신호를 학습시키기 위한 보조 태스크로 사용됩니다.
     • 이 인코더는 사용자 관련 사회언어학적 신호를 잠재 공간 (Latent Space) 에 인코딩합니다.
  3. 융합 메커니즘 (Gated Fusion):
     • 두 인코더의 최종 은닉 상태 ($h_{text}$, $h_{user}$) 를 결합합니다.
     • 학습된 게이트 (Learned Gating): 각 인스턴스별로 텍스트 내용과 사용자 맥락 신호의 가중치를 동적으로 조절하는 게이트 메커니즘을 도입하여 융합된 표현 ($h_{fused}$) 을 생성합니다.
     • 수식: $h_{fused} = g \odot h_{text} + (1-g) \odot h_{user}$

• 학습 절차:

  1. 기본 텍스트 인코더를 주 태스크로 미세 조정.
  2. 사용자 인코더를 LLM 기반의 보조 (Proxy) 태스크로 학습.
  3. 게이트 메커니즘과 분류기를 포함한 전체 모델을 주 태스크로 공동 미세 조정 (Joint Fine-tuning).

3. 주요 기여 (Key Contributions)

• 계층적 모델링 프레임워크: 텍스트 내용과 사용자 프로필 정보를 분리하여 학습한 후, 게이트 메커니즘을 통해 통합하는 모듈식 아키텍처를 제안했습니다.
• LLM 기반 약한 지도 학습: 실제 레이블이 없는 사용자 프로필 데이터를 활용하여, LLM 을 통해 '소속감 신호'를 추출하고 이를 모델 학습에 활용하는 방법을 제시했습니다.
• 확장성: 이 프레임워크는 향후 멀티모달 데이터나 소셜 네트워크 정보와 같은 추가적인 맥락 정보를 쉽게 통합할 수 있는 구조를 제공합니다.

4. 실험 결과 (Results)

• 데이터: 이탈리아어와 스페인어 데이터셋을 사용 (클래스 불균형이 심함: 재점유되지 않은 경우가 약 80% 이상).
• 성능:
  • 개발 세트 (Development Set): 제안된 듀얼 인코더 모델은 강력한 BERT 기반 베이스라인과 통계적으로 유의미한 차이가 없는 (Statistically Equivalent) 성능을 보였습니다.
    • 이탈리아어: 베이스라인 F1 0.90 vs 제안 모델 F1 0.88 ($p=0.28$)
    • 스페인어: 베이스라인 F1 0.67 vs 제안 모델 F1 0.64 ($p=0.17$)
  • 공식 테스트 세트: 베이스라인과 유사한 성능을 유지하며, 모델 복잡도 증가가 성능 저하를 초래하지 않음을 확인했습니다.
• 언어 간 차이: 이탈리아어 모델이 스페인어 모델보다 성능이 높았는데, 이는 언어적 특성보다는 베이스라인 모델의 사전 학습 (SetFit 기반 vs 일반 멀티링구얼) 과 태스크 관련성 차이에서 기인한 것으로 분석되었습니다.
• 오류 분석: 모델이 명백한 적대적 의도를 가진 트윗을 재점유된 것으로 잘못 분류하는 경우가 있었습니다. 이는 특정 욕설 어휘가 훈련 데이터에서 재점유 맥락에 편향되어 있거나, 사용자 인코더의 신호가 게이트 메커니즘을 과도하게 지배하여 발생한 것으로 추정됩니다.

5. 의의 및 결론 (Significance & Conclusion)

• 성능 향상보다는 프레임워크의 유효성 증명: 제안된 모델이 베이스라인보다 통계적으로 유의미한 성능 향상을 가져오지는 않았으나, 사용자 중심의 사회언어학적 맥락을 혐오 표현 감지 모델에 통합할 수 있는 모듈식 프레임워크가 유효함을 입증했습니다.
• 미래 방향: 현재 모델이 베이스라인과 동등한 성능을 보인 것은 기존 사전 학습 언어 모델이 텍스트 맥락만으로도 충분히 강력함을 의미합니다. 그러나 향후 더 정교한 퓨전 전략, 보조 지도 학습의 개선, 또는 멀티모달/소셜 네트워크 정보의 통합을 통해 재점유된 언어의 미세한 차이를 더 잘 포착할 수 있을 것으로 기대됩니다.
• 윤리적 고려: 사용자 프로필 기반의 프로파일링은 프라이버시와 편향의 위험이 있으므로, 이를 '진실된 신원 확인'이 아닌 '맥락 신호 학습을 위한 약한 지도'로만 사용하도록 설계했습니다.

이 연구는 혐오 표현 감지 분야에서 텍스트 외의 사용자 맥락 정보를 체계적으로 통합하는 새로운 패러다임을 제시했다는 점에서 의의가 있습니다.