Challenger at MultiPRIDE: Is It Hate Speech or Reclaimed?

기술 요약: MultiPRIDE에서의 혐오 표현과 재전유된 언어(Reclaimed Language)의 구분

문제 정의
본 논문은 자동화된 혐오 표현 탐지에서 직면한 핵심적인 과제인, 실제 혐오 표현과 "재전유된 언어(reclaimed language)"를 구별하는 문제를 다룬다. 혐오 표현이 정체성(종교, 인종, 성적 지향 등)을 근거로 개인을 공격하는 반면, 소외 계층(예: LGBTQ+ 커뮤니티) 구성원들은 내부 결속력을 높이기 위해 전통적으로 모욕적인 용어를 "의미적 재전유(semantic reclamation)" 또는 "가상 무례함(mock impoliteness)"의 형태로 재사용하곤 한다. 자동화된 시스템은 이러한 재전유된 표현을 종종 혐오 표현으로 오분류하여, 자기표현을 제한하는 거짓 양성(false positives)을 초래한다. 이 과업은 의미가 화자의 정체성과 사용 맥락에 크게 의존하는 맥락 의존적 언어의 특성으로 인해 더욱 복잡해지며, 가용 데이터셋의 극심한 클래스 불균형 문제로 인해 더욱 악화된다.

방법론
저자들은 제한된 계산 자원 하에서도 효율적으로 작동하면서 해석 가능성을 유지하도록 설계된 언어 불가지론적(language-agnostic) 파이프라인을 제안한다. 이 접근 방식은 네 가지 주요 단계로 구성된다:

1. 데이터 전처리 및 증강:

   • 정제(Cleaning): 정규 표현식을 사용하여 URL, 사용자 언급, 비 ASCII 문자(이모지 포함)를 제거하여 원문 텍스트를 정제한다. 결정적으로, 해시태그의 의미적 텍스트 콘텐츠를 보존하기 위해 # 기호를 제거한다.
   • 증강(Augmentation): 심각한 클래스 불균형을 해결하기 위해 저자들은 역번역(back-translation) 전략을 채택한다. 소수 클래스 샘플을 Google 번역 API를 통해 피벗 언어(프랑스어, 독일어, 러시아어, 페르시아어)로 번역한 후 다시 원문 언어로 번역한다. 이를 통해 훈련 분포를 풍부하게 할 합성 양성 샘플을 생성한다.

2. 특징 추출 및 레이블 정제:

   • 임베딩(Embeddings): 텍le 샘플은 최첨단 intfloat/e5-large-v2 문장 트랜스포머 모델을 사용하여 1024차원의 조밀한 의미 벡터(dense semantic vectors)로 변환된다.
   • 노이즈 필터링(Noise Filtering): 저자들은 레이블 노이즈를 식별하고 제거하기 위해 Cleanlab 프레임워크(특히 Confident Learning)를 활용한다. 임베딩에 로지스틱 회귀 분류기를 적합시켜 레이블 오류 확률이 높은 인스턴스를 탐지한다. 이렇게 노이즈가 있는 인스턴스는 최종 훈련 단계 전에 필터링되어 더 깨끗한 훈련 신호를 보장한다.

3. 모델 아키텍처:

   • 핵심 분류기는 TensorFlow/Keras로 구축된 경량 다층 퍼셉트론(MLP)이다.
   • 구조: MLP는 문장 임베딩을 입력받아 ReLU 활성화 함수를 사용하는 두 개의 밀집 은닉층(각각 16개 및 8개의 유닛)을 통과한다. 출력층은 이진 확률 점수 산출을 위해 Sigmoid 활성화 함수를 사용한다.
   • 훈련: 모델은 Adam 옵티마이저와 Binary Crossentropy 손실 함수를 사용하여 훈련된다. 클래스 불균형을 완화하기 위해, 소수 클래스의 오분류에 더 엄격한 벌점을 부여하는 클래스 가중치(class weights)를 계산한다.

4. 검증 및 임계값 튜닝:

   • 데이터는 레이블 비율을 보존하기 위해 층화 추출(stratified sampling, 80/20)을 사용하여 분할된다.
   • 고정된 0.5 결정 경계 대신, 시스템은 검증 세트에서 F1-스코어를 최대화하는 결정 경계를 찾는 조정된 임계값 최적화 방법을 사용한다. 이를 위해 0.1에서 0.9 사이의 결정 경계 범위를 탐색한다.

주요 기여
본 논문은 MultiPRIDE 공유 과업에 대한 구체적인 기여를 다음과 같이 기술한다:

• 해시태그의 의미를 보존하면서 노이즈를 제거하는 체계적인 텍스트 정제.
• 고도로 불균형한 데이터에 대한 신뢰할 수 있는 평가를 보장하기 위한 층화 추출 구현.
• 훈련 분포를 균형 있게 만들기 위한 역번역 증강 적용.
• intfloat/e5-large-v2 모델을 통한 심층 의미 특징 추출.
• 레이블 노이즈 필터링을 위한 Cleanlab을 통한 훈련 신호 품질 향상.
• 성능과 계산 효율성 사이의 균형을 맞춘, 작업 최적화된 경량 신경망 설계.

결과
시스템은 영어, 이탈리아어, 스페인어 트윗을 포함하는 MultiPRIDE 데이터셋을 통해 평가되었다. 평가 지표에는 정밀도(Precision), 재현율(Recall), F1-스코어가 포함되었으며, 매크로 평균(macro-averaged) 지표에 중점을 두었다.

• 이탈리아어: Macro-avg F1-스코어 0.8815(Class 0 F1: 0.9570; Class 1 F1: 0.8060)로 가장 강력한 성능을 보였다.
• 스페인어: Macro-avg F1-스코어 0.6773(Class 0 F1: 0.8361; Class 1 F1: 0.5185)를 기록했다.
• 영어: Macro-avg F1-스코어 0.6203(Class 0 F1: 0.9318; Class 1 F1: 0.3089)로 가장 낮은 성능을 보였다.

저자들은 모든 언어, 특히 영어에서 나타나는 소수 클래스(재전유된 언어)의 낮은 성능이 모델의 불안정성보다는 데이터셋의 극심한 클래스 불균형 문제에서 기인한 것임을 언급하였다.

의의 및 주장
본 논문은 자사의 방법론이 작은 훈련 세트와 제한된 계산 자원 환경에서도 클래스 관계를 효과적으로 학습할 수 있음을 입증한다고 주장한다. 저자들은 자사의 접근 방식을 효과성과 효율성의 균형을 맞춘 "최소한의 대안(minimal alternative)"으로 규정한다.

본 연구의 의의는 무거운 계산 모델에 의존하지 않고 다국어 환경에서 작동할 수 있다는 점에 있으며, 이는 자원이 제한된 시나리오에서도 접근 가능하다. 저자들은 자사의 시스템이 우수한 성능을 보이지만, 언어 간 성능 차이(특히 낮은 영어 결과)는 해당 과업의 난이도를 잘 보여준다고 겸허히 결론짓는다. 그들은 향후 더 큰 임베딩 모델, 더 발전된 전처리, 복잡한 학습 접근법을 통해 개선될 수 있음을 시사하면서도, 현재의 접근 방식이 혐오 표현과 재전유된 언어를 구분하는 데 있어 견고한 출발점을 제공한다는 점을 강조한다.