기술 요약: 인도어권 언어의 모욕적 댓글 감지를 위한 다단계 훈련

문제 제기

이 논문은 인도어권 언어의 맥락에서 소셜 미디어 플랫폼상의 모욕적 콘텐츠를 감지하는 중요한 과제를 다룹니다. 소셜 미디어는 의사소통을 촉진하지만, 자동화된 중재가 필요한 유해한 콘텐츠도 포함하고 있습니다. 저자들은 이 작업이 라벨링의 주관성, 언어적 뉘앙스 (아이러니, 유머, 철자 변이 등), 그리고 인도어권 언어를 위한 자원 부족으로 인해 본질적으로 어렵다고 강조합니다.

이 연구에 사용된 특정 데이터셋은 'Moj' 앱에서 수집된 70 만 건의 댓글로, 15 개 이상의 인도어권 언어를 포괄합니다. 해당 데이터셋은 다음과 같은 중대한 과제를 제시합니다:

• 라벨 노이즈: 저자들은 훈련 데이터의 약 9~10% 가 라벨링 오류 (예: 비꼬는 댓글을 모욕적으로 표시하거나, 독성 댓글을 비모욕적으로 표시한 경우) 를 포함하고 있다고 추정합니다.
• 언어적 복잡성: 댓글은 종종 코드 믹싱 (예: 힌글리시) 을 포함하거나 원어 문자 대신 라틴 문자로 작성됩니다.
• 자원 부족: 인도어권 언어를 위한 사전 훈련된 언어 모델은 종종 소규모 말뭉치로 훈련되어 그 효과성이 제한적입니다.

방법론

저자들은 오탐지 (false positives) 를 최소화하고 라벨 노이즈를 처리하기 위해 데이터 전처리, 모델 훈련, 후처리를 포함하는 다단계 파이프라인을 제안합니다.

1. 데이터 전처리

• 정제 및 전사: 원시 데이터셋에서 HTML 태그와 같은 비텍스트 엔티티를 제거하기 위해 정제가 수행되었습니다. 특히, 라틴 문자 (예: 힌글리시) 로 작성된 댓글은 indic-trans 라이브러리를 사용하여 할당된 원어 인도어권 언어로 전사되었습니다.
• 데이터 병합: 모델에 더 풍부한 구문 및 의미 정보를 제공하기 위해 원본 원시 텍스트와 정제/전사된 텍스트를 연결하는 실험이 수행되었습니다.
• 차원 축소: 성능을 최적화하기 위해 XLM-R 임베딩을 768 차원에서 200 차원으로 축소하기 위해 주성분 분석 (PCA) 이 적용되었습니다.

2. 모델 아키텍처 및 훈련

이 접근 방식은 딥러닝 및 경사 부스팅 모델의 앙상블을 활용합니다:

• 베이스 트랜스포머: 저자들은 XLM-R(다국어 RoBERTa 모델) 과 Muril(인도어권 언어를 위한 BERT 변형) 을 파인튜닝했습니다. XLM-R 은 교차 검증 (CV) 점수에서 Muril 보다 일관되게 우수한 성과를 거두었습니다.
• 특성 공학: 트랜스포머 모델의 문맥 임베딩을 데이터셋의 명시적 피드백 메타데이터 (좋아요 수 및 신고 수) 와 연결했습니다.
• 경사 부스팅: 트랜스포머 모델에서 풀링된 출력 (임베딩) 을 입력 특성으로 사용하여 LightGBM (LGBM) 분류기를 훈련했습니다.
• 언어별 모델링: 단일 글로벌 모델 대신 10 폴드 교차 검증 설정 내에서 각 언어별로 별도의 LGBM 모델을 훈련했습니다. 이는 언어 무관 훈련보다 상당한 성능 향상을 가져왔습니다.
• 의사 라벨링: 라벨 노이즈를 해결하기 위해 저자들은 반복적 의사 라벨링 기법을 구현했습니다. 최성능 모델의 예측을 추가 메타데이터로 사용하여 후속 모델을 훈련했습니다. 이 과정은 성능이 정체될 때까지 반복되었습니다.

3. 후처리

최종 단계는 모델 예측에 언어별 임계값을 적용하는 것이었습니다. 이 간단한 조정을 통해 각 특정 인도어권 언어에 대해 정밀도와 재현율 간의 균형을 미세 조정할 수 있었습니다.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 데이터셋 개선: 원시 데이터셋의 정제 및 전사된 버전을 생성하여 댓글을 할당된 원어 언어로 변환했습니다.
2. 강건한 파이프라인: 트랜스포머 임베딩, 메타데이터, 경사 부스팅을 통합한 효과적인 언어별 훈련 파이프라인을 개발했습니다.
3. 노이즈 처리: 의사 라벨링과 언어별 임계값을 통해 라벨 노이즈를 효과적으로 관리하는 파이프라인을 입증하여 표현의 자유를 훼손하지 않으면서 오탐지를 줄이는 것을 목표로 했습니다.

결과

저자들은 다양한 실험 단계를 통한 점수 (F1 점수) 의 진행 상황을 보고합니다:

• 베이스라인: XLM-R 파인튜닝은 0.8804의 CV 점수를 달성했습니다.
• 특성 증강: 메타데이터 추가 및 원시/전사 텍스트 연결로 점수가 0.8822로 향상되었습니다.
• LGBM 통합: XLM-R 임베딩을 LGBM 과 함께 사용하여 점수를 0.89481로 높였습니다.
• 언어별 훈련: 언어별 별도의 LGBM 모델을 훈련하여 점수를 0.89801로 끌어올렸습니다.
• 의사 라벨링: 언어별 LGBM 을 사용한 반복적 의사 라벨링은 단일 모델 점수 0.89934를 달성했습니다.
• 최종 앙상블: 고득점 모델의 가중치 앙상블과 언어별 후처리 임계값을 결합하여 리더보드 (LB) 에서 0.90000의 최종 점수를 달성했습니다.

중요성 및 주장

이 논문은 제안된 파이프라인이 합법적 발언의 억제를 방지하면서 모욕을 감지하는 데 있어 결정적인 요소인 오탐지율을 성공적으로 최소화했다고 주장합니다. 저자들은 인간이 라벨링한 데이터셋에 내재된 '노이즈'를 효과적으로 처리하는 그들의 접근 방식을 강조하며, 이는 모욕적 콘텐츠 감지에서 흔한 문제라고 말합니다.

이 연구는 의사 라벨링 및 언어별 임계값과 같은 혁신적인 모델링 절차가 강력한 결과를 낳았지만, 여전히 개선의 여지가 있다고 결론지었습니다. 저자들은 겸손하게 향후 작업이 학습률 스케줄러로 모델을 최적화하고 라벨 노이즈를 직접 처리하는 더 정교한 방법을 개발하는 데 초점을 맞출 수 있다고 제안합니다. 그들은 문제를 완전히 해결했다고 주장하지는 않지만, 인도어권 언어 모욕적 댓글 감지 성능을 크게 향상시킨 견고한 프레임워크를 제공했다고 주장합니다.