A Comparative Study of PyCaret AutoML and CNN-BiLSTM for Binary Hate Speech Detection in Indonesian Twitter

기술 요약: 이진 혐오 발언 탐지를 위한 파이캐럿 오토ML 과 CNN-BiLSTM 의 비교 연구 (인도네시아어 트위터)

문제 제기
본 논문은 인도네시아어 트위터에서의 자동 혐오 발언 탐지 과제를 다룹니다. 이 과제는 짧고, 노이즈가 많으며, 비공식적인 텍스트를 특징으로 하며, 유해한 의도는 명시적인 모욕적 표현뿐만 아니라 문맥, 부정, 또는 화용론적 프레임에서 비롯되는 경우가 많습니다. 저자들은 동일한 전처리 및 벤치마크 조건 하에서 평가될 때, 시퀀스 인식 딥러닝 접근법 (CNN-BiLSTM) 이 강화된 기존 기계학습 계보보다 의미 있는 우위를 제공하는지 확인하고자 합니다. 본 연구는 Ibrohim 과 Budi 의 [1] 코퍼스에서 혐오 발언 (HS) 레이블을 활용하여, 다중 레이블 데이터셋을 통제된 이진 분류 문제 (혐오 발언 대 비혐오 발언) 로 재구성했습니다.

방법론
본 연구는 성능 차이가 데이터 준비의 불일치가 아닌 모델링 능력에 반영되도록, 기존 계보와 신경망 계보가 동일한 전처리 파이프라인을 공유하는 통제된 벤치마크 설계를 채택했습니다.

1. 데이터 및 전처리:

   • 데이터셋: Ibrohim 과 Budi 코퍼스의 13,130 개의 트윗 하위 집합으로, 클래스 분포는 약 58% 가 비혐오 발언, 42% 가 혐오 발언입니다.
   • 전처리: 소문자 변환, URL/사용자명 제거, 기호 정규화, 코퍼스가 제공하는 매핑을 활용한 은어 정규화, 그리고 불용어 제거를 포함합니다.
   • 특성 공학: 코퍼스의 모욕적 어휘 사전에서 유래된 공유된 '모욕적 단어 수' 특성이 도출됩니다.

2. 기존 계보 (파이캐럿 오토ML):

   • 표현: 트윗은 TF-IDF(단어 1 구와 2 구, 최대 어휘 수 5,000) 를 모욕적 단어 수와 연결하여 벡터화됩니다.
   • 워크플로우: 파이캐럿 오토ML 은 단일 분류기가 아니라 여러 추정기 간의 비교를 표준화하는 벤치마킹 계층으로 사용됩니다.
   • 모델: 워크플로우는 선형 SVM, 나이브 베이즈, 랜덤 포레스트를 평가하고 순위 매깁니다. 랜덤 포레스트가 가장 강력한 기존 후보로 부각됩니다.

3. 신경망 계보 (CNN-BiLSTM):

   • 아키텍처: 짧은 텍스트를 위해 설계된 컴팩트한 아키텍처입니다.
     • 임베딩: 100 차원 학습 가능한 단어 임베딩.
     • CNN 레이어: 모욕적 조각과 강조어를 포착하기 위해 국소 구 패턴 (커널 크기 3) 을 추출합니다.
     • BiLSTM 레이어: 주변 텍스트 내의 국소 단서를 해석하기 위해 양방향 문맥을 인코딩합니다.
     • 출력: 이진 확률을 위한 시그모이드 활성화.
   • 학습: 이진 교차 엔트로피 손실로 최적화되며, 학습률은 $10^{-3}$, 배치 크기는 64, 드롭아웃은 0.2 입니다.

주요 기여
본 논문은 네 가지 구체적인 기여를 합니다:

1. 벤치마크 재구성: 공개된 다중 레이블 코퍼스를 통제된 이진 HS 벤치마크로 변환합니다.
2. 구현된 기존 베이스라인: 단일 약한 베이스라인 대신 파이캐럿 오토ML 을 사용하여 강력하고 체계적인 기존 벤치마크를 확립합니다.
3. 컴팩트한 신경망 평가: 짧은 인도네시아어 문맥 텍스트에 특화된 CNN-BiLSTM 아키텍처를 평가합니다.
4. 포괄적 해석: 표현의 질과 학습 안정성을 구분하기 위해 코퍼스 통계, 학습 곡선, 그리고 혼동 행렬을 통해 결과를 분석합니다.

결과
본 연구는 홀드아웃 20% 테스트 분할 (2,626 개 트윗) 에서 모델들을 비교합니다.

• 성능 지표:

  • CNN-BiLSTM: 83.8% 정확도, 79.8% 정밀도, 82.7% 재현율, 81.2% F1 점수를 달성했습니다.
  • 파이캐럿 - 랜덤 포레스트 (가장 강력한 기존): 77.2% 정확도, 75.8% 정밀도, 78.3% 재현율, 77.0% F1 점수를 달성했습니다.
  • 파이캐럿 - SVM: 72.3% 정확도 (가장 약함).
  • 파이캐럿 - 나이브 베이즈: 75.8% 정확도.

• 비교적 향상: 신경망 계보는 가장 강력한 기존 모델 대비 정확도를 6.6 퍼센트 포인트, F1 점수를 4.2 퍼센트 포인트 향상시켰습니다.

• 오류 분석:

  • CNN-BiLSTM 은 초기 에포크 이후 검증 손실이 증가하는 과적합 징후를 보였으며, 이는 조기 종료 및 정규화를 통해 향상을 더 최적화할 수 있음을 시사합니다.
  • 혼동 행렬은 모델이 다소 공격적이지만 균형 잡혀 있음을 나타냈으며, 오류는 명시적인 유해 토큰보다는 암시적 적대감이나 집단 언급이 포함된 경계 사례에 집중되었습니다.
  • '모욕적 언어'(혐오 발언보다 더 광범위) 에 대한 보조 작업은 더 안정적인 학습 곡선을 보여주어, 엄격한 HS 탐지는 더 어렵고 문맥 의존적인 경계임을 확인시켰습니다.

의의 및 주장
본 논문은 두 접근법의 유용성 사이에 미묘한 구분을 제시하며 결론을 맺습니다:

1. 프레임워크로서의 파이캐럿 오토ML: 본 연구는 강력하고 재현 가능한 기존 벤치마크를 확립하기 위한 효과적인 프레임워크로서 파이캐럿을 검증합니다. 견고한 어휘 기반 (TF-IDF + 모욕적 단어 수) 과 오토ML 최적화에도 불구하고 기존 계보는 인도네시아어 혐오 발언의 뉘앙스를 완전히 포착할 수 없음을 보여줍니다.
2. 우월한 엔드 모델로서의 CNN-BiLSTM: 결과는 이 특정 벤치마크에 대해 CNN-BiLSTM 아키텍처가 상당한 우위를 제공함을 확인합니다. 저자들은 이 점을 모델이 국소 어휘 패턴 (CNN 을 통해) 과 단거리 문맥 상호작용 (BiLSTM 을 통해) 을 모두 포착할 수 있는 능력에 기인하며, 이는 의도가 프레임에 의존하는 경우가 많은 인도네시아어 트윗에서 결정적입니다.
3. 실용적 함의: 본 논문은 빠른 스크리닝, 저비용 실험, 재현 가능한 베이스라인 설정에는 파이캐럿이 선호된다고 주장합니다. 반면, 혐오 발언 경계에서 예측 균형을 극대화하는 것이 주된 목표이고 딥러닝의 계산 비용이 허용될 때는 CNN-BiLSTM 이 권장되는 선택입니다.

저자들은 이러한 결과가 벤치마크 구성 (하나의 데이터셋, 하나의 전처리 파이프라인, 하나의 분할) 에 특정한 것이며, 온라인 혐오 발언의 모든 형태에 대한 보편적 우월성을 주장하지 않는다고 명시합니다. 향후 작업은 더 풍부한 오토ML 검색 공간, 더 강력한 정규화, 그리고 IndoBERT 와 같은 트랜스포머 기반 모델을 탐구할 수 있음을 제안합니다.