A Fusion of context-aware based BanglaBERT and Two-Layer Stacked LSTM Framework for Multi-Label Cyberbullying Detection

논문 기술 요약: 방글라어 다중 레이블 사이버불링 감지를 위한 BanglaBERT-LSTM 융합 프레임워크

1. 문제 정의 (Problem Statement)

• 배경: 소셜 미디어의 급격한 성장과 함께 사이버불링이 심각한 사회적, 정신 건강 문제로 대두되었습니다.
• 현재 한계: 기존의 대부분의 연구는 단일 레이블 (Single-label) 분류에 집중하고 있습니다. 즉, 하나의 댓글이 하나의 악성 유형 (예: 괴롭힘, 혐오 발언, 위협 등) 만 포함한다고 가정합니다.
• 실제 상황: 현실에서는 하나의 댓글이 괴롭힘, 성희롱, 종교적 혐오, 위협, 스팸 등 **여러 가지 악성 유형이 중첩 (Overlap)**되어 나타나는 경우가 많습니다. 단일 레이블 모델은 이러한 복합적인 상황을 포착하지 못해 위험한 콘텐츠를 놓칠 수 있습니다.
• 언어적 도전: 방글라어 (Bangla) 와 같은 저자원 언어 (Low-resource language) 에서는 강건한 사전 학습 모델이 부족하며, 특히 다중 레이블 (Multi-label) 사이버불링 감지를 위한 체계적인 연구가 매우 부족합니다. 또한 데이터의 클래스 불균형 (Class Imbalance) 문제도 해결해야 할 과제입니다.

2. 제안된 방법론 (Methodology)

저자들은 문맥 이해 (Context) 와 시퀀스 의존성 (Sequential Dependency) 을 동시에 모델링하기 위해 BanglaBERT-Large와 **2 계층 스택드 LSTM (Two-Layer Stacked LSTM)**을 결합한 하이브리드 아키텍처를 제안했습니다.

• 데이터셋:

  • Facebook 과 TikTok 에서 수집된 12,557 개의 방글라어 댓글로 구성된 공개 데이터셋 사용.
  • 5 가지 이진 레이블 (괴롭힘, 성희롱, 종교적, 위협, 스팸) 을 다중 레이블로 표기.
  • 데이터 불균형 해결: 학습 데이터에 대해 **언더샘플링 (Undersampling)**과 오버샘플링 (Oversampling) 기법을 적용하여 클래스 분포를 균형 있게 조정했습니다.

• 모델 아키텍처:

  1. BanglaBERT-Large (Contextual Embedding):
     • 입력 텍스트를 토큰화하고 패딩/트러커네이션 처리.
     • 24 계층의 Transformer 인코더를 통해 단어 수준의 의미와 문맥적 관계를 추출 (1024 차원 임베딩 생성).
     • Transformer 는 정교한 문맥 이해를 제공하지만, 단어 순서나 장기적 의존성을 명시적으로 모델링하는 데는 한계가 있음.
  2. 2-Layer Stacked LSTM (Sequential Modeling):
     • BanglaBERT 의 출력 임베딩을 입력으로 받아 2 계층의 LSTM 을 통과시킴.
     • 1 계층 LSTM: 국소적인 시퀀스 패턴 학습.
     • 2 계층 LSTM: 전체 댓글에 걸친 장기적 의존성과 시간적 흐름 (Temporal Flow) 학습.
     • 드롭아웃 (Dropout) 을 적용하여 과적합 방지.
  3. Classification Head:
     • 최종 은닉 상태를 5 차원 출력 공간으로 매핑.
     • 시그모이드 (Sigmoid) 활성화 함수를 사용하여 각 레이블이 독립적으로 존재할 확률을 계산 (다중 레이블 분류).
     • 손실 함수: Binary Cross-Entropy (BCE) 사용.

• 학습 전략:

  • 옵티마이저: AdamW 사용 (가중치 감쇠 분리).
  • 평가: 5 폴드 교차 검증 (5-fold Cross-Validation) 을 통해 모델의 일반화 성능 검증.
  • 해석 가능성 (XAI): LIME 기법을 도입하여 모델이 어떤 단어를 기준으로 특정 레이블을 예측했는지 시각화 및 설명.

3. 주요 기여 (Key Contributions)

1. 최신 성능 달성 (SOTA): 공개된 방글라어 다중 레이블 사이버불링 데이터셋에서 기존 모든 연구 (기계학습, 딥러닝, 하이브리드 모델) 를 능가하는 94.31% 의 정확도를 달성했습니다.
2. 혁신적인 하이브리드 아키텍처: 문맥 기반 Transformer(BanglaBERT) 와 순차적 모델링 (LSTM) 을 융합하여, 단일 모델의 한계를 보완하고 복합적인 악성 패턴을 효과적으로 포착하는 프레임워크를 제안했습니다.
3. 일반화된 다중 레이블 프레임워크: 단일 레이블 연구와 달리, 하나의 댓글에서 발생하는 여러 악성 유형을 동시에 탐지하는 일반화된 모델을 구축했습니다.
4. 엄격한 평가 및 검증: 단일 학습 - 테스트 분할이 아닌 5 폴드 교차 검증과 정확도, 정밀도, 재현율, F1 점수, Hamming Loss, MCC, Cohen's Kappa, AUC-ROC 등 다양한 지표를 사용하여 모델의 신뢰성과 공정성을 입증했습니다.
5. 해석 가능한 AI (XAI): LIME 을 통해 모델의 결정 과정을 투명하게 설명하여 신뢰성을 높였습니다.

4. 실험 결과 (Results)

• 성능 비교:
  • 제안된 BanglaBERT-LSTM 모델은 94.31% 의 정확도와 88.37% 의 F1 점수를 기록했습니다.
  • 기존 SOTA 모델 (Stacked LSTM 등) 대비 정확도가 0.67% 향상되었습니다.
  • 기존 Transformer 단독 모델 (BERT, RoBERTa, indicBERT 등) 과 비교했을 때, LSTM 과의 융합이 시퀀스 의존성 모델링을 통해 성능을 추가로 향상시켰음을 확인했습니다.
• 샘플링 전략 효과:
  • 오버샘플링 (Oversampling) 기법을 적용한 학습 데이터가 가장 좋은 성능을 보였습니다 (정확도 94.31%, Hamming Loss 0.0569).
  • 언더샘플링은 정보 손실로 인해 오버샘플링보다 성능이 낮았습니다.
• 교차 검증: 5 폴드 교차 검증에서 평균 정확도 93.42% 를 유지하며 모델의 안정성과 과적합 부재를 입증했습니다.
• 해석 가능성: LIME 시각화를 통해 모델이 악성 콘텐츠의 핵심 단어를 올바르게 식별하여 각 레이블 (괴롭힘, 성희롱 등) 을 독립적으로 예측함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 저자원 언어 NLP 의 발전: 방글라어와 같은 저자원 언어에서 Transformer 기반의 강력한 다중 레이블 분류 프레임워크를 확립하여, 해당 언어의 NLP 연구에 중요한 벤치마크를 제공했습니다.
• 실용적 가치: 소셜 미디어 플랫폼의 콘텐츠 심사 (Moderation) 시스템에 적용 가능하여, 복합적인 사이버불링을 더 정확하게 탐지하고 신속하게 대응할 수 있는 기반을 마련했습니다.
• 한계 및 향후 과제: 현재는 방글라어 단일 언어에 국한되어 있으며, 향후 코드-믹스 (Code-mixed) 텍스트나 다국어 환경으로 확장하여 더욱 보편적인 사이버불링 탐지 시스템으로 발전시킬 필요가 있습니다.

이 논문은 Transformer 의 문맥 이해 능력과 LSTM 의 시퀀스 모델링 능력을 결합함으로써, 복잡한 다중 레이블 사이버불링 문제를 해결하는 새로운 표준을 제시했다는 점에서 의의가 큽니다.