Hate Speech Detection using Large Language Models with Data Augmentation and Feature Enhancement

이 논문은 데이터 증강과 특징 향상 기법을 적용하여 전통적 분류기와 다양한 대규모 언어 모델을 비교 분석한 결과, 오픈소스 gpt-oss-20b 모델이 가장 높은 성능을 보였으며 데이터셋과 모델 간 상호작용이 혐오 발언 탐지 효율성에 결정적임을 규명했습니다.

핵심

이 논문은 **"온라인에서 혐오 발언을 찾아내는 인공지능 (AI) 을 더 똑똑하게 만드는 방법"**에 대한 연구입니다. 마치 경찰이 범죄자를 잡기 위해 다양한 수사 기법을 개발하는 것과 비슷하죠.

연구진들은 모나시 대학교 (Monash University) 소속으로, 기존의 전통적인 방법과 최신의 거대 언어 모델 (LLM) 을 비교하며 어떤 조합이 가장 효과적인지 실험했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 연구의 배경: 왜 이 연구가 필요할까?

인터넷은 거대한 광장입니다. 이곳에는 좋은 사람들도 많지만, 때로는 다른 사람을 괴롭히거나 혐오하는 말을 하는 '악당'들도 숨어 있습니다.

• 문제점: 악당들이 점점 교묘해졌습니다. 직접 "너를 죽이겠다"라고 말하지 않고, 은유나 농담, 혹은 문맥을 바꿔서 혐오를 표현합니다. (이를 암시적 혐오라고 합니다.)
• 목표: AI 가 이런 교묘한 악당들도 구별해낼 수 있도록, 데이터를 더 풍부하게 만들고 (데이터 증강), AI 가 문장을 더 잘 이해하도록 도와주는 (특징 강화) 기술을 테스트했습니다.

2. 실험 도구: 어떤 '수사관'들을 비교했나?

연구진들은 서로 다른 능력을 가진 6 명의 '수사관 (모델)'을 데려와서 같은 사건 (데이터) 을 해결하게 했습니다.

• 전통형 수사관 (Delta TF-IDF): 오래된 방식이지만 꼼꼼하게 단어를 세는 스타일입니다.
• 중급 수사관 (DistilBERT, RoBERTa, DeBERTa): 문맥을 이해하는 최신 AI 들입니다.
• 초고급 수사관 (Gemma-7B, gpt-oss-20b): 거대 언어 모델 (LLM) 로, 마치 박사급 지식을 가진 천재 수사관들입니다. 특히 gpt-oss-20b는 200 억 개의 파라미터를 가진 최강자입니다.

3. 실험 방법: 어떻게 능력을 키웠나? (비유: 수사관의 훈련)

AI 들의 능력을 키우기 위해 네 가지 훈련 방법을 적용했습니다.

1. 균형 잡기 (SMOTE & 가중치): 혐오 발언은 일반 글보다 훨씬 적습니다 (불균형). 마치 범죄 현장이 너무 적어서 범인을 찾기 힘든 상황과 비슷하죠. 그래서 AI 가 혐오 발언을 더 많이 보게 하거나, 잘못 찾아낼 때 더 큰 벌점을 주는 방식으로 훈련시켰습니다.
2. 문법 분석 (POS 태깅): 문장의 품사 (명사, 동사 등) 를 분석해 문법적 패턴을 학습시켰습니다. 마치 수사관이 범인의 말투나 문법 실수를 단서로 삼는 것과 같습니다.
3. 데이터 증강 (Data Augmentation): 기존 데이터를 변형해서 새로운 예시를 만들어냈습니다. 마치 "범인이 A 라고 말하면 B 라고도 할 수 있으니, A 와 B 를 모두 연습해라"라고 시키는 것입니다.
4. 혼합 훈련: 위의 방법들을 모두 섞어서 훈련시켰습니다.

4. 주요 발견: 누가 이겼고, 어떤 교훈을 얻었나?

🏆 최강의 수사관: gpt-oss-20b

• 결과: 거의 모든 테스트에서 gpt-oss-20b가 가장 높은 점수를 받았습니다.
• 비유: 이 모델은 마치 범인의 심리까지 읽을 수 있는 천재 형사입니다. 특히 **암시적 혐오 (은유나 농담으로 숨긴 혐오)**를 찾아내는 데 가장 능했습니다.

🚀 놀라운 반전: 전통적인 수사관의 부활

• 결과: 전통적인 모델인 Delta TF-IDF는 기본 점수는 낮았지만, **'데이터 증강 (데이터를 변형해서 늘리는 훈련)'**을 받자마자 점수가 폭등했습니다.
• 비유: 평소에는 평범한 형사였는데, 다양한 변칙적인 사건 (데이터 증강) 을 많이 겪은 후에는 Stormfront라는 특정 사건 (백인 우월주의 포럼 데이터) 에서 **98.2%**라는 압도적인 정확도를 기록했습니다. 이는 "적절한 훈련만 받으면 오래된 기술도 최신 기술에 뒤처지지 않는다"는 것을 보여줍니다.

⚠️ 함정: 무조건 좋은 게 아니다

• 교훈: 모든 훈련 방법이 모든 모델에 좋은 것은 아닙니다.
  • **SMOTE(데이터 늘리기)**는 때로는 AI 를 혼란스럽게 만들어 성능을 떨어뜨리기도 했습니다. (가짜 단서 때문에 범인을 놓치는 경우)
  • **문법 분석 (POS)**은 전통적인 모델에는 도움이 되었지만, 이미 문맥을 잘 이해하는 최신 AI 에는 오히려 방해가 되기도 했습니다.
  • 데이터 증강은 전통적인 모델에게는 '영양제'였지만, 최신 AI 에게는 '소화불량'을 유발하기도 했습니다.

5. 결론: 무엇을 배웠을까?

이 연구는 **"하나의 정답은 없다"**는 것을 보여줍니다.

1. 데이터의 성격이 중요하다: 혐오 발언이 얼마나 노골적인지 (명시적 vs 암시적) 에 따라 가장 좋은 모델이 다릅니다.
2. 맞춤형 전략: AI 모델의 종류와 데이터의 특성을 잘 파악해서, 어떤 훈련 방법 (증강, 문법 분석 등) 을 쓸지 신중하게 골라야 합니다. 무작정 최신 기술을 다 적용한다고 해서 좋은 결과가 나오지 않습니다.
3. 미래: 앞으로는 더 다양한 언어와 문화적 배경을 고려한 데이터가 필요하며, AI 가 단순히 분류하는 것을 넘어 '왜 이것이 혐오인지' 논리적으로 설명할 수 있는 능력 (Chain-of-Thought) 을 키우는 것이 중요합니다.

한 줄 요약:

"최고의 AI(gpt-oss-20b) 가 가장 잘하지만, 전통적인 방법도 적절한 훈련 (데이터 증강) 을 받으면 놀라운 성과를 낼 수 있습니다. 중요한 것은 상황에 맞는 '맞춤형 수사 전략'을 세우는 것입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 온라인 플랫폼의 확산으로 인해 극단주의 세력이 대규모로 유해 콘텐츠를 유포하고 있으며, 호주 등지에서 우익 테러 관련 조사가 급증하고 있습니다. 기존 플랫폼의 자동화 필터링 시스템은 명시적 (Explicit) 인 혐오 표현은 어느 정도 제거했으나, 맥락에 의존하거나 은유적인 암시적 (Implicit) 혐오 표현을 탐지하는 데 한계가 있습니다.
• 주요 과제:
  1. 데이터 부족 및 편향: 고품질 레이블이 지정된 공개 데이터셋이 제한적이며, 혐오 표현이 전체 콘텐츠에서 차지하는 비율이 낮아 클래스 불균형 (Class Imbalance) 문제가 심각합니다.
  2. 모델 평가의 부재: 전통적인 분류기부터 최신 대규모 언어 모델 (LLM) 에 이르기까지 다양한 아키텍처를 포괄적으로 비교한 연구가 부족합니다.
  3. 기술적 한계: 기존 연구들은 특정 모델 계열에 집중하거나, 데이터 증강 (Data Augmentation) 과 같은 최신 기법을 효과적으로 활용하지 못했습니다.

2. 연구 방법론 (Methodology)

A. 데이터셋 (Datasets)

연구는 다양한 언어적 패턴과 주석을 가진 4 가지 데이터셋을 사용했습니다.

• Hate Corpus: 암시적 혐오 표현을 포함하는 34,183 개의 트윗 (미국 극단주의 그룹).
• Gab & Reddit: Gab(우익 소셜 네트워크) 과 Reddit 의 대화형 데이터 (35,249 개의 비혐오, 19,862 개의 혐오).
• Stormfront: 백인 우월주의 포럼의 명시적 혐오 표현 데이터 (10,944 개 문장).
• Merged Dataset: 위 데이터셋들을 통합한 54,680 개 이상의 샘플.

B. 평가 모델 (Model Architectures)

전통적 분류기와 최신 LLM 을 비교 평가했습니다.

• 전통적 모델: Delta TF-IDF (차분 Term Frequency-Inverse Document Frequency).
• Transformer 기반 모델: DistilBERT, RoBERTa, DeBERTaV3.
• 대규모 언어 모델 (LLM): Gemma-7B, gpt-oss-20b (OpenAI 의 오픈 소스 추론 모델).

C. 향상 기법 (Enhancement Techniques)

모델 성능을 개선하기 위해 4 가지 구성을 실험했습니다.

1. Baseline: 기본 아키텍처만 사용.
2. 언어적 향상 (Linguistic Enhancement):
   • SMOTE & Weighted Loss: 클래스 불균형 해결을 위한 합성 과소표본 추출 (SMOTE) 과 클래스 가중 손실 함수 적용.
   • POS Tagging: 품사 (명사, 동사 등) 비율 및 문법적 구조 특징을 추출하여 모델에 통합.
3. 종합 균형 (Comprehensive Balancing): SMOTE, 가중 손실, POS 태그를 모두 결합.
4. 데이터 다양성 향상 (Data Diversity Enhancement):
   • 텍스트 데이터 증강: 동의어 교체, 임의 삽입/삭제/교환, 오타 시뮬레이션, 문장 구조 재구성, 컨텍스트 기반 문장 재작성 (Paraphrasing) 등을 적용하여 훈련 데이터의 다양성을 높임.

D. 평가 지표

정확도 (Accuracy) 뿐만 아니라 불균형 데이터셋을 고려한 Macro F1, F0.5, F2, AUC, Weighted F1 등 다양한 지표를 사용했습니다.

3. 주요 결과 (Key Results)

A. 모델 성능 비교

• gpt-oss-20b: 모든 데이터셋과 평가 지표에서 가장 높은 성능을 보였습니다. 특히 Merged Dataset 에서 87.9% 의 정확도와 86.3% 의 Macro F1 을 기록했습니다.
• RoBERTa: LLM 에 비해 파라미터 수가 적음 (1.25 억) 에 불구하고 매우 경쟁력 있는 성능을 보였으며, Stormfront 데이터셋에서 93.1% 의 정확도를 기록했습니다.
• Delta TF-IDF: 베이스라인에서는 Transformer 모델보다 성능이 낮았으나, 데이터 증강 기법에 매우 민감하게 반응하여 Stormfront 데이터셋에서 89.7% 에서 98.2% 로 정확도가 급격히 상승했습니다.

B. 기법별 효과 분석

• 데이터 증강 (Data Augmentation):
  • 전통적 모델 (Delta TF-IDF) 에는 획기적인 성능 향상을 가져왔습니다.
  • Transformer 및 LLM 모델에는 양면적 효과를 보였습니다. 일부 모델 (DistilBERT 등) 은 암시적 혐오 표현이 포함된 데이터셋 (Hate Corpus) 에서 오히려 성능이 저하되기도 했습니다 (노이즈 도입 가능성).
• POS Tagging:
  • SMOTE 나 가중 손실과 달리, 위험이 적고 일관된 개선 효과를 보였습니다. 대부분의 모델에서 미세한 성능 향상이나 유지되었습니다.
  • gpt-oss-20b 의 경우 Stormfront 데이터셋에서 Macro F1 이 감소하는 등 모델에 따라 결과가 달랐습니다.
• SMOTE & Weighted Loss:
  • 데이터셋의 복잡도에 따라 결과가 갈렸습니다. 명시적 혐오 표현 (Stormfront) 에서는 안정적이었으나, 암시적 혐오 표현 (Hate Corpus) 이 포함된 데이터셋에서는 오히려 성능을 저하시켰습니다 (합성 샘플이 노이즈로 작용).

C. 데이터셋별 난이도

• Stormfront (명시적): 가장 탐지가 쉬웠음 (베이스라인 정확도 89.7% ~ 93.2%).
• Gab & Reddit (대화형): 중간 수준의 난이도.
• Hate Corpus (암시적): 가장 탐지가 어려웠음 (베이스라인 정확도 65.5% ~ 75.7%, Macro F1 50% 미만).

4. 주요 기여 및 결론 (Contributions & Conclusion)

1. 포괄적인 벤치마킹: 전통적 분류기부터 최신 200 억 파라미터급 LLM 까지 다양한 아키텍처를 다양한 데이터셋과 향상 기법 하에서 체계적으로 비교 평가했습니다.
2. 암시적 혐오 표현의 어려움 재확인: 명시적 콘텐츠에 비해 암시적 혐오 표현 탐지가 훨씬 어렵다는 것을 실증적으로 입증했습니다.
3. 기법과 모델의 상호작용 강조:
   • 향상 기법의 효과는 데이터셋 특성, 모델 아키텍처, 기법 간의 상호작용에 크게 의존합니다.
   • 문법적 패턴 인식 (POS Tagging) 은 암시적 혐오 탐지에 도움이 되지만, 데이터 다양화 (증강) 는 명시적 혐오 탐지에는 유리하고 일부 Transformer 모델에는 해로울 수 있습니다.
   • gpt-oss-20b가 현재 가장 강력한 모델임을 확인했으나, RoBERTa와 같은 경량 모델도 비용 효율적인 대안으로 적합함을 보였습니다.
4. 실무적 시사점:
   • 무조건적인 향상 기법 적용보다는 데이터 특성에 맞는 전략적 선택이 필요합니다.
   • POS 태깅은 안정성이 높아 프로덕션 환경에 가장 안전한 전략으로 제안됩니다.

5. 의의 (Significance)

이 연구는 혐오 표현 탐지 시스템 개발 시, 단순히 최신 LLM 을 도입하는 것을 넘어 데이터의 특성 (명시적 vs 암시적) 과 모델의 아키텍처에 맞춰 최적의 전처리 및 증강 전략을 선택해야 함을 강조합니다. 특히, 오픈 소스 LLM(gpt-oss-20b) 의 우수성과 전통적 모델이 데이터 증강을 통해 극적인 성능 향상을 이룰 수 있음을 보여줌으로써, 향후 혐오 표현 탐지 연구 및 시스템 설계에 중요한 방향성을 제시합니다.

---

참고: 본 연구의 코드 및 상세 결과는 GitHub (https://github.com/Brian3410/HateSpeechDetection) 에서 공개되어 있습니다.