Multiclass Hate Speech Detection with RoBERTa-OTA: Integrating Transformer Attention and Graph Convolutional Networks

이 논문은 RoBERTa 임베딩과 확장된 그래프 합성곱 네트워크를 결합하여 온톨로지 기반의 주의를 도입한 'RoBERTa-OTA' 모델을 제안함으로써, 사회 미디어의 다중 클래스 혐오 표현 탐지 정확도를 기존 방법론 대비 유의미하게 향상시켰음을 보여줍니다.

핵심

이 논문은 소셜 미디어에서 **다양한 형태의 혐오 발언 **(Hate Speech)을 더 정확하게 찾아내는 새로운 인공지능 기술을 소개합니다.

기존의 기술은 단순히 "이게 혐오 발언이야, 아니야"라고 이분법적으로만 판단하거나, 특정 그룹 (예: 성별, 종교, 인종) 을 겨냥한 미세한 차이를 놓치는 경우가 많았습니다. 이 연구팀은 **"RoBERTa-OTA"**라는 새로운 시스템을 만들어, AI 가 단순히 글자만 읽는 게 아니라 사전에 담긴 '지식'까지 함께 생각하게 함으로써 성능을 획기적으로 높였습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 1. 문제: 왜 기존 AI 는 헷갈릴까?

소셜 미디어의 혐오 발언은 매우 교묘합니다.

• 직접적인 공격: "너는 나쁜 종교인이다" (이건 AI 가 쉽게 잡음)
• 암시적인 공격: "어떤 성별의 사람들은 머리가 나빠서..." (이건 AI 가 놓치기 쉬움)

기존의 AI (RoBERTa 같은 모델) 는 마치 외국어 공부를 막 시작한 학생과 같습니다. 책 (데이터) 을 많이 읽어서 문법 (단어 패턴) 은 잘 알지만, 그 뒤에 숨겨진 문화적 맥락이나 뉘앙스를 파악하는 데는 약합니다. 특히 "성별"이나 "기타" 카테고리는 은유나 암호 같은 언어를 쓰기 때문에 AI 가 "아, 이건 혐오 발언이구나!"라고 깨닫지 못해 놓치는 경우가 많았습니다.

🧠 2. 해결책: RoBERTa-OTA (지식 지도가 있는 탐정)

연구팀은 이 문제를 해결하기 위해 두 가지 뇌를 가진 시스템을 만들었습니다.

A. 첫 번째 뇌: RoBERTa (유능한 언어 분석가)

이 부분은 이미 아주 뛰어난 AI 입니다. 문장 속의 단어 순서, 문맥, 감정을 아주 잘 이해합니다. 하지만 때로는 "이게 왜 문제지?"라고 고민하다가 넘어갈 때가 있습니다.

B. 두 번째 뇌: OTA (지식 지도와 연결된 그래프)

여기서 핵심은 OTA(Ontology-guided Transformer Attention)입니다.
이를 **"혐오 발언에 대한 전문 지식 지도 **(Ontology)라고 상상해 보세요.

• 이 지도에는 "종교", "성별", "인종" 같은 카테고리들이 서로 어떻게 연결되어 있는지, 각각 어떤 특징 (예: 종교는 신학적 용어를 많이 씀, 성별은 외모 공격을 많이 함) 을 가지는지 구조화된 지식으로 담겨 있습니다.
• 이 지식은 **그래프 신경망 **(GCN)이라는 기술을 통해 AI 에게 전달됩니다. 마치 탐정이 사건을 해결할 때, 단순히 목격자의 말만 듣는 게 아니라 범행 수법과 과거 사례를 정리한 지도를 펼쳐놓고 비교하는 것과 같습니다.

🔄 3. 작동 원리: 두 뇌의 협업 (듀얼 스트림)

이 시스템은 두 가지 정보를 동시에 처리합니다.

1. 글자 읽기: AI 가 트윗 내용을 읽고 "이 문장은 성별을 조롱하는 것 같아"라고 추측합니다.
2. 지식 대조: 동시에 "지식 지도"를 열어봅니다. 지도에는 "성별 혐오는 보통 외모나 성적 대상화와 연결된다"는 정보가 있습니다.
3. 결합: AI 는 "아, 이 글자는 성별 관련 단어고, 지식 지도에서도 그런 패턴이 나오네? 확실히 혐오 발언이다!"라고 결론을 내립니다.

이처럼 **텍스트의 맥락 **(RoBERTa)과 **구조화된 지식 **(GCN)을 합쳐서 판단하기 때문에, 은밀하게 숨겨진 혐오 발언도 잡아낼 수 있습니다.

📊 4. 성과: 얼마나 좋아졌을까?

실험 결과, 이 새로운 시스템은 기존 최고의 기술보다 훨씬 뛰어났습니다.

• 정확도: 95.02% → 96.04% (약 1% 향상)
  • 숫자만 보면 작아 보일 수 있지만, AI 세계에서는 엄청난 차이입니다.
• 가장 큰 승리:
  • 성별 혐오: 2.36% 향상 (기존에 가장 잡기 어려웠던 부분)
  • 기타 혐오: 2.38% 향상 (다양한 대상에 대한 공격)
  • 이는 마치 가장 교묘한 위장술을 쓴 범인을 잡는 데 성공한 것과 같습니다.
• 비용: 시스템이 무거워진 정도는 **0.33%**에 불과합니다. (컴퓨터 성능을 거의 다 쓰지 않고도 효과를 본 셈입니다.)

🛡️ 5. 강점: 헷갈리는 말에도 강함

소셜 미디어에는 오타, 줄임말, 신조어, 이모지 등이 섞여 있습니다.

• 기존 AI: "너는 ㄱㄴㄷ 같은 사람이다" (오타가 많으면) → "뭐라고?" 하고 헷갈려서 놓칩니다.
• RoBERTa-OTA: "지식 지도를 보니 'ㄱㄴㄷ'는 특정 그룹을 비하하는 은어로 쓰이는 경우가 많아. 문맥도 그렇고." → 오타가 있어도 의미를 파악해냅니다.

💡 요약: 왜 이 연구가 중요한가?

이 연구는 AI 가 단순히 글자를 읽는 수준을 넘어, **세상의 지식 **(도덕적, 문화적 맥락)을 이해하게 했다는 점에서 의미가 큽니다.

• 비유하자면: 예전에는 AI 가 "이 단어는 나쁜 단어야"라고 외운다면, 이번 연구는 AI 가 "이 단어가 누구에게, 어떤 맥락에서 쓰이면 나쁜 뜻이 되는지"를 이해하게 만든 것입니다.

이 기술이 실제 소셜 미디어 플랫폼에 적용된다면, 더 많은 혐오 발언이 걸러져 사용자들이 더 안전하고 건강한 온라인 공간을 즐길 수 있게 될 것입니다.

기술 요약

논문 요약: RoBERTa-OTA 를 활용한 다중 클래스 혐오 발언 탐지

1. 문제 정의 (Problem Definition)

• 배경: 소셜 미디어의 급격한 성장으로 인해 온라인 안전과 콘텐츠 관리가 중요해졌으나, 기존 혐오 발언 탐지 시스템은 주로 이진 분류 (혐오/비혐오) 에 집중해 왔습니다.
• 핵심 과제: 다양한 인구통계학적 그룹 (성별, 종교, 인종, 연령 등) 을 대상으로 하는 다중 클래스 (Multiclass) 혐오 발언 탐지는 여전히 난제입니다. 특히, 명시적인 공격이 아닌 암시적 표적 전략 (implicit targeting) 과 언어적 변이 (linguistic variability) 가 포함된 콘텐츠는 기존 모델이 탐지하기 어렵습니다.
• 한계: 기존 트랜스포머 (Transformer) 기반 모델들은 학습 데이터의 표현 학습에만 의존할 뿐, 도메인 지식을 체계적으로 통합하는 구조화된 온톨로지 (Ontology) 프레임워크를 활용하지 못해 미세한 인구통계학적 표적 패턴을 포착하는 데 한계가 있었습니다.

2. 제안된 방법론 (Methodology: RoBERTa-OTA)

저자들은 RoBERTa-OTA(RoBERTa with Ontology-guided Transformer Attention) 라는 새로운 아키텍처를 제안했습니다. 이는 트랜스포머의 문맥 이해 능력과 도메인 특화 지식 (온톨로지) 을 그래프 신경망 (GNN) 을 통해 통합하는 이중 스트림 (Dual-stream) 프레임워크입니다.

• 텍스트 처리 스트림 (Text Processing Stream):
  • 사전 학습된 RoBERTa-base를 사용하여 강력한 문맥 임베딩을 생성합니다.
  • 혐오 발언 탐지에 특화된 확대된 도트 곱 어텐션 (Scaled Dot-Product Attention) 계층을 추가하여, 혐오와 관련된 특징에 집중하도록 어텐션 점수를 정제합니다.
• 온톨로지 처리 스트림 (Ontology Processing Stream):
  • 5 가지 인구통계학적 카테고리 (연령, 인종, 성별, 종교, 기타) 를 노드로 하는 구조화된 온톨로지 그래프를 구축합니다.
  • 각 노드는 언어 분석과 기존 연구를 기반으로 한 6 차원 특징 벡터 (인구통계 표적, 문화적 정체성, 성별 관련성, 종교적 요소, 언어적 복잡도, 표적 다양성 등) 로 표현됩니다.
  • **3 층 Graph Convolutional Network (GCN)**을 사용하여 노드 간의 관계와 의미적 연결을 학습합니다.
• 특징 통합 및 분류 (Feature Integration & Classification):
  • 텍스트 스트림의 평균 풀링된 임베딩 (768 차원) 과 온톨로지 스트림의 GCN 특징 (32 차원) 을 **연결 (Concatenation)**하여 800 차원의 통합 표현을 생성합니다.
  • 이 통합된 특징은 심층 분류 네트워크 (Deep Classifier) 를 거쳐 5 가지 혐오 발언 카테고리로 분류됩니다.

3. 주요 기여 (Key Contributions)

1. 온톨로지 가이드 어텐션 메커니즘 도입: 구조화된 도메인 지식 (온톨로지) 을 그래프 신경망을 통해 트랜스포머 어텐션 메커니즘과 통합하여, 암시적 표적 전략을 가진 혐오 발언 탐지 성능을 획기적으로 개선했습니다.
2. 미세한 인구통계학적 분류 최적화: 기존 이진 분류 중심의 접근을 넘어, 연령, 인종, 성별, 종교 등 구체적인 타겟 그룹을 구분하는 다중 클래스 분류 문제를 해결했습니다.
3. 효율적인 아키텍처 설계: 성능은 크게 향상되었으나, 파라미터 오버헤드는 **0.33%**만 증가시켜 대규모 콘텐츠 관리 애플리케이션에 실용적으로 적용 가능한 경량화된 설계를 제시했습니다.

4. 실험 결과 (Results)

• 데이터셋: SOSNet 프레임워크에서 파생된 39,747 개의 균형 잡힌 샘플 (5 가지 클래스) 을 사용하여 5 폴드 교차 검증을 수행했습니다.
• 성능 비교:
  • RoBERTa-OTA: 정확도 96.04%, 가중치 F1 점수 96.06% 달성.
  • 기반 RoBERTa: 정확도 95.02%, F1 점수 95.04%.
  • 기존 SOTA (SOSNet): 정확도 94.38%, F1 점수 94.44%.
  • 결과: RoBERTa-OTA 는 기존 RoBERTa 대비 정확도 1.02%p, SOSNet 대비 정확도 1.66%p 향상되었습니다.
• 어려운 카테고리에서의 개선:
  • 성별 기반 혐오 발언: F1 점수가 90.70% 에서 **93.06%**로 2.36%p 향상 (가장 큰 개선 효과).
  • 기타 혐오 발언: F1 점수가 88.94% 에서 **91.32%**로 2.38%p 향상.
  • 이는 암시적 표적 전략이 포함된 난이도 높은 카테고리에서 온톨로지 통합이 결정적인 역할을 했음을 시사합니다.
• 강건성 (Robustness): 오타, 약어, 은어, 문자 삽입/삭제 등 소셜 미디어 텍스트의 다양한 노이즈 (Perturbation) 환경에서도 RoBERTa-OTA 가 베이스라인보다 일관되게 높은 성능을 유지했습니다 (예: 15% 문자 삽입 시 F1 점수 4.62%p 우위).
• 계산 효율성: 파라미터 수는 124.65M 에서 125.06M 로 0.33% 미미하게 증가했으며, GPU 메모리 사용량은 2.6GB 에서 3.1GB 로 소폭 증가했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 전체 정확도의 1%p 향상은 미미해 보일 수 있으나, 실제 콘텐츠 관리 시스템에서 가장 탐지하기 어려운 '성별 기반' 및 '기타' 혐오 발언 탐지 성능을 2% 이상 끌어올린 것은 수천 건의 유해 콘텐츠를 추가로 식별할 수 있음을 의미합니다.
• 지식 통합의 중요성: 단순한 데이터 학습을 넘어, 도메인 지식 (온톨로지) 을 구조적으로 통합함으로써 모델의 추론 능력을 강화하고, 특히 암시적 언어를 사용하는 혐오 발언을 탐지하는 데 있어 새로운 패러다임을 제시했습니다.
• 미래 전망: 다국어 데이터셋으로의 확장 및 계산 오버헤드 추가 최적화를 통해 전 세계 다양한 문화적 맥락에서의 혐오 발언 탐지 시스템으로 발전할 잠재력을 가지고 있습니다.

이 논문은 트랜스포머 모델과 그래프 신경망을 결합한 지식 기반 접근법이 다중 클래스 혐오 발언 탐지, 특히 미세한 인구통계학적 표적을 식별하는 데 있어 매우 효과적임을 입증했습니다.