HateMirage: An Explainable Multi-Dimensional Dataset for Decoding Faux Hate and Subtle Online Abuse

이 논문은 허위 정보와 조작된 서술에서 비롯된 미묘한 혐오 표현을 탐지하고 설명하기 위해, 사실 확인 소스를 기반으로 구축된 4,530 개의 댓글로 구성된 다차원적 해석 가능 데이터셋 'HateMirage'를 제안하고, 이를 통해 기존 모델의 한계를 극복하고 책임 있는 AI 연구를 위한 새로운 기준을 제시합니다.

핵심

1. 문제: "보이지 않는 독" (Faux Hate)

인터넷에는 두 가지 종류의 나쁜 말이 있습니다.

1. 노골적인 혐오: "너는 싫어, 나가!"라고 직접적으로 욕설을 퍼붓는 경우. (이건 누구나 알아차립니다.)
2. 가짜 혐오 (Faux Hate): "이 사람들은 병을 퍼뜨리고 있어요"라고 말하면서, 사실은 그 말이 완전한 거짓이고, 그 뒤에는 특정 집단을 미워하는 숨은 의도가 있는 경우입니다.

비유:

• 노골적 혐오: 얼굴에 직접 "나쁜 사람"이라고 스티커를 붙이는 것과 같습니다.
• 가짜 혐오: 마치 **마술사 (미라지)**가 모래사막에 물이 있는 것처럼 보여서 사람들이 물을 찾아 헤매게 만드는 것과 같습니다. 겉보기엔 '사실'처럼 보이지만, 알고 보면 **거짓말 (가짜 뉴스)**을 바탕으로 한 숨은 공격입니다.

기존의 연구들은 주로 '노골적인 스티커'를 찾는 데 집중했지만, 이 마술 같은 가짜 공격을 찾아내는 것은 매우 어렵습니다.

2. 해결책: HateMirage (혐오의 미라지) 데이터셋

연구팀은 이 문제를 해결하기 위해 4,530 개의 가짜 혐오 댓글을 모았습니다. 이걸 HateMirage라고 부릅니다.

이 데이터셋의 가장 큰 특징은 단순히 "이 댓글이 나쁘다 (Yes/No)"라고 표시하는 것을 넘어, 세 가지 질문에 대한 답을 함께 기록했다는 점입니다.

1. 누구를 공격하는가? (Target): 이 말의 화살이 향하는 대상은 누구인가? (예: 특정 종교, 국가, 정치인)
2. 왜 그런 말을 했는가? (Intent): 작성자의 숨은 의도는 무엇인가? (예: 공포를 심어주기, 특정 집단을 악마처럼 보이게 하기)
3. 어떤 결과를 낳는가? (Implication): 이 말이 퍼지면 사회에 어떤 나쁜 영향을 줄까? (예: 사람들 사이의 불신 조성, 폭력 부추김)

비유:
기존의 연구는 "이 음식에 독이 있다"고만 알려주었다면, HateMirage는 "이 음식에 어떤 독이 들어있고, 누가 넣었으며, 먹으면 어떤 병에 걸릴지"까지 상세한 레시피와 경고문을 함께 제공합니다.

3. 어떻게 만들었나? (데이터 수집 과정)

연구팀은 다음과 같은 과정을 거쳤습니다.

1. 사실 확인 사이트에서 이미 "거짓말"로 판명된 뉴스들을 찾았습니다. (예: "어떤 나라가 바이러스를 고의로 퍼뜨렸다"는 거짓말)
2. 그 뉴스에 달린 유튜브 댓글들을 모았습니다.
3. 그중에서 거짓말을 믿고 특정 집단을 공격하는 댓글들을 골라냈습니다.
4. 인공지능 (GPT-4) 을 이용해 각 댓글이 누구를, 왜, 어떻게 공격하는지 분석해서 설명문을 달아주었습니다. (물론 사람이 다시 한 번 확인하며 품질을 다듬었습니다.)

4. 실험 결과: 인공지능은 잘할까?

연구팀은 다양한 크기의 인공지능 모델 (LLM) 들에게 이 데이터를 주고 "이 댓글의 숨은 의도를 설명해 봐"라고 시켰습니다.

• 결과: 인공지능도 이 미묘한 가짜 혐오를 찾아내는 데는 고전했습니다. 특히 "어떤 사회적 결과가 나올지 (Implication)"를 설명하는 것은 가장 어려웠습니다.
• 재미있는 발견: 무조건 큰 모델 (머리 좋은 AI) 이 좋은 건 아니었습니다. 작지만 논리 훈련을 잘 받은 모델이 오히려 더 정확한 설명을 내놓기도 했습니다. 이는 AI 가 단순히 글자 수를 맞추는 게 아니라, 사실을 추론하는 능력이 중요하다는 것을 보여줍니다.

5. 왜 이 연구가 중요한가?

이 연구는 단순히 나쁜 글을 걸러내는 필터를 만드는 것을 넘어, "왜 이것이 나쁜 말인지"를 설명할 수 있는 AI를 만드는 첫걸음입니다.

• 현재: AI 가 "이 댓글 삭제"라고만 하면, 사람들은 "왜?"라고 의아해합니다.
• 미래 (이 연구의 목표): AI 가 "이 댓글은 거짓 정보를 바탕으로 특정 종교를 악마화하려는 의도로 쓰였으며, 이는 사회적 갈등을 부추길 수 있으므로 삭제합니다"라고 설명해 줄 수 있게 됩니다.

요약

HateMirage는 인터넷에 숨어 있는 **"거짓말을 무기로 한 숨은 공격"**을 찾아내고, 그 공격의 목표, 의도, 피해를 세세하게 설명해 주는 새로운 지도입니다. 이를 통해 AI 가 더 똑똑하고, 투명하게, 그리고 책임감 있게 인터넷을 지킬 수 있게 되기를 기대합니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 미묘한 혐오 표현 (Faux Hate) 의 간과: 기존의 온라인 안전 연구와 혐오 발언 데이터셋은 주로 노골적인 모욕, 욕설, 직접적인 공격 (Overt Toxicity) 에 초점을 맞추고 있습니다. 그러나 최근에는 혐오 의도가 유머, 아이러니, 또는 허위 정보 (Misinformation) 와 조작된 서사에 숨겨진 '가짜 혐오 (Faux Hate)'가 증가하고 있습니다.
• 기존 데이터셋의 한계: 기존 데이터셋 (HateXplain, HARE 등) 은 토큰 수준의 설명이나 단일 차원의 이유만 제공하며, 허위 정보가 어떻게 혐오를 유발하거나 정상화하는지에 대한 **맥락적 추론 (Contextual Reasoning)**과 다차원적 설명을 제공하지 못합니다.
• 해결 과제: 허위 사실에 기반한 미묘하고 간접적인 혐오 발언을 식별하고, 그 배경이 되는 의도 (Intent), 대상 (Target), 그리고 사회적 파장 (Implication) 을 설명할 수 있는 새로운 벤치마크와 해석 가능한 NLP 프레임워크가 필요합니다.

2. 방법론 (Methodology)

2.1. HateMirage 데이터셋 구축

• 데이터 수집 프로세스:
  1. 허위 사실 선별: AltNews, FactChecker 등 사실 확인 (Fact-checking) 사이트에서 널리 debunk 된 (사실과 입증된) 허위 주장을 수집합니다.
  2. 댓글 추출: 해당 주장과 관련된 유튜브 뉴스 채널의 댓글을 크롤링하여 수집했습니다. (국제 뉴스 채널을 사용하여 지역적 편향을 줄임).
  3. 선별 및 번역: 'Fake=1'이면서 'Hate=1'인 'Faux Hate' 인스턴스만 선별하고, 힌디어 - 영어 혼용 (Code-mixed) 댓글은 GPT-4 를 통해 영어로 번역하여 일관성을 유지했습니다.
• 다차원 주석 (Annotation): 총 4,530 개의 댓글에 대해 다음 3 가지 해석 가능한 차원으로 주석을 달았습니다.
  1. Target (대상): 누가 공격받고 있는가? (명시적 언급 및 암시적 연관성 포함)
  2. Intent (의도): 댓글 작성자의 숨겨진 동기나 목표는 무엇인가? (비난, 위선, 분열 조장 등)
  3. Implication (파장): 이 발언이 사회적 담론이나 집단 간 신뢰에 미칠 잠재적 영향은 무엇인가?
• 생성 및 검증:
  • RAG 기반 생성: GPT-4 를 사용하여 설명을 생성할 때, 사실 확인 데이터를 기반으로 한 **검색 증강 생성 (RAG)**을 적용하여 사실적 정확성을 확보했습니다.
  • Human-in-the-Loop: 생성된 설명의 품질을 검증하기 위해 10~15% 를 인간 평가자가 무작위 샘플링하여 사실성, 의미적 일관성, 언어적 명확성을 검증했습니다.

2.2. 벤치마킹 및 평가

• 모델 평가: 1B 에서 8B 파라미터까지의 다양한 오픈소스 언어 모델 (LLaMA-3, Qwen-2.5, Phi-3, Mistral 등) 을 대상으로 설명 생성 작업을 수행했습니다.
• 실험 설정:
  • Zero-shot: 외부 지식 없이 모델의 사전 학습 지식만으로 추론.
  • RAG-based: 사실 확인 데이터를 검색하여 컨텍스트로 제공.
• 평가 지표: 생성된 설명과 골드 (Gold) 주석 간의 일치를 측정하기 위해 **Sentence-BERT 유사도 (의미적 정렬)**와 **ROUGE-L F1 (어휘 및 구조적 중첩)**을 사용했습니다.

3. 주요 기여 (Key Contributions)

1. HateMirage 데이터셋: 허위 정보와 혐오 발언의 교차점을 다루는 최초의 다차원 설명 데이터셋 (4,530 개 샘플) 을 공개했습니다. 이는 단순 분류를 넘어 '왜' 그리고 '어떤 영향'을 미치는지에 대한 구조적 설명을 제공합니다.
2. 다차원 설명 프레임워크: Target, Intent, Implication 을 통합하여 허위 서사가 어떻게 혐오로 전환되는지 해석 가능한 형태로 매핑했습니다.
3. 모델 벤치마킹: 소규모 모델 (SLM) 과 대규모 모델 (LLM) 의 추론 능력을 비교 분석하여, 설명 생성 작업에서의 초기 기준선 (Baseline) 을 확립했습니다.
4. 재현성 보장: 프롬프트 템플릿, 주석 가이드라인, RAG 구성, 소스 코드 등을 GitHub 에 공개했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

• 모델 성능:
  • Phi-3-128k-3B: Target 식별과 Intent 추론에서 가장 우수한 성능을 보였습니다. 특히 Target 식별에서 SBERT 유사도 65.55%, ROUGE-L F1 50.36% 를 기록하며 가장 큰 모델들보다 뛰어난 일반화 능력을 입증했습니다. 이는 Phi 모델의 훈련 데이터에 추론 중심의 합성 데이터가 많이 포함되어 있기 때문으로 분석됩니다.
  • Mistral-v0.3-7B: 가장 추상적이고 맥락 의존적인 Implication (파장) 차원에서 가장 좋은 성능을 보였습니다.
• RAG의 효과: RAG 설정을 적용하면 사실 기반 요소 (Target 등) 의 정확도가 향상되었으나, 추상적인 Implication 에 대한 성능 향상은 제한적이었습니다.
• 오류 분석:
  • Target: 모델이 표면적인 명사나 초기 언급된 개체에 의존하여 실제 공격 대상 (예: 언론인 vs 조직) 을 잘못 식별하는 경우가 발생했습니다.
  • Intent: 아이러니나 정치적 포지셔닝 등 미묘한 동기를 포착하지 못하고 "혐오적 서사 확산"과 같은 일반적인 설명을 생성하는 경향이 있었습니다.
  • Implication: 가장 어려운 과제로, 구체적인 사회적 결과 (예: 특정 집단에 대한 낙인찍기) 대신 "일반적인 부정성"과 같은 포괄적이고 모호한 설명을 생성했습니다.
• 인간 평가 결과: GPT-4 가 생성한 설명과 인간이 작성한 설명을 비교했을 때, Target 은 90% 이상 유사도가 높았으나 Implication 은 유사도가 낮았습니다. 이는 모델이 사실적 요소는 잘 파악하지만, 인과 관계와 사회적 함의를 추론하는 데는 한계가 있음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능한 AI 의 발전: HateMirage 는 단순한 분류를 넘어 혐오 발언의 논리적 근거와 사회적 영향을 설명함으로써, 신뢰할 수 있는 콘텐츠 중재 (Content Moderation) 시스템 구축에 기여합니다.
• 연구 방향 전환: 노골적인 혐오뿐만 아니라 허위 정보에 기반한 미묘한 혐오를 탐지하고 설명하는 연구의 새로운 표준을 제시합니다.
• 윤리적 고려: 데이터셋은 연구 목적으로만 제한적으로 제공되며, 악용 방지를 위해 모든 식별 정보는 마스킹 처리되었습니다.
• 향후 과제: 텍스트뿐만 아니라 밈 (Meme) 과 시각적 서사를 포함한 멀티모달 데이터셋으로 확장하고, 설명의 충실도 (Faithfulness) 를 평가하는 새로운 메트릭을 개발하는 것이 향후 계획입니다.

이 논문은 허위 정보와 혐오 발언이 결합된 복잡한 온라인 환경을 이해하고, 이를 해석 가능한 AI 를 통해 효과적으로 대응하기 위한 중요한 발걸음으로 평가됩니다.