PEACE 2.0: 혐오 표현 대응을 위한 근거 기반 설명 및 반박 말 생성

1. 문제 정의 (Problem)

• 배경: 온라인 플랫폼에서의 혐오 발언 (Hate Speech, HS) 이 급증하여 심각한 사회적 문제를 야기하고 있습니다.
• 현황: 자연어 처리 (NLP) 커뮤니티는 혐오 발언의 존재를 자동으로 탐지하는 데는 성공했으나, 이에 대한 대응인 반박 말 (Counter-Speech, CS) 생성은 여전히 해결되지 않은 과제로 남아 있습니다.
• 도전 과제:
  • 혐오 발언은 명시적 (explicit) 인 형태뿐만 아니라, 암호화된 표현이나 문맥에 의존하는 암시적 (implicit) 형태도 존재하여 탐지와 해석이 어렵습니다.
  • 기존 시스템들은 주로 탐지, 시각화, 모니터링에 집중하거나 반박 말 생성을 별도로 처리했습니다.
  • 특히 암시적 혐오 발언에 대한 효과적인 반박 말 생성은 정보 제공과 신중한 표현이 동시에 요구되어 매우 어렵습니다.
  • 기존 도구들은 지식 기반 (knowledge-grounded) 생성과 비기반 생성을 체계적으로 비교하지 못했습니다.

2. 방법론 (Methodology)

PEACE 2.0 은 혐오 발언의 분석, 설명, 그리고 실행 가능한 대응 (반박 말 생성) 을 통합하는 웹 기반 도구입니다. 핵심 기술은 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 파이프라인을 활용하는 것입니다.

• 핵심 아키텍처 및 데이터:

  • 지식 베이스: 유엔 디지털 도서관, Eur-Lex, 유럽 기본권 기구 (FRA) 의 문서 32,792 건 (2000~2025 년) 을 포함하며, 약 317 만 토큰의 단락으로 구성됩니다.
  • 모델:
    • 탐지: ISHate 데이터셋으로 미세 조정 (fine-tuned) 된 BERT 분류기.
    • 생성 및 설명: 오픈소스 LLM (Mistral-7B, Llama-3.1-8B, CommandR) 사용.
    • 검색: BGE-M3 문장 임베딩과 FAISS 를 이용한 내적 유사도 검색.

• 주요 기능 (3 가지 핵심 기능):

  1. 지식 기반 반박 말 생성 (Knowledge-grounded CS Generation):
     • 혐오 발언 입력 시, RAG 파이프라인을 통해 인권 관련 권위 있는 출처에서 관련 증거 (evidence) 를 검색합니다.
     • 검색된 증거를 요약하여 LLM 프롬프트에 포함시키고, 이를 바탕으로 존중스럽고 설득력 있는 반박 말을 생성합니다.
     • 사용자는 RAG 유무 (검색 기반 vs 비검색 기반) 를 선택하여 생성 결과의 차이를 직접 비교할 수 있습니다.
  2. 증거 기반 혐오 발언 분류 설명 (Evidence-grounded Explanations):
     • BERT 분류기의 예측 결과를 설명할 때, 단순히 모델의 확률만 보여주는 것이 아니라, 검색된 사실적 증거를 바탕으로 왜 해당 메시지가 혐오 발언으로 분류되었는지 자연어 설명을 생성합니다.
     • 투명성과 해석 가능성을 높입니다.
  3. 시각 분석 및 데이터 탐색 (Visual Analytics & Exploration):
     • 명시적/암시적 혐오 발언 및 다양한 반박 말 데이터셋 (CONAN, Twitter, YouTube 등) 을 Sankey 다이어그램, 워드 클라우드, 빈도 차트 등을 통해 시각화합니다.
     • 대상 그룹, 혐오 유형, 반박 말 전략 (전문가, 사용자, RAG 등) 간의 관계를 분석합니다.
  4. 데이터 증강 (Data Augmentation):
     • 암시적 혐오 발언의 의미를 유지하면서 표면적 요소 (명사 교체, 부사 조정, 동의어 치환 등) 를 변경하여 적대적 예제 (adversarial examples) 를 생성하는 모듈을 포함합니다.

3. 주요 기여 (Key Contributions)

• 통합 플랫폼: 혐오 발언의 탐지, 설명, 그리고 지식 기반 반박 말 생성을 하나의 인터랙티브 플랫폼에서 제공하는 최초의 온라인 도구입니다.
• RAG 기반 접근법: 혐오 발언 대응에 RAG 를 적용하여, 생성된 내용이 사실에 기반하고 (factuality), 관련성 (relevance) 이 있으며, 설득력 (persuasiveness) 을 갖도록 보장합니다.
• 명시적/암시적 혐오 동시 처리: 기존 시스템이 주로 명시적 혐오에 집중했던 것과 달리, 암시적 혐오 발언에 대한 심층 분석과 대응을 지원합니다.
• 비교 실험: RAG 기반 생성과 비기반 생성의 성능을 체계적으로 비교하여 지식 기반 접근법의 효과를 입증했습니다.

4. 실험 및 결과 (Experiments and Results)

• 실험 설정:
  • 5 개 암시적 혐오 데이터셋 (IHC, ISHate, TOXIGEN, DYNA, SBIC) 에서 100 개의 메시지 (명시적/암시적 각 50 개) 를 샘플링했습니다.
  • 각 메시지에 대해 RAG 유무로 설명과 반박 말을 생성하여 자동 평가 및 인간 평가 (3 인 어노테이터) 를 수행했습니다.
• 평가 지표:
  • 인간 평가: 유창성 (Fluency), 정보성 (Informativeness), 설득력 (Persuasiveness), 논리적 일관성 (Soundness), 구체성 (Specificity) 을 1~5 점 리커트 척도로 평가.
  • 자동 평가: 어휘 다양성 (Distinct-3), 의미 유사도, 퍼플렉시티 (Perplexity), 사실성 (Faithfulness), NLI 기반 함의/모순 측정.
• 주요 결과:
  • 정보성과 설득력 향상: RAG 기반 생성물이 비기반 생성물보다 모든 지표에서 우월했습니다. 특히 **정보성 (Informativeness)**과 **설득력 (Persuasiveness)**에서 큰 차이를 보였습니다.
    • 예: 암시적 혐오에 대한 설명의 정보성 점수는 RAG(4.64) 대 비 RAG(2.72) 로 큰 격차를 보였습니다.
    • 예: 암시적 혐오에 대한 반박 말의 설득력 점수는 RAG(4.94) 대 비 RAG(3.22) 였습니다.
  • 통계적 유의성: 윌콕슨 부호 순위 검정 (Wilcoxon signed-rank test) 을 통해 모든 개선 사항이 통계적으로 유의미함 (p < 0.05) 이 확인되었습니다.
  • 품질 유지: 유창성과 논리적 일관성은 RAG 유무와 관계없이 유사하게 유지되어, 지식 추가가 가독성을 해치지 않음을 입증했습니다.
  • 사실성: RAG 기반 출력물은 검색된 증거와 높은 일치도 (Faithfulness) 를 보이며, 원래 혐오 발언을 지지하지 않고 적절히 대응함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 사회적 영향: PEACE 2.0 은 단순한 콘텐츠 삭제나 검열을 넘어, 사실에 기반한 건설적인 대화 (Counter-speech) 를 통해 혐오 발언을 해결하려는 접근을 지원합니다.
• 투명성 및 신뢰: 생성된 설명과 반박 말에 근거 (evidence) 를 명시함으로써 AI 의 결정 과정에 대한 투명성을 높이고, 사용자의 신뢰를 강화합니다.
• 미래 전망: 적응형 검색 전략, 동적 지식 베이스 업데이트, 그리고 반박 말 품질 평가를 위한 새로운 지표 개발 등을 향후 과제로 제시하며, 전자 민주주의 (e-democracy) 와 포용성 증진을 위한 실용적인 도구로서의 가능성을 제시합니다.

요약하자면, PEACE 2.0 은 RAG 기술을 활용하여 혐오 발언에 대한 사실 기반의 설명과 설득력 있는 반박 말을 자동 생성하는 혁신적인 도구로, 특히 기존에 해결하기 어려웠던 암시적 혐오 발언에 대한 대응 능력을 크게 향상시켰습니다.