💬 NLP

Self-Explaining Hate Speech Detection with Moral Rationales

이 논문은 혐오 표현 탐지의 강건성과 해석 가능성을 향상시키기 위해 모델의 어텐션을 도덕적 기초 이론(Moral Foundations Theory)에 기반한 전문가 주석 도덕적 근거와 정렬하는 새로운 자기 설명 프레임워크인 지도된 도덕적 근거 어텐션(Supervised Moral Rationale Attention, SMRA)을 소개하며, 이는 새로 출시된 브라질 포르투갈어 데이터셋인 HateBRMoralXplain에 의해 뒷받침됩니다.

원저자: Francielle Vargas, Jackson Trager, Diego Alves, Surendrabikram Thapa, Matteo Guida, Berk Atil, Daryna Dementieva, Andrew Smart, Ameeta Agrawal

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Francielle Vargas, Jackson Trager, Diego Alves, Surendrabikram Thapa, Matteo Guida, Berk Atil, Daryna Dementieva, Andrew Smart, Ameeta Agrawal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 사람들이 소리치고, 농담하고, 논쟁하며, 때로는 끔찍한 말들을 내뱉는 거대하고 시끄러운 디지털 광장을 걷고 있다고 상상해 보세요. 컴퓨터 과학, 특히 '자연어 처리(컴퓨터에게 인간의 언어를 이해하도록 가르치는 기술적인 방법)'라고 불리는 분야에서, 과학자들은 '디지털 보디가드'를 만들기 위해 노력하고 있습니다. 이 보디가드는 알고리즘으로, 사람들이 누구인지에 따라 공격하는 혐오 표현(사람들에게 해롭고 위험한 비방)을 포착하도록 설계되었습니다. 하지만 여기서 까다로운 문제가 발생합니다. 컴퓨터는 종종 무언가가 '왜' 나쁜지에 대해 이해하는 데 서툴기 때문입니다. 컴퓨터는 마치 나쁜 단어 목록을 암기했을 뿐, 친구 사이의 장난스러운 모욕과 실제적인 위협 사이의 차이를 구분하지 못하는 아이와 같습니다. 만약 컴퓨터가 특정 나쁜 단어만을 찾는다면, 반어법이나 문화적 농담, 또는 교묘하게 위장된 혐오 표현에 혼란을 느낄 수 있습니다. 이것은 큰 문제입니다. 디지털 보디가드가 실수를 하면 무고한 사람들의 입을 막거나, 위험한 혐오가 빈틈을 타고 빠져나가게 할 수 있기 때문입니다. 이를 해결하기 위해 연구자들은 컴퓨터에게 단순히 무엇을 차단할 것인가가 아니라, 왜 그것을 차단하는지를 가르치려 노력하고 있습니다. 이는 '도덕적 추론(moral reasoning)'이라는 개념을 사용하여, 인간이 하는 것처럼 컴퓨터에게 공정성, 해악, 충성심에 대해 생각하도록 요청하는 것입니다.

이때, 단순히 추측하는 것을 멈추고 컴퓨터에게 도덕 철학자처럼 생각하는 법을 가르치기로 결심한 새로운 연구팀이 등장했습니다. 그들은 **SMRA(Supervised Moral Rationale Attention, 지도된 도덕적 근거 주의)**라는 영리한 새로운 시스템을 도입했습니다. SMRA를 디지털 탐정을 위한 훈련 프로그램이라고 생각해 보세요. 훈련사(인간 전문가)들이 탐정에게 단순히 찾아야 할 '나쁜 단어' 목록을 보여주는 대신, 특정 문장을 보여주며 "여기 봐! 이 부분이 누군가의 기분을 상하게 하기 때문에 나쁜 거야"라거나 "이 부분이 공정성의 규칙을 어겼기 때문에 나쁜 거야"라고 말해주는 방식입니다. 컴퓨터는 단순히 표면적인 키워드를 스캔하는 대신, 이러한 특정 '도덕적 단서'에 주목하는 법을 배웁니다. 이 훈련을 가능하게 하기 위해, 팀은 또한 HateBRMoralXplain이라는 거대한 새로운 예시 라이브러리를 만들었습니다. 이것은 단순한 나쁜 댓글 목록이 아닙니다. 브라질의 실제 인스타그램 댓글 7,000개를 모은 것으로, 전문가들이 어떤 도덕적 규칙이 깨졌고 '왜' 그러한지를 정확히 설명하며 라벨을 붙였습니다. 이는 마치 탐정에게 실제 사건들이 담긴 교과서와 그 여백에 적힌 전문가의 손글씨 노트를 주는 것과 같습니다.

이 새로운 탐정을 테스트에 투입했을 때, 결과는 유망했습니다. SMRA 시스템은 단순히 혐오 표현을 찾아내는 능력이 약간 좋아진 것이 아니라, 왜 그것을 찾아냈는지 '설명하는 능력'이 향상되었습니다. 테스트에서 이 시스템은 혐오 표현을 찾아내는 정확도를 높였을 뿐만 아니라, 더 중요하게는 어떤 단어가 댓글을 해롭게 만드는지를 정확히 지목하는 능력을 개선했습니다. 논문은 컴퓨터가 더 깊은 도덕적 이유에 집중함으로써, (특정 단어가 다른 나쁜 단어 근처에 자주 나타난다는 이유만으로 그 단어가 나쁘다고 생각하는 것과 같은) 가짜 상관관계에 속을 가능성이 낮아지고, 실제 맥락을 이해할 가능성이 높아진다고 제안합니다. 흥미롭게도, 연구팀은 컴퓨터가 '도덕적' 이유를 찾는 데는 더 능숙해졌지만, 모든 면에서 반드시 더 '공정'해진 것은 아니라는 점을 발견했습니다. 이는 컴퓨터에게 도덕성을 가르치는 것이 마법의 스위치를 켜는 것이 아니라 복잡한 여정임을 시사합니다. 그들은 또한 이 작업을 수행하기 위해 거대하고 강력한 AI 모델(LLM 등)을 사용해 보았지만, 매우 구체적인 지침과 적절한 맥락이 주어지지 않는 한 이 초지능 모델들조차 도덕적 미묘함을 이해하는 데 어려움을 겪는다는 것을 발견했습니다.

연구진은 또한 '왜'에 대한 흥미로운 사실을 발견했습니다. 그들이 도덕 중심의 탐정과 오직 '혐오' 단어만을 찾는 탐정을 비교했을 때, 도덕 중심의 탐정이 인간의 판단과 훨씬 더 잘 일치한다는 것을 확인했습니다. 그러나 그들은 설명이 더 간결해졌다는 점(더 짧고 강렬해졌다는 점)을 언급했는데, 이는 좋긴 하지만 때때로 컴퓨터가 몇 가지 세부 사항을 놓치게 된다는 것(포괄성의 약간의 저하)을 의미하기도 했습니다. 논문은 이러한 트레이드오프(절충)가 모델의 실제 사고 과정에 더 충실한 설명을 제공한다는 점에서 가치가 있다고 제안합니다. 결국, 팀은 자신들의 새로운 방법이 모든 문제를 해결하는 완벽한 해결책은 아니지만, 중요한 진전이라고 결론짓습니다. 이는 우리가 컴퓨터를 선량한 디지털 시민으로 만들고 싶다면, 단어 그 자체가 아니라 단어가 가진 도덕적 무게를 신경 쓰도록 가르쳐야 한다는 것을 보여줍니다. 논문은 이 연구가 아직 초기 단계이며, 결과가 고무적이긴 하지만, 새로운 편향을 도입하지 않고 다양한 문화와 언어 전반에서 이러한 시스템을 작동시키는 방법에 대해 여전히 배울 것이 많다는 주의 사항을 남기며 끝을 맺습니다.

기술 요약: 도덕적 근거를 활용한 자기 설명형 혐오 표현 탐지

문제 정의

기존의 혐오 표현(Hate Speech, HS) 탐지 모델은 불투명성과 표면적인 어휘적 단서에 대한 과도한 의존성 문제를 안고 있다. 이러한 의존성은 가짜 상관관계(spurious correlations)에 대한 취약성, 강건성 저하, 그리고 문화적 맥락화의 결여로 이어진다. 또한, 표준 모델들은 학습 데이터와 주석 처리 과정에서 발생하는 편향을 그대로 물려받아, 결과적으로 소외 계층을 부당하게 타겟팅하는 결과를 초래한다. 설명 가능한 AI(XAI) 접근 방식들이 존재하지만, 이들은 주로 사후적(post-hoc, 예측 후 설명을 생성하며, 종종 충실도가 낮거나 계산 비용이 많이 듦) 방식이나 자기 설명적(self-explaining, 설명을 학습 과정에 통합함) 방식으로 분류된다. 그러나 현재의 자기 설명 방식들은 문화적으로 가변적인 혐오 표현과 무해한 언어를 구분하는 데 필수적인 규범적 및 도덕적 추론을 포착하는 데 실패하는 경우가 많다. 최근 연구들은 도덕적 가치가 언어 간에 전이 가능한 잠재적 표현을 구성한다고 제안하지만, 표준 모델들은 이를 명시적으로 활용하지 못하고 있다.

방법론: 지도된 도덕적 근거 주의 집중(Supervised Moral Rationale Attention, SMRA)

저자들은 전문가가 주석을 달았던 도덕적 근거와 신경망의 주의 집중(attention)을 정렬하도록 설계된 자기 설명형 프레임워크인 **SMRA(Supervised Moral Rationale Attention)**를 제안한다.

핵심 메커니즘

SMRA는 **규범적 귀납적 정규화(normative inductive regularization)**를 학습 목적 함수에 도입하여 표준 트랜스포머 기반 분류기(예: BERT)를 수정한다. 모델은 단순히 어휘적 표식에 의존하는 대신, 인간 전문가가 도덕적으로 유의미하다고 식별한 토큰에 주목하도록 유도된다.

작업 정의: 본 프레임워크는 두 가지 작업을 다룬다:
- 이진 혐오 표현 분류: 콘텐츠가 혐오 표현인지 여부를 예측한다.
- 다중 레이블 도덕적 감성 분류: 어떤 도덕적 기초 이론(MFT) 범주(돌봄/해악, 공정성/속임수, 충성심/배신, 권위/전복, 순결/타락)가 존재하는지 식별한다.
주의 집중 정렬 손실(Attention Alignment Loss): 도덕적 근거가 존재하는 학습 인스턴스에 대해, SMRA는 모델의 정규화된 주의 분포( $a$ )와 인간의 주석으로부터 유도된 이진 근거 마스크( $r$ ) 사이의 평균 제곱 오차(MSE)를 최소화한다.
목적 함수: 전체 손실( $\ell_{total}$ )은 분류를 위한 표준 교차 엔트로피 손실( $\ell_{CE}$ )과 지도된 주의 집중 정렬 손실( $\ell_{MSE}$ )을 결합한다:
$\ell_{total} = \ell_{CE} + \alpha \cdot \ell_{MSE}$
여기서 $\alpha$ 는 주의 집중 감독의 강도를 조절한다. 이 손실은 도덕적 근거가 주석 처리된 샘플에 대해서만 적용된다.

데이터셋: HateBRMoralXplain

이 프레임워크를 지원하기 위해 저자들은 브라질 포르투갈어 HateBR 벤치마크의 확장판인 HateBRMoralXplain을 도입한다.

구성: 3명의 전문가가 주석을 단 7,000개의 인스타그램 댓글(공격적 3,500개, 비공격적 3,500개).
주석: 혐오 레이블, MFT 범주, 그리고 토큰 수준의 도덕적 근거(도덕적 레이블을 정당화하는 최소한의 텍스트 구간)를 포함한다.
메타데이터: 사회 정치적 메타데이터(정당, 원문 게시자의 성별)를 풍부하게 포함하여 편향 분석을 용이하게 한다.
주석자 간 일치도: 주요 도덕적 레이블에 대해 상당하거나 거의 완벽한 일치를 보였으며( $\kappa = 0.811$ ), 이차 및 삼차 레이벨에 대해서는 보통에서 상당한 수준의 일치를 보였다.

주요 기여

SMRA 프레임워크: 모델의 주의 집중을 전문가가 주석을 단 도덕적 근거와 직접 정렬함으로써, 해석 가능성, 강건성 및 문화적 맥락화를 개선하는 것을 목표로 하는 최초의 자기 설명형 혐오 표현 탐지 프레임워크이다.
HateBRMoralXplain 데이터셋: 도덕적 범주, 인간이 주석을 단 근거, 사회 정치적 메타데이터가 고유하게 풍부하게 포함된 저자원 언어인 브라질 포르투갈어를 위한 대규모 전문가 주석 코퍼스이다.
경험적 평가: mBERT 및 BERTimbau를 사용하여 다양한 프롬프팅 전략을 사용하는 다양한 베이스라인(표준 미세 조정, LIME/SHAP과 같은 사후적 방법, SRA와 같은 다른 자기 설명 방식) 및 대규모 언어 모델(LLM)을 대상으로 종합적인 평가를 수행하였다.

결과

실험은 mBERT와 BERTimbau를 사용하여 이진 혐오 표현 탐지 및 다중 레이블 도덕적 감성 분류에 대해 수행되었다.

성능 향상

예측 성능: SMRA는 베이스라인에 비해 일관되게 성능을 향상시나켰다. 이진 분류에서 정확도(+0.0004)와 Macro F1(+0.0082)을 높였다. 다중 레이블 도덕적 분류에서는 Macro F1(+0.015)과 AUROC(+0.002)를 개선했다.
설명 품질 (타당성, Plausibility): SMRA는 인간의 근거와 정렬을 크게 향신시켰다.
- IoU F1: 베이스라인 대비 이진 분류에서 +0.0743, 도덕적 분류에서 +0.241 개선되었다.
- Token F1: 이진 분류에서 +0.0503, 도덕적 분류에서 +0.241 개선되었다.
설명 품질 (충실도, Faithfulness):
- 포괄성(Comprehensiveness): 약간 감소(−0.0203)하였는데, 이는 설명이 더 간결해졌음을 의미한다.
- 충족성(Sufficiency): 개선되었다(−0.0231, 확률 하락에 대한 지표 정의에서 낮은 것이 더 좋음을 의미하거나, 더 압축적이면서도 충실한 근거를 생성한다는 논문의 문맥으로 해석됨). 논문은 SMRA가 충실함을 유지하면서도 더 간결한 설명을 생성한다고 언급한다.
공정성: 공정성 지표(GMB-Sub, GMB-BPSN, GMB-BNSP)가 안정적으로 유지되었으며, 이는 설명 품질의 향상이 심각한 편향 트레이드오프를 도입하지 않았음을 시사한다.

비교 분석

SMRA vs. SRA (Supervised Rational Attention): SMRA는 어휘적 근거에 의존하는 SRA에 비해 실질적으로 더 높은 타당성(IoU F1 +0.1195, Token F1 +0.1508)을 달성했다. SRA는 불안정한 충실성(음의 Sufficiency)을 보인 반면, SMRA는 양의 Sufficiency를 유지하여 근거와 예측 사이의 더 안정적인 인과적 정렬을 보여주었다.
LLM 성능: LLM(GPT-4o-mini, Llama-3.1-70B)은 도덕적 근거와 정의를 포함하여 프롬프팅했을 때 혐오 표현 분류에서 주목할 만한 성능 향상(약 2~3%)을 보였다. 그러나 도덕적 감성 분류에서는 낮은 성능(최대 F1 0.38)을 보였다. 프롬프트를 영어로 번역할 경우 성능 저하가 발생하여, 언어 특화적 맥락의 중요성을 강조했다.

의의 및 주장

본 논문은 SMRA가 더 해석 가능하고 문화적으로 인지 능력이 높은 혐의 표현 탐지를 향한 중요한 단계라고 주장한다. 도덕적 추론을 학습 목적 함수에 직접 통합함으로써, 이 프레임워크는 표면적인 어휘적 단서를 넘어 혐오 표현의 기저에 깔린 규범적 구조를 포착한다.

저자들은 다음과 같이 단언한다:

도덕적 근거가 어휘적 단서보다 우월하다: 주의 집중을 도덕적 근거와 정렬하면 어휘적 근거를 사용하는 방법보다 가짜 상관관계에 대한 의존도를 줄이고 교차 문화적 일반화 능력을 향상시킨다.
내재적 해석 가능성: 사후적 방법과 달리, SMRA는 모델의 결정 과정에 충실한 내재적으로 해석 가능한 설명을 생성한다.
편향 트레이드오프 없음: 설명 품질과 강건성을 높이는 것이 반드시 공정성을 저해하지는 않는다. 모델은 안정적인 공정성 지표를 유지했다.
맥락의 필수성: 본 연구는 혐표 표현 탐지에 문화적, 도덕적 맥락이 필요함을 강조한다. 특히 저자원 언어와 비꼬기(sarcasm) 또는 정치적 맥락이 포함된 미묘한 사례의 경우, 표준 모델이 놓칠 수 있는 부분을 포착해야 한다.

저자들은 SMRA가 강건성과 해석 가능성을 개선하지만, 비용이 많이 드는 인간 주석에 의존하며 현재 브라질 포르투갈어 데이터에 주로 평가되어 있으므로, 확장성 및 교차 언어적 일반화에 대한 향후 연구가 필요하다고 결론짓는다.