💬 NLP

SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes

이 논문은 폐쇄형 모델에 필적하고 기존의 오픈 소스 베이스라인들을 능가하는 견고한 밈 혐오 표현 탐지를 달성하기 위해, Q&A 및 계층적 변형을 포함한 구조적 추론 프레임워크인 SAFE-MEME과 두 가지 새로운 세밀한 멀티모달 혐오 표현 데이터셋(MHS 및 MHS-Con)을 소개한다.

원저자: Palash Nandi, Shivam Sharma, Tanmoy Chakraborty

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Palash Nandi, Shivam Sharma, Tanmoy Chakraborty

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 수많은 사람들이 소리치고, 속삭이고, 벽에 그림을 그리는 거대하고 혼란스러운 디지털 광장이라고 상상해 보세요. 이 마을에서 '밈(meme)'은 그림과 자막으로 이루어진 비밀스러운 악수와 같습니다. 때로는 그저 고양이에 대한 재미있는 농담일 수도 있습니다. 하지만 다른 경우에는 '트로이 목마'가 되기도 합니다. 겉으로는 무해해 보이는 그림과 자막이 결합되어 있지만, 실제로는 특정 집단에게 상처를 주기 위해 설계된 숨겨진 독성 메시지를 담고 있는 것입니다. 이것을 '혐오 표현(hate speech)'이라고 부르며, 밈 안에 숨어 있을 때는 잡아내기가 매우 어렵습니다. 왜냐하면 혐오가 단어 자체나 그림 자체에 있는 것이 아니라, 그 둘의 교묘한 조합 속에 들어있기 때문입니다.

오랫동안 이 광장을 감시하려는 컴퓨터들은 텍스트만 읽거나 그림만 보는 보안 요원과 같았습니다. 그들은 농담이 아닌 농담, 혹은 칭찬으로 위장된 모욕을 놓치곤 했습니다. 그들은 마을의 비밀스러운 역사까지 알아야만 이해할 수 있는 속삭임인 '암시적 혐오(implicit hate)'를 파악하는 데 어려움을 겪었습니다. 연구자들이 던진 큰 질문은 이것입니다. "컴퓨터가 단순히 표면을 보는 것을 넘어, 인간처럼 밈이 실제로 의미하는 바가 무엇인지 '생각'하도록 가르칠 수 있을까?"

이 논문은 SAFE-MEME라는 새로운 디지털 탐정 팀을 소개합니다. SAFE-Meme은 단순히 밈을 스캔하여 "혐오!" 또는 "안전!"이라고 외치는 대신, 겉모습만 보고는 믿지 않는 호기심 많은 십 대처럼 행동합니다. 이들은 사건의 실마리를 풀기 위해 일련의 질문을 던지며 결론을 도출하는 탐정과 유사한 특별한 '구조적 추론(structured reasoning)' 기술을 사용합니다.

연구자들은 이 탐정들을 위해 두 가지 새로운 훈련장을 만들었습니다. 첫 번째인 MHS는 밈을 "명시적 혐오"(노골적인 모욕), "암시적 혐오"(교묘하고 숨겨진 모욕), 또는 "무해함"(해롭지 않음)으로 분류한 도서관입니다. 두 번째인 MHS-Con은 컴퓨터를 속이도록 설계된 스트레스 테스트입니다. 이는 동일한 사진에 세 가지 서로 다른 자막을 결합합니다: 하나는 명백히 혐오적인 것, 하나는 교묘하게 혐오적인 것, 그리고 하나는 완전히 무해한 것입니다. 이 설정은 마치 탐정에게 한 사람의 사진을 보여주며, "당신이 들려주는 이야기에 따라 이 사람은 영웅인가, 악당인가, 아니면 그저 이웃인가?"라고 묻는 것과 같습니다.

논문은 두 가지 버전의 SAFE-MEME 탐정을 테스트합니다:

SAFE-MEME-QA: 이 버전은 "질문과 답변" 게임을 합니다. 밈을 볼 때 단순히 추측하지 않습니다. "누구를 겨냥하고 있는가?", "어떤 종류의 혐오인가?"와 같은 질문을 스스로에게 던집니다. 그리고 결론을 내리기 전에 논리의 사슬을 구축하며 답변을 적어 내려갑니다.
SAFE-MEME-H: 이 버전은 사진을 아주 상세하게 묘사한 다음, 밈을 계층 구조에 따라 분류하는 사서와 같습니다. (혐오스러운가? 만약 그렇다면, 그것은 명시적인가 아니면 숨겨진 것인가?)

결과는 마치 깜짝 파티와 같았습니다. 탐정들이 표준 밈 도서관(MHS)을 마주했을 때, 사서 스타일의 탐정(SAFE-MEME-H)이 스타 플레이어였습니다. 이 모델은 기존의 가장 우수한 오픈 소스 컴퓨터 모델들을 상당한 차이로 앞질렀으며, 이는 단계별 계층 구조 접근 방식이 미묘하고 숨겨진 혐오를 포착하는 데 효과적임을 입증했습니다. 그러나 동일한 이미지가 세 가지 서로 다른 이야기를 바탕으로 판단되어야 하는 까다로운 스트레스 테스트(MHS-Con)에서는 질문 답변형 탐정(SAFE-MEM고-QA)이 선두를 차지했습니다. 이 모델은 다른 오픈 소스 모델들보다 거의 5% 더 높은 성능을 보였으며, 혼란스러운 "교란(confounding)" 사례들을 훨씬 더 잘 처리했습니다.

흥미롭게도, 논문은 가장 강력한 "폐쇄형(closed-source)" 모델들(대형 IT 기업의 매우 똑똑하고 비싼 AI 시스템들)이 종종 너무 조심스럽다는 것을 발견했습니다. 그들은 실수를 저지르는 것을 두려워하여 많은 암시적 혐오를 놓쳤습니다. 반면, 단순한 텍스트 전용 모델(T5-large)은 스트레스 테스트에서 놀라울 정도로 잘 수행했는데, 이는 스트레스 테스트가 주로 명백한 단어들에 의존했기 때문입니다. 그러나 SAFE-MEME 탐정들은 자신들이 단어가 아닌 '맥락'을 실제로 이해하고 있음을 보여주었습니다.

연구자들은 또한 탐정들이 어디에서 실수를 하는지도 살펴보았습니다. 때때로 AI는 훈련 과정에서 충분히 접하지 못한 희귀한 집단에 대해 혼란을 느끼거나, 서로 다른 문화적 참조를 혼동하기도 했습니다. 이는 마치 한 동네는 잘 알지만 다른 동네에서는 길을 잃는 탐정과 같습니다. 논문은 SAFE-MEME가 컴퓨터에게 밈을 단순히 '보는' 것이 아니라 '생각하게' 만드는 데 있어 거대한 진전이지만, 여전히 훈련 데이터로부터 기인한 편향을 안고 있다고 결론짓습니다. 이것이 아직 완벽한 해결책은 아니지만, 이전보다 훨씬 더 똑똑하게 디지털 광글을 바라보는 방법임은 분명합니다.

문제 정의

밈(Meme)은 민감한 아이디어를 공유하기 위한 암호화된 도구 역할을 하며, 이를 올바르게 해석하기 위해서는 종종 깊은 맥락적 지식을 필요로 합니다. 이는 멀티모달 밈 중재를 어렵게 만듭니다. 기존의 접근 방식들은 다음과 같은 몇 가지 한계에 직면해 있습니다:

데이터 품질: 기존의 많은 데이터셋은 미세한 혐오 범주를 위한 고품질의 정교한 사례가 부족하거나, 저품질의 소셜 미디어 시각 자료에 의존합니다.
모델의 한계: 현재의 시각-언어 모델(VLM)은 암시적 콘텐츠에 대한 추론, 멀티모달 단서의 통합, 그리고 도메인 외 문화적 맥락을 이해하는 데 어려움을 겪습니다. 이들은 종종 표면적인 특징에 의존하며, 시각적-언어적 상호작용 속에 내재된 암시적 맥락을 포착하는 데 실패합니다.
암시적 혐오: 어휘적 단서를 통해 탐지 가능한 명시적 혐오와 달리, 암시적 혐오는 실용적 추론(풍자, 아이러니, 문화적 상징)을 통해 작동하므로 표면 수준의 분류기는 취약할 수 있습니다.

방법론

저자들은 구조적 추론을 통해 밈을 해체하도록 설계된 멀티모달 프레임워크인 SAFE-MEME(Structured reAsoning FramEwork)를 제안합니다. 이 프레임워크는 두 개의 새롭게 큐레이션된 데이터셋을 통해 평가되었으며, 두 가지 구별된 변체로 구현되었습니다.

1. 데이터셋

저자들은 두 가지 새로운 영어 멀티모달 혐오 표현 데이터셋을 도입했습니다:

MHS (Multimodal Hate Speech): 9개의 보호 집단을 다루며, 3,343개의 인스턴스(명시적 795개, 암시적 753개, 양성 685개)를 포함합니다. 각 인스턴스에는 혐오 라벨, 일반적인 시각적 설명, 그리고 라벨과 맥락을 설명하는 일련의 질문-답변(Q&A) 쌍이 포함되어 있습니다.
MHS-Con (Confounding): 스트레스 테스트용 데이터셋으로, 1,238개의 인스턴스를 포함합니다. 각 고유한 시각 자료는 명시적 혐오, 암시적 혐오, 양성의 세 가지 패러프레이즈된 텍스트 변형과 쌍을 이룹니다. 이 설정은 시각 자료는 동일하게 유지되지만 텍스트의 의도가 변화하는 동적인 멀티모달 구성에 대한 모델의 강건성을 테스트합니다.

2. SAFE-MEME 변체

두 변체 모두 T5-base 인코더/디코더와 비전 트랜스포머(ViT)를 기반으로 한 2단계 순차적 아키텍처를 사용하며, 텍스트와 시각적 특징을 결합하기 위해 게이트 퓨전 메커니즘을 채택합니다.

SAFE-MEME-QA (Q&A 스타일 추론):
- 1단계 (쿼리 생성): 밈의 모호한 맥락을 해체하기 위한 일련의 맥락 기반 쿼리( $Y_{query}$ )를 생성합니다 (예: "대상은 누구인가?", "어떤 종류의 혐해가 존재하는가?").
- 2단계 (응답 생성): 밈과 생성된 질문을 바탕으로 각 쿼리에 대한 답변( $Y_{answer}$ )을 반복적으로 생성합니다.
- 분류: 최종 혐오 라벨은 생성된 응답에 대한 정규 표현식 매칭을 통해 도출됩니다.
SAFE-MEME-H (계층적 범주화):
- 1단계 (맥락적 설명): 주요 속성과 맥락적 단서를 포함하는 풍부하고 세밀한 시각적 설명( $Y_{gdesc}$ )을 생성합니다.
- 2단계 (계층적 분류): 2단계 분류를 수행합니다:
  1. 레벨 1: 밈이 "혐오적(Hateful)"인지 "양성(Benign)"인지 결정합니다.
  2. 레벨 2: 혐오적인 경우, "명시적(Explicit)" 혐오와 "암시적(Implicit)" 혐오를 구분합니다.
- 아키텍처: 이 변체는 잠재 정보를 융합된 표현에 통합하기 위해 특정 대상 그룹에 대해 학습된 **범주별 선형 프로젝터(category-specific linear projectors)**를 사용하여, 경량화된 단일 레이어 어댑터 접근 방식을 허용합니다.

주요 기여

새로운 데이터셋: 일반적인 시나리오와 혼란스러운(confounding) 시나리오 모두에서 미세한 혐오 추상화를 포착하도록 설계된 MHS 및 MHS-Con을 도입했습니다.
SAFE-MEME 프레임워크: 엔드 투 엔드 블랙박스 분류에 의존하는 대신 추론 과정을 명시적으로 모델링하는 구조적 추론 프레임워크(QA 기반 및 계층적 방식)를 제공합니다.
포괄적인 벤치마킹: 유니모달 베이스라인(T5, ALBERT), 멀티모달 베이스라인(CLIP, BLIP2, LLaVA, MiniGPT), 그리고 태스크 특화 모델(HClipper, Pro-Cap) 및 폐쇄형 모델(GPT-4o, Gemini 2.5)을 대상으로 광범한 평가를 수행했습니다.
절제 연구(Ablation Studies): 변체 내 성능 비교 및 전체 파인튜닝 모델과 경량 어댑터 접근 방식 간의 비교를 포함한 상세한 분석을 수행했습니다.
오류 분석: 환각(hallucination), 학습 데이터 편향, 그리고 비속어와 명시적 혐해의 혼동 문제를 강조하는 체계적인 실패 사례 검토를 수행했습니다.

실험 결과

MHS에서의 성능

**SAFE-MEME-H (M11)**는 가장 우수한 오픈 소스 베이스라인(HClipper)보다 매크로-F1 점수에서 3% 더 높은 성능을 보였습니다.
GPT-4o의 성능에 근접하였으며, GPT-4o 성능의 1% 이내에 위치했습니다.
SAFE-MEME-H는 다른 모델들에 비해 명시적 혐해에 대한 정밀도(precision)와 재현율(recall)의 우수한 균형을 보여주었습니다.
핵-발견: SAFE-MEME-H 내의 경량 단일 레이어 어댑터(M11)가 일반적인 미세 혐해 탐지에서 전체 파인튜닝 모델보다 우수한 성능을 보였습니다.

MHS-Con (스트레스 테스트)에서의 성능

**SAFE-MEME-QA (M7)**는 이 혼란스러운 데이터셋에서 SAFE-MEME-H 및 모든 베이스라인을 크게 앞질렀습니다.
SAFE-MEMM-QA는 가장 우수한 오픈 소스 베이스라인보다 매크로-F1에서 4.7% 향상된 성능을 보였습니다.
폐쇄형 모델(GPT-4o, Gemini 2.5)에는 뒤처졌으나, 텍스트 변형에 따라 혐해 범주가 바뀌는 이 데이터셋의 "혼란스러운" 특성에 대해 강건함을 보여주었습니다.
관찰 사항: 텍스트 전용 베이스라인인 **T5-large (FT)**가 MHS-Con에서 매우 경쟁력 있는 성능을 유지하며(많은 멀티모달 모델을 능가함), 이는 이 특정 데이터셋에 명시적 어휘 단서가 널리 퍼져 있기 때문입니다.

절제 연구 통찰

**M7 (SAFE-MEME-QA)**가 MHS-Con에서 전반적으로 가장 강력한 변체였습니다.
**M11 (SAFE-MEME-H)**가 MHS에서 가장 강력한 변체였습니다.
본 연구는 단일 레이어 어댑터(M11)를 파인튜닝하는 것이 미세한 탐지에서 전체 파인튜닝 모델과 대등한 성능을 낼 수 있는 반면, Q&A 설정(M7)을 통한 전체 파인튜닝이 혼란스러운 사례를 처리하는 데 더 효과적임을 확인했습니다.

의의 및 주장

본 논문은 구조적 추론이 밈의 강건한 혐해 탐지에 필수적이라고 주장합니다. 밈을 Q&A 또는 계층적 기술과 같은 중간 추론 단계로 해체함으로써, 모델은 표면 수준의 모델들이 놓치는 암시적 혐해와 문화적 뉘앙스를 더 잘 처리할 수 있습니다.

강건성: SAFE-MEME는 추론 기반 접근 방식이 복잡한 멀티모달 작업에서 오픈 소스와 폐쇄형 모델 간의 격차를 줄일 수 있음을 입증합니다.
효율성: 이 프레임워크는 경량 어댑터가 미세한 탐지를 위해 전체 파인튜닝 모델과 대등하거나 더 나은 성능을 낼 수 있음을 보여주며, 이는 배포를 위한 더 효율적인 경로를 제공합니다.
한계 인정: 저자들은 자신들의 모델이 학습 데이터(MHS)로부터 발생하는 편향, 특히 보호 대상 그룹의 분포(예: 특정 집단의 과잉 대표성)를 상속받는다는 점을 명시적으로 밝힙了. 또한 SAFE-MEME-QA가 희귀 범주에 대해 환각을 일으킬 수 있으며, SAFE-MEME-H가 범주 사전 확률을 추종할 수 있음(예: 훈련 데이터에서 혐해와 자주 연관된 "안네 프랑크"에 대한 양성 콘텐츠를 혐해로 오분류하는 문제)을 언급했습니다.

결론적으로, 본 연구는 구조적 추론이 탐지를 개선하지만, 향후 연구는 데이터셋의 다양성을 확보하고, 학습 편향을 줄이며, 혐해 대상 커뮤니티의 전체 스펙트럼을 다루기 위해 인간 참여형 피드백(human-in-the-loop)을 통합해야 한다고 마칩니다.