STEMTOX: From Social Tags to Fine-Grained Toxic Meme Detection via Entropy-Guided Multi-Task Learning

기술 요약: STEMTOX – 엔트로피 기반 멀티태스크 학습을 통한 사회적 태그에서 세분화된 유해 밈 감지로

1. 문제 제기

밈은 경쾌한 유머에서 혐오 발언, 허위 정보, 유해한 이데올로기를 전파하는 강력한 수단으로 진화했습니다. 이러한 콘텐츠를 감지하는 것은 밈이 문화적 참조, 풍자, 암호화된 언어에 종종 의존하는 미묘하고 맥락 의존적인 성격을 띠기 때문에 특히 어렵습니다. 비전 - 언어 모델 (VLM) 이 콘텐츠 중재를 위한 강력한 도구로 부상했지만, 최근 연구들은 이러한 모델들이 깊은 맥락 이해가 부족할 때 특히 유해한 밈을 정확하게 감지하는 데 어려움을 겪고 있음을 보여줍니다.

이 분야를 발전시키는 데 있어 결정적인 병목 현상은 데이터 부족입니다. 기존 데이터셋은 종종 특정 사건이나 대상에 초점을 맞춘 제한된 범위로 수동으로 큐레이션되었으며, 이진 분류를 넘어선 세분화된 유해성 레이블이 부족하고, 중요한 맥락을 제공하는 보조 메타데이터 (예: 사회적 태그) 가 자주 생략됩니다. furthermore, 현재의 접근 방식은 분류를 안내하기 위해 사회적 태그의 의미적 풍부함을 활용하지 못해 견고한 유해성 감지에서의 성능 격차를 초래합니다.

2. 방법론

A. TOXICTAGS 데이터셋
데이터 제한을 해결하기 위해 저자들은 Imgflip 에서 수집된 6,300 개의 밈 기반 게시물을 포함하는 새로운 다양하고 실세계 기반의 데이터셋인 TOXICTAGS를 소개합니다. 이전 데이터셋과 달리 TOXICTAGS 는 사건에 독립적이며 제목과 사회적으로 관련된 태그를 포함한 보조 메타데이터로 풍부하게 구성되어 있습니다.

이 데이터셋은 엄격한 2 단계 인간 주석 파이프라인을 통해 구축되었습니다:

• 1 단계 (이진 분류): 밈을 유해 (toxic) 또는 정상 (normal) 으로 분류합니다.
• 2 단계 (세분화된 분류): 유해한 밈은 더 세밀하게 혐오적 (hateful), 위험한 (dangerous), 또는 불쾌한 (offensive) 세 가지 뉘앙스 있는 클래스로 분류됩니다.
• 태깅: 각 게시물은 밈을 맥락적으로 뒷받침하는 사회적 태그 세트로 주석 처리됩니다. 노이즈를 필터링한 후 데이터셋에는 7,209 개의 고유한 태그가 포함됩니다.
• 품질 관리: 이 과정에는 25 명의 주석가가 참여했으며, 편향을 최소화하기 위해 샘플당 3 개의 독립적인 주석이 수행되었습니다. 최종 주석가 간 일치 점수는 Fleiss' $\kappa$로 측정 시 1 단계에서 0.753, 2 단계에서 0.793 이었습니다.

B. STEMTOX 프레임워크
저자들은 유해 밈 분류와 사회적으로 기반을 둔 태그 생성을 동시에 수행하도록 설계된 새로운 엔트로피 기반 멀티태스크 학습 프레임워크인 STEMTOX를 제안합니다.

• 아키텍처: STEMTOX 는 이미지와 텍스트 입력을 처리하는 멀티모달 VLM 백본 (PALIGEMMA 와 LLAVA 로 테스트됨) 을 활용합니다.
• 엔트로피 기반 레이어 선택: 최종 은닉 레이어에만 의존하는 대신, STEMTOX 는 중간 레이어 전반에 걸쳐 가장 확신 있는 토큰 임베딩을 동적으로 선택합니다. 각 레이어 $l$에서 토큰 표현의 섀넌 엔트로피를 계산합니다. 최소 엔트로피(최고의 확신) 를 가진 레이어가 유효한 시퀀스 표현 ($h_{eff}$) 을 형성하기 위해 선택됩니다. 이 메커니즘을 통해 모델은 가장 확실한 내부 표현에서 특징을 추출하여 종단 레이어에서 종종 관찰되는 표현 드리프트를 완화합니다.
• 멀티태스크 목적 함수: 프레임워크는 결합된 손실 함수로 훈련됩니다:
  $$L_{total} = L_{gen} + L_{cls}$$
  여기서 $L_{gen}$은 사회적 태그 예측을 위한 생성 손실이고, $L_{cls}$는 유해성 감지를 위한 분류 손실입니다. 생성 작업은 공유 표현 공간을 유해성 분류에 더 구별 가능하도록 만드는 의미적 정규화제 역할을 합니다.
• 훈련 전략: 모델은 효율적인 미세 조정을 위해 LoRA 어댑터를 사용하며, 클래스 불균형을 처리하기 위해 가중치 교차 엔트로피를 사용합니다.

3. 주요 기여

1. TOXICTAGS 데이터셋: 풍부하고 인간이 주석한 사회적 태그와 함께 세분화된 유해성 레이블 (혐오적, 위험한, 불쾌한, 정상) 을 특징으로 하는 최초의 실세계 밈 데이터셋입니다. 이는 전통적인 이진 유해/정상 패러다임을 넘어섭니다.
2. 2 단계 주석 파이프라인: 주석 오류를 줄이고 밈 유해성의 뉘앙스를 포착하는 검증된 프로세스로, 4 클래스 분류 체계가 중재에 효과적임을 보여줍니다.
3. STEMTOX 프레임워크: 태그 생성과 유해성 분류를 통합한 새로운 멀티태스크 아키텍처입니다. 최적의 레이어 표현을 선택하기 위한 엔트로피 기반 메커니즘을 도입하여 태그 생성의 의미적 감시를 활용함으로써 분류 성능을 크게 향상시킵니다.
4. 실증적 검증: 맥락적 태그를 통합하고 엔트로피 기반 선택을 사용하는 것이 최첨단 VLM 성능을 실질적으로 향상시킨다는 포괄적인 평가 결과입니다.

4. 실험 결과

TOXICTAGS에서의 성능:

• 유해성 감지: 멀티태스크 학습을 사용한 STEMTOX 는 일관되게 단일 작업 베이스라인을 능가했습니다. PALIGEMMA 백본을 사용할 때, STEMTOX 는 1 단계에서 Macro-F1 점수 72.55, 2 단계에서 64.66을 달성했습니다. 이는 단일 작업 훈련 (각각 60.85 및 42.78) 에 비해 상당한 개선입니다.
• 베이스라인과의 비교: STEMTOX 는 태그 유사성에 기반하여 예제를 선택한 강력한 퓨샷 GPT-4O 설정과 마지막 은닉 레이어 (LHL) 특징에 의존하는 모델들을 능가했습니다.
• 태그 생성: 태그 생성 품질 (chrF, METEOR, 의미 유사성으로 측정) 의 경우, STEMTOX(PALIGEMMA) 는 각각 0.4872, 0.265, 0.626의 점수를 달성했습니다. 이는 암시적 사회적 맥락과 밈 특유의 어휘를 포착하는 데 어려움을 겪었던 RAM++ 및 TAG2TEXT 와 같은 최첨단 태그 생성기들을 크게 능가했습니다.

일반화 능력:

• 이 프레임워크는 고유한 태그가 없는 두 개의 외부 벤치마크 데이터셋인 FHM(Hateful Memes) 과 MAMI(Misogynistic Memes) 에서 테스트되었습니다. 태그는 TOXICTAGS 로 미세 조정된 모델을 사용하여 추론되었습니다.
• STEMTOX 는 5 개의 경쟁 베이스라인 (PromptHate, ProCap, ModHate, Few-Shot, M2KE) 과 비교하여 이러한 벤치마크에서 우수한 결과를 달성했으며, FHM 에서 Macro-F1 78.11, MAMI 에서 79.67을 기록했습니다.

오류 분석:

• 분석 결과, 모델들은 "불쾌한" 카테고리 (가장 높은 불확실성) 와 특정 태그 (PALIGEMMA 의 경우 유머/속어 관련, LLAVA 의 경우 죽음/종교 관련) 에서 가장 어려움을 겪는 것으로 나타났습니다.
• 엔트로피 기반 선택이 결정적인 것으로 밝혀졌는데, 최종 레이어 (LHL) 에 의존하는 모델들은 더 낮은 성능을 보였습니다.

5. 중요성 및 주장

이 논문은 STEMTOX 가 멀티모달 온라인 환경에서 개선된 콘텐츠 중재를 위한 새롭고 확장 가능한 기반을 제공한다고 주장합니다. 사회적 태그로 풍부해진 데이터셋을 도입하고 멀티태스크 학습을 통해 이러한 태그를 활용하는 프레임워크를 제시함으로써, 저자들은 다음을 입증합니다:

• 맥락이 핵심입니다: 보조 메타데이터 (태그) 는 단순한 부가물이 아니라 견고한 유해성 감지에 필수적입니다.
• 생성적 감시: 분류라는 판별 작업을 감시하기 위해 태깅과 같은 생성 작업을 사용하는 것은 더 풍부하고 의미 있는 내부 표현을 이끌어냅니다.
• 엔트로피 안내: 복잡한 멀티모달 작업에서 고정된 종단 레이어에 의존하는 것보다 확신 (최소 엔트로피) 에 기반하여 표현을 동적으로 선택하는 것이 더 효과적인 전략입니다.

저자들은 이 작업을 현재 VLM 능력과 온라인 혐오 발언의 뉘앙스 있는 현실 사이의 격차를 해소하는 더 정확하고, 맥락을 인식하며, 사회적 책임을 다하는 중재 시스템을 구축하기 위한 한 걸음으로 위치시킵니다.

6. 한계

저자들은 몇 가지 한계를 인정합니다:

• 모달리티: 데이터셋과 프레임워크는 현재 이미지 기반 밈으로 제한되어 있으며, 비디오 및 오디오 형식은 제외됩니다.
• 심리적 영향: 이 연구는 유해한 밈이 시청자에게 미치는 심리적 또는 정서적 영향을 조사하지 않았습니다.
• 실세계 결과: 온라인 유해성과 오프라인 폭력 또는 범죄 행위 사이의 연관성은 조사되지 않았습니다.