기술 요약: 레이블인가 입력인가? 멀티모달 혐오 탐지에서의 증강에 대한 재고

문제 정의

온라인상의 혐오 표현, 특히 멀티모달 밈(meme) 형태의 혐오 표현은 텍스트와 이미지 간의 미묘한 상호작용, 유머, 그리고 문화적 맥락에 의존하기 때문에 중대한 사회적 과제를 제기합니다. 최근의 시각-언어 모델(VLM)들이 유망한 성과를 보이고 있으나, 높은 추론 비용과 미묘하거나 암시적인 콘텐츠에 대한 지속적인 실패라는 한계에 직면해 있습니다. 또한, 기존 데이터셋은 템플릿 형식과 일관되지 않은 감독(supervision)과 같은 구조적 인위성을 가지고 있어, 특정 시각적 특징을 캡션과 무관하게 혐오와 연관 짓는 등의 문화적 편향을 강화하고 가짜 상관관계(spurious correlations)를 유도할 수 있습니다.

핵리 연구 질문은 프롬프팅 전략(레이블 증강)을 개선하는 것과 근본적인 데이터(입력 증강)를 정제하는 것 중 무엇이 표준 베이스라인보다 효과적인가 하는 점입니다. 저자들은 비용이 많이 드는 대규모 모델의 추론에 의존하지 않고도 소형 모델을 어떻게 강화할 수 있는지 탐구함으로써, 온라인 위해의 복잡성과 현재 데이터셋이 제공하는 제한된 감독 사이의 간극을 메우고자 합니다.

방법론

본 연구는 Facebook Hateful Memes 데이터셋(약 12.9K 개의 이미지-캡션 쌍 포함)을 사용하여 두 가지 상호 보완적인 전략을 제안하고 평가합니다.

1. 프롬프트 최적화 (레이벨 증강)

이 접근 방식은 프롬프팅을 감독 신호를 풍부하게 하기 위한 다변량 설계 공간으로 취급합니다.

• 실험 설계: 다음을 변화시키는 전요인 설계($3 \times 2 \times 2$)를 적용합니다:
  • 학습 모달리티: 텍스트 전용 파인튜닝 vs. 멀티모달 파인튜닝/프롬프팅.
  • 프롬프트 구조: 단순형(직접 지시) vs. 카테고리 기반(혐오의 하위 유형인 여성 혐오 또는 제노포비아 등을 정의).
  • 레이블 형식: 이진 분류(Hate/No Hate) vs. 척도형(0–9 혐오 점수).
• 구현: 교사 모델(GPT-4o-mini)이 구조화된 프로프트를 기반으로 훈련 데이터에 대한 척도형 레이블(0–9)을 생성합니다. 이러한 "소프트" 레이블은 대규모 멀티모달 모델(InternVL2 4B)과 소규모 단일 모달 모델(BERT, RoBERTa)을 파인튜닝하는 데 사용됩니다. 이진 그라운드 트루스와 일치하지 않는 잘못된 레이블은 필터링됩니다.

2. 멀티모달 데이터 증강 (입력 증강)

이 접근 방식은 **역사실적 중립 밈(counterfactually neutral memes)**을 생성하여 시각적 배경은 양호하지만 텍스트가 혐오를 유발하는 경우(NH 밈: Non-hateful Image + Hateful Caption)를 타겟팅함으로써, 모델의 강건성을 높이고 가짜 텍스트-이미지 상관관계를 줄이고자 합니다.

• 대상: 캡션이 혐오의 주요 원인인 밈을 식별합니다.
• 파이프라인: 다음 단계를 포함하는 멀티 에이전트 시스템:
  1. 속성 추출(Attribution): 제로샷 분류기(Qwen2.5-14B)가 캡션이 혐오의 주된 원천인 밈을 식별합니다.
  2. 문맥 추출(Context Extraction): VLM(InternLM-XComposer-2.5-7B)이 텍스트가 겹쳐진 이미지를 제외한 배경 설명을 생성합니다.
  3. 중립화(Neutralization): 생성 모델(GPT-4o-mini)이 배경 설명에 조건화되어, 의미적 일관성을 유지하면서 혐오스러운 캡션을 중립적인 것으로 재작성합니다.
  4. 재생성(Regeneration): 렌더링 모델(Gemini 2.0 Flash)이 새로운 중립 캡션을 원래의 이미지 레이아웃 위에 겹쳐서 렌더링합니다.
• 결과: 이 파이프라인은 2,479개의 역사실적 중립 밈을 생성하였으며, 이를 기존 데이터셋과 병합하여 "확장된(Extended)" 훈련 세트를 구축했습니다.

주요 기여

1. 데이터셋 확장: 가짜 텍스트-이미지 상관관계에 대한 강건성을 평가하기 위해 설계된 2,479개의 역사실적 중립 밈으로 구성된 새로운 벤치마크를 구축했습니다.
2. 구조화된 프롬프트 프레임워크: 비전-언어 작업에서 종종 간과되는 프롬프트 디자인이 성능에 상당한 영향을 미친다는 것을 입증했습니다. 본 연구는 구조화되고 카테고리 기반인 프롬프트가 미묘한 척도형 주석에는 필수적인 반면, 이진 작업에는 단순한 프롬프트로도 충분하다는 것을 보여줍니다.
3. 디바이아싱(Debiasing) 파이프라인: 의미적으로 일관되고 혐오적이지 않은 밈 변형을 생성하기 위한 개념 증명으로서의 멀티 에이전트 파이프라인을 제공합니다. 이는 새로운 유해 콘텐츠를 생성하지 않고도 훈련 분포를 정제하고 일반화 능력을 향상시키는 전략 역할을 합니다.

결과 및 분석

프롬프트 최적화 결과

• 프롬프트 효용성: 이진 분류의 경우, 소규모 단일 모달 모델에서는 단순한 프로프트를 사용하는 것이 카테고리 기반 프롬프트보다 우수한 성능을 보였습니다. 그러나 척도형(미묘한) 레이블의 경우, 카테고리 기반 프롬프트가 단일 모달 및 멀티모달 모델 모두에서 성능을 크게 향상시켰습니다.
• 프롬프팅 vs. 파인튜닝: 척도형 데이터셋에서 카테고리 정의를 사용하여 InternVL2 모델을 프롬프팅했을 때 F1-score 64.74를 달 기록했으며, 이는 가장 우수한 파인튜닝 결과(63.28)와 대등하거나 이를 약간 상회했습니다. 이는 정밀한 혐오 탐지를 위해 잘 구조화된 제로샷 프롬프팅이 증강된 데이터에 대한 파인튜닝과 경쟁할 수 있음을 시사합니다.
• 단일 모달 강건성: 표준 단일 모달 모델(BERT, RoBERTa)은 레이블이 이진 형식이 아닌 척도형일 때 카테고리 문맥을 효과적으로 활용하여 성능을 개선했습니다.

멀티모달 증강 결과

• 성능 향상: 확장된 데이터셋(원본 + 역사실적 데이터)으로 학습했을 때 정확도는 완만하게 상승(<1%)했으나, 가중 F1-score(weighted F1-scores)에서 주목할 만한 개선이 나타났습니다. 이는 클래스 불균형 및 엣지 케이스 처리에 대한 개선을 의미합니다.
  • 텍스트 모델: RoBERTa F1이 47.18에서 52.54로 개선되었습니다 (+5.36).
  • 멀티모달 모델: Qwen2-VL (7B)가 전체적으로 가장 높은 성능을 보였으며, 69.59에서 71.31 F1으로 상승했습니다.
• 제로샷 능력: 대규모 VLM(예: Qwen2-VL 7B)은 파인튜닝된 성능과 유사한 놀라운 제로샷 강건성(F1: 69.13)을 보여주었습니다. 반면, 소형 모델(SmolVLM 2B)은 제로샷과 파인튜닝 설정 사이에 상당한 성능 격차를 보이며 파인튜닝에 크게 의존했습니다.

데이터 품질 평가

• 레이블 신뢰도: 척도형 레이블에 대한 인간 평가 결과 92.5%의 일치율을 보여 기계 생성 주석의 신뢰성을 확인했습니다. 다만, 간접적이거나 문맥 의존적인 혐오에 대해서는 불일치가 존재했습니다.
• 증강 품질: 2,479개의 중립 밈에 대한 인간 평가 결과, 포맷팅, 배경 정렬, 캡션 일관성 측면에서 높은 품질을 확인했습니다. 그러나 일부 오류(예: 캡션 누락, 의미적 표류 또는 시각적 불일치)는 자동화된 파이프라인에서 수동 검증의 필요성을 시사했습니다.

의의 및 주장

본 논문은 강건한 멀티모달 혐오 탐지를 위해서는 태스크 프레이밍(프롬프트 디자인)과 데이터 무결성(증강) 모두에 주의를 기울여야 한다고 주장합니다.

• 실용적 경로: 본 연구는 값비싼 대규모 모델의 추론에만 의존하지 않고도 더 강건하고 배포 가능한 시스템을 구축할 수 있는 실용적인 경로를 제시합니다. 구조화된 프롬프트와 타겟팅된 데이터 증강을 통해 소형 모델을 강화할 수 있음을 보여줍니다.
• 윤리적 증강: 새로운 혐오 콘텐츠를 생성하는 대신 역사실적 중립 밈을 생성함으로써, 저자들은 훈련 분포를 정제하고 가짜 상관관계에 대한 과도한 의존도를 줄이는 윤리적으로 근거 있는 방법을 제공합니다.
• 이진 분류를 넘어선 미묘함: 이진 분류를 넘어 척도형 레이블로 나아가고 이를 구조화된 프롬프팅으로 지원함으로써, 특히 문화적으로 뿌리 깊은 밈에 대해 보다 미묘한 이해를 가능하게 한다는 점을 강조합니다.

저자들은 본 연구의 방법론이 유망함을 보여주지만, 향-후 연구에서는 증강 파이프라인을 문화적으로 다양한 환경으로 확장하고 문맥 보존의 남은 과제를 해결해야 한다고 결론지었습니다.