MemeScouts@LT-EDI 2026: Asking the Right Questions -- Prompted Weak Supervision for Meme Hate Speech Detection

"MemeScouts@LT-EDI 2026: Asking the Right Questions - Prompted Weak Supervision for Meme Hate Speech Detection" 논문에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

밈 (meme) 내의 혐오 발언 탐지는 텍스트와 이미지를 결합한 다중모달성 (multimodal nature) 과 풍자, 아이러니, 공유된 지식과 같은 문화적 기반 단서에 대한 의존성으로 인해 복잡한 과제입니다.

• 현재 접근법의 한계: 비전 - 언어 모델 (VLM) 을 직접 엔드 - 투 - 엔드 방식으로 프롬프트하는 것은 종종 취약합니다. 단일 예측이 대상 식별, 입장, 암시성, 아이러니를 동시에 해결해야 하는데, 이는 다국어 환경에서 어렵습니다.
• 다국어 및 문화적 격차: 표준 모델은 영어, 힌디어, 중국어 등 다양한 언어에서 미묘한 문화적 뉘앙스, 은어, 그리고 동성애 혐오 및 트랜스젠더 혐오의 특정 표현을 처리하는 데 어려움을 겪습니다.
• 비용: 특정 작업을 위해 대규모 모델을 파인튜닝하는 것은 높은 컴퓨팅 및 데이터 비용을 수반합니다.

2. 방법론: 프롬프트 기반 약지도 학습 (Prompted Weak Supervision, PWS)

저자들은 밈 분류라는 복잡한 작업을 구조화된 질문 기반 라벨링 함수 (LFs) 로 분해하는 프롬프트 기반 약지도 학습 (PWS) 프레임워크를 제안합니다. 단일 엔드 - 투 - 엔드 라벨 대신, 시스템은 하위 분류기를 위한 구조화된 특징을 생성합니다.

핵심 파이프라인 구성 요소:

1. 질문 생성 (라벨링 함수):
   • 팀은 혐오 발언의 보완적 측면 (예: 대상 식별, 명시적/암시적 혐오, 화자 정체성, 입장) 을 포착하도록 설계된 59 개의 초기 질문 (나중에 89 개로 확장) 을 구성했습니다.
   • 답변은 구조화된 출력을 보장하기 위해 이진, 서열, 또는 범주형 옵션으로 제한됩니다.
2. 특징 추출:
   • 양자화된 Qwen3-VLM(Qwen3-VL-30B-A3B-Instruct, nf4-quantized) 이 각 밈에 대해 이러한 표적 질문에 답변하는 데 사용됩니다.
   • 모델은 밈 이미지와 특정 LF 질문을 입력받습니다.
   • 응답은 정수로 매핑되어 각 밈에 대한 특징 벡터를 생성합니다.
3. 분류:
   • 경량 랜덤 포레스트 분류기(500 개 추정기) 가 각 언어에 대해 이러한 특징 벡터로 훈련됩니다.
   • 모델은 불균형 데이터셋을 처리하기 위해 균형 잡힌 클래스 가중치를 사용합니다.
4. 반복적 정제:
   • AddLF(라벨링 함수 확장): 팀은 초기 LFs 에서 포착되지 않은 반복적인 패턴 (예: 화자 정체성) 을 식별하기 위해 오분류된 사례를 분석하여 30 개의 새로운 질문을 추가했습니다.
   • 가지치기 전략: 중복성과 노이즈를 줄이기 위해 두 가지 방법이 사용되었습니다.
     • F1Prune: 검증 Macro-F1 이 향상되면 특징을 하나씩 탐욕적으로 제거합니다.
     • ImpPrune: 랜덤 포레스트 특징 중요도 점수에 기반하여 가장 중요도가 낮은 상위 $k$개의 특징을 제거합니다.

3. 주요 기여

• 새로운 프레임워크: 취약한 엔드 - 투 - 엔드 프롬프팅을 구조화되고 해석 가능한 질문 기반 특징으로 대체하는 다중모달 혐오 발언 탐지를 위한 PWS 접근법 도입.
• 다국어 성능: 이 방법은 특히 저자원 또는 문화적으로 독특한 언어 (중국어와 힌디어) 에서 직접적인 VLM 분류를 크게 능가합니다.
• 해석 가능성: 특징 중요도 분석과 UMAP 을 통한 클러스터링을 통해 저자들은 모델이 왜 결정을 내리는지에 대한 통찰력을 제공하며, 라벨링 함수 간의 중복성과 보완성을 드러냅니다.
• 최첨단 결과: 시스템은 LT-EDI 2026 공유 과제에서 최상위 순위를 기록했습니다 (영어 1 위, 중국어 2 위, 힌디어 3 위).

4. 실험 결과

시스템은 LT-EDI 2026 동성애 혐오 및 트랜스젠더 혐오 밈 분류 데이터셋 (영어, 힌디어, 중국어) 에서 평가되었습니다.

• 성능 격차: PWS 접근법은 직접적인 VLM 프롬프팅을 크게 능가했습니다. 격차는 중국어와 힌디어에서 가장 두드러졌으며, 직접 프롬프팅은 각각 0.32 와 0.21 에 그친 반면 PWS 는 0.72 와 0.67 을 기록했습니다.
• 정제 영향:
  • AddLF는 특히 비영어권 언어에서 성능을 지속적으로 개선하거나 유지했습니다.
  • ImpPrune은 언어별 성능에 있어 F1Prune 보다 더 효과적이었으며, 힌디어의 경우 89 개에서 33 개로 특징을 줄이면서 점수를 향상시켰습니다. 이는 많은 초기 LFs 가 노이즈가 있거나 중복되었음을 시사합니다.
• 교차 언어 분석:
  • F1Prune은 주로 언어별 특징 (언어 간 낮은 자카드 유사도) 을 제거했습니다.
  • ImpPrune은 많은 공유된 비정보적 특징 (높은 자카드 유사도) 을 제거했는데, 이는 성능을 저해하는 언어 중립적인 '약한 신호'의 존재를 시사합니다.

5. 중요성과 통찰

• RQ1(효과성): 프롬프트 기반 약지도 학습은 단일 샷 VLM 프롬프트의 취약성에 대한 견고성을 제공하는 밈 혐오 발언 탐지를 위한 우월한 전략입니다.
• RQ2(언어/문화): 이 방법은 다국어 성능을 향상시키지만, 분석 결과 성소수자 문제에 대한 서구적 관점을 반영한 영어 중심 LFs 는 완벽하게 이전되지 않을 수 있음이 드러났습니다. 그러나 가지치기는 언어별 신호를 분리하는 데 도움이 됩니다.
• RQ3(모델 행동): 특징 분석은 소수의 LFs 서브셋이 예측 가중치의 대부분을 차지함을 보여주었습니다. 일부 특징은 중복적입니다 (예: 성별 지향을 약간 다른 방식으로 질문함) 반면, 다른 특징들은 보완적인 정보를 제공합니다 (예: 중립적 입장을 구분함).
• 한계 및 향후 작업:
  • 문화적 편향: LFs 는 주로 서구적 관점에서 설계되어 힌디어와 중국어에서 문화적으로 특정된 마커를 놓칠 수 있습니다.
  • OCR: 전용 OCR 단계가 부재하여 이미지에 내장된 텍스트가 이미지와 함께 처리되므로 잠재적으로 오류가 발생할 수 있습니다.
  • 향후 방향: 값비싼 재훈련 없이 일반화 능력을 향상시키기 위해 명시적인 OCR, 문화적 적응형 프롬프팅, 그리고 LF 설계에 다양한 관점을 통합하는 것.

결론

이 논문은 복잡한 다중모달 작업을 표적 질문으로 분해하는 것이 더 견고하고 해석 가능한 혐오 발언 탐지를 가능하게 함을 보여줍니다. 특징 추출을 위해 양자화된 VLM 을 활용하고 집계를 위해 경량 분류기를 사용함으로써, 저자들은 다국어 공유 과제에서 최첨단 결과를 달성했습니다. 이는 "한 번에 정답을 추측하는 것"보다 "올바른 질문을 던지는 것"이 더 효과적임을 입증합니다.