MEME-Fusion@CHiPSAL 2026: Multimodal Ablation Study of Hate Detection and Sentiment Analysis on Nepali Memes

논문 개요

이 논문은 저자원 (Low-resource) 환경에서 데바나가리 (Devanagari) 문자로 작성된 네팔어 밈 (Meme) 에 대한 다중 모달 혐오 발언 탐지 및 감정 분석을 수행하기 위해 제안된 시스템에 대한 연구입니다. CHiPSAL 2026 공유 태스크에 참여하여, 텍스트와 이미지가 결합된 밈 데이터를 기반으로 혐오 발언 (이진 분류) 과 감정 (3 클래스 분류) 을 식별하는 모델을 개발했습니다.

1. 문제 정의 (Problem)

• 배경: 소셜 미디어에서의 혐오 발언은 심각한 문제이나, 영어가 아닌 데바나가리 문자 (네팔어, 힌디어 등) 를 사용하는 다중 언어 및 다중 모달 콘텐츠에 대한 연구는 부족합니다.
• 주요 과제:
  1. 데이터 부족: 전체 데이터셋이 1,068 개로 매우 제한적이며, 학습/평가 세트로 나뉘어 각 폴드당 약 850 개의 샘플만 존재합니다.
  2. 클래스 불균형: Subtask A(혐오 탐지) 에서 혐오 데이터가 67.4% 를 차지하여 모델이 다수 클래스에 편향되기 쉽습니다.
  3. 모달리티 한계: 기존 시각 모델 (예: CLIP) 은 영어 중심 데이터로 학습되어 데바나가리 문자와 네팔 문화적 시각 요소를 이해하는 데 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 하이브리드 크로스-모달 어텐션 퓨전 (Hybrid Cross-Modal Attention Fusion) 아키텍처를 제안했습니다.

• 엔코더 (Encoders):
  • 시각: CLIP (ViT-B/32) 을 사용하여 이미지를 512 차원 임베딩으로 변환합니다. (저자원 과적합 방지를 위해 하위 10 층은 고정, 상위 2 층만 파인튜닝)
  • 텍스트: BGE-M3 을 사용하여 네팔어/데바나가리 텍스트를 1024 차원 임베딩으로 변환합니다. (Indic 언어에 대한 우수한 성능을 기반으로 선정)
• 퓨전 전략 (Fusion Strategy):
  • 단순 연결 (Concatenation) 이나 후기 투표 (Late Voting) 와 같은 기존 방식 대신, **4-헤드 셀프 어텐션 (Self-Attention)**을 통해 시각과 텍스트 임베딩 간의 명시적 의존성을 계산합니다.
  • 학습 가능한 게이팅 네트워크 (Learnable Gating Network): 각 샘플별로 텍스트와 시각 모달리티의 기여도를 동적으로 가중치화합니다. (예: 텍스트에 명확한 혐오 단어가 있으면 텍스트 가중치 증가, 모호하면 시각 정보 활용)
• 데이터 전처리:
  • OCR 로 추출된 텍스트와 원본 이미지를 처리합니다.
  • 텍스트를 제거한 이미지 (Gaussian blur 로 가림) 를 생성하여 시각적 레이아웃의 기여도를 분석하는 ablation study 를 수행했습니다.

3. 주요 실험 결과 (Results)

CHiPSAL 2026 공유 태스크의 공식 리더보드 및 교차 검증 (5-fold) 결과를 바탕으로 한 성과입니다.

• Subtask A (이진 혐오 탐지):
  • 제안된 하이브리드 퓨전 모델 (M7) 이 Macro-F1 0.6834를 기록하여 1 위를 차지했습니다.
  • 텍스트 전용 베이스라인 (M1) 대비 5.9%p 향상, 초기 연결 퓨전 대비 11.3%p 향상.
  • 주요 발견: 텍스트 전용 모델은 정확도 (Accuracy) 는 높았으나 (0.7239), 소수 클래스 (Non-Hate) 의 재현율 (Recall) 이 낮아 과잉 검열 (Over-censorship) 위험이 있었습니다. 반면, M7 은 소수 클래스 재현율을 14%p 향상시켜 균형 잡힌 성능을 보였습니다.
• Subtask B (감정 분석):
  • 하이브리드 모델이 Macro-F1 0.6102를 기록하여 텍스트 전용 모델 대비 2.2%p 향상.
  • '중립 (Neutral)' 클래스의 분류가 가장 어려웠으나, 어텐션 메커니즘이 이를 완화하는 데 기여했습니다.
• Ablation Study (모델 구성 비교):
  • 이미지 전용 모델의 실패: CLIP 기반 이미지 전용 모델은 데바나가리 콘텐츠에서 거의 무작위 수준 (Macro-F1 0.5535) 의 성능을 보였습니다. 이는 영어 중심의 CLIP 이 인도어 문자와 문화적 아이콘을 이해하지 못함을 시사합니다.
  • 앙상블 방법의 실패: 데이터가 극히 적을 때 (N~850), 배깅 (Bagging) 같은 전통적 앙상블 방법은 상관관계가 높은 과적합 (Correlated Overfitting) 으로 인해 오히려 성능을 저하시켰습니다.

4. 주요 기여 및 시사점 (Key Contributions & Significance)

1. 저자원 다중 모달 학습의 새로운 패러다임: 데이터가 부족한 환경에서 단순한 특징 결합이나 앙상블보다는 동적 어텐션 기반 퓨전이 더 효과적임을 입증했습니다.
2. 비영어권 시각 모델의 한계 규명: 서구 중심의 VLM(Vision-Language Model) 이 데바나가리 스크립트 기반 콘텐츠에서는 신뢰할 수 없음을 실증적으로 보여주었습니다. 이는 향후 인도어권 콘텐츠 분석을 위한 전용 모델 개발의 필요성을 제기합니다.
3. 평가 지표의 중요성 강조: 불균형 데이터셋에서는 전체 정확도 (Accuracy) 보다 Macro-F1 과 클래스별 재현율이 시스템의 실제 성능 (특히 소수 클래스 식별 능력) 을 더 잘 반영함을 강조했습니다.
4. 문화적 맥락 이해의 필요성: 모델은 정치적 풍자 (Satire) 를 혐오로 오인하거나, 은유적 표현 (Cultural Masking) 을 놓치는 경향이 있어, 단순 언어 처리를 넘어 문화적 맥락 이해가 필수적임을 지적했습니다.

5. 결론

이 연구는 네팔어 밈에 대한 혐오 발언 탐지를 위해 하이브리드 어텐션 퓨전 아키텍처를 성공적으로 적용하여, 저자원 환경에서도 텍스트와 시각 정보를 효과적으로 통합할 수 있음을 보였습니다. 특히, 기존 엔블블 방법이 데이터 부족 상황에서 실패할 수 있다는 점과, 영어 중심 시각 모델의 한계를 지적함으로써 향후 저자원 다중 언어 NLP 시스템 설계에 중요한 통찰을 제공했습니다.