1. 문제 정의 (Problem Statement)

• 암묵적 유해 유머의 탐지 난이도: 다크 유머 (Dark Humor) 는 종종 미묘한 문화적 뉘앙스와 암시적 단서에 의존하며, 이를 해석하려면 문맥적 추론이 필요합니다. 기존의 정적 (static) 벤치마크는 이러한 복잡성을 포착하지 못해 안전성 (Safety) 평가에 한계가 있습니다.
• 기존 데이터셋의 한계:
  1. 모달리티 편향: 대부분의 벤치마크가 텍스트나 단일 이미지에 집중하여, 시간적 흐름과 다중 모달리티를 포함하는 비디오 형태의 유해 유머는 거의 연구되지 않았습니다.
  2. 언어 격차: 영어 데이터셋에 편중되어 있으며, 아랍어와 같은 저자원 언어 (Low-resource languages) 및 언어에 독립적인 시각적 유머 (Universal visual humor) 가 부족합니다.
  3. 암묵적 유해성 (Implicit Harm) 의 부재: 명시적 (Explicit) 인 유해성 (예: 욕설, 폭력적 이미지) 은 탐지하지만, 문화적 맥락과 심층 추론이 필요한 암묵적 (Covert/Implicit) 유해성을 구분하는 벤치마크가 부족합니다.

2. 방법론 (Methodology)

A. 데이터셋 구성 (Dataset Curation)

저자들은 3,000 개의 텍스트, 6,000 개의 이미지, 1,200 개의 비디오로 구성된 다중 모달, 다국어 벤치마크를 수동으로 큐레이션했습니다.

• 언어 및 범주:
  • 텍스트/이미지: 영어 (English) 와 아랍어 (Arabic, 다양한 방언 포함).
  • 비디오: 영어, 아랍어, 그리고 언어에 독립적인 보편적 (Universal) 콘텐츠.
• 레이블링 가이드라인 (Annotation Guidelines):
  • Safe vs. Harmful: 성, 폭력, 인종, 장애, 종교 등 민감한 주제를 통해 사람을 비하하거나 타겟팅하는지 여부.
  • Explicit (명시적) vs. Implicit (암묵적):
    • Explicit: 저속한 언어나 그래픽 이미지 등 깊은 추론 없이도 유해성이 즉시 인지되는 경우.
    • Implicit: 유해한 의미가 표면적으로 드러나지 않으며, 심층적인 의미론적 이해와 문화적 맥락 추론이 필요한 경우.
• 아노테이션 프로세스: 7 명의 다양한 배경을 가진 아노테이터가 전체 데이터를 수동으로 라벨링했으며, 다수결 (Majority Voting) 을 통해 최종 금표 (Gold Label) 를 도출했습니다.

B. 평가 모델 및 태스크

• 모델 범위: 최신 SOTA(State-of-the-Art) 모델들을 평가했습니다.
  • Closed-source: GPT-4o, GPT-5.2, GPT-5 Pro, Gemini 2.5 Pro, Gemini 3 Pro 등.
  • Open-source: Llama-3.1, Qwen2.5 시리즈 (텍스트, VL, Omni), DeepSeek-Reasoner, Aya Vision, VideoChat 등.
  • 아랍어 특화 모델: AceGPT, ALLaM, Jais 등.
• 평가 태스크: 모든 모달리티에서 **이진 분류 (Harmful vs. Safe)**를 수행하도록 프롬프트를 통일했습니다.
• 평가 지표: 정확도 (Accuracy), Macro-F1 점수, 그리고 **Recall(재현율)**에 중점을 두었습니다. 특히 안전성 평가에서는 유해한 사례를 놓치는 것 (False Negative) 이 치명적이므로, 암묵적/명시적 유해 하위 집합에 대한 Recall 을 주요 지표로 삼았습니다.

3. 주요 기여 (Key Contributions)

1. 다중 모달/다국어 유머 벤치마크: 텍스트, 이미지, 비디오를 아우르며, 표면적 단어가 아닌 진정한 유머 이해를 요구하는 암묵적/명시적 유해성 라벨이 포함된 최초의 대규모 데이터셋입니다.
2. 저자원 및 보편적 콘텐츠 커버리지: 영어 편향을 해소하기 위해 아랍어와 언어에 독립적인 시각적 유머를 포함하여 문화적 민감성을 높였습니다.
3. 체계적인 모델 평가: 텍스트 LLM, 이미지 VLM, 비디오 LLM 을 통합된 태스크 하에서 비교 평가하여, 현재 시스템이 암묵적 유해 유머를 탐지하는 데서 겪는 성공과 실패를 규명했습니다.

4. 실험 결과 및 분석 (Results & Analysis)

A. 전반적 성능

• Closed-source 모델의 우세: 폐쇄형 소스 모델 (특히 GPT-5.2, Gemini 2.5 Pro) 이 오픈 소스 모델보다 전반적으로 뛰어난 성능을 보였습니다.
• 언어 간 격차: 모든 모델에서 영어 성능이 아랍어보다 현저히 높았습니다. 이는 아랍어 문화적 뉘앙스와 방언 이해의 부족을 시사합니다.

B. 모달리티별 발견

• 텍스트 (Text):
  • GPT-5.2 가 영어 (F1 90.2%) 와 아랍어 (F1 83.1%) 에서 모두 최고 성능을 기록했습니다.
  • 암묵적 유해성 탐지 저하: 명시적 유해성 대비 암묵적 유해성 탐지 성능이 크게 떨어졌습니다 (예: GPT-5.2 아랍어에서 명시 85.6% → 암묵 71.9%).
  • 아랍어 특화 모델의 한계: AceGPT 등은 아랍어에서 오히려 성능이 낮았으나, ALLaM 은 암묵적 유해성 탐지에서 높은 정확도를 보였으나 전체 정확도 (False Positive) 문제로 F1 은 낮았습니다.
• 이미지 (Image):
  • 오픈 소스 모델의 'Safe Bias': 많은 오픈 소스 VLM(예: LLaVA-NeXT, Aya) 이 유해한 콘텐츠를 'Safe'로 잘못 분류하거나 거절 (Refusal) 하는 경향이 강해, 유해 탐지율이 거의 0 에 수렴했습니다.
  • OCR 및 방언 이해: 아랍어 밈 (Meme) 의 경우 텍스트 추출 (OCR) 과 방언 이해 실패로 인해 성능이 급격히 하락했습니다.
• 비디오 (Video):
  • 추론 격차: 대부분의 모델이 시각적/청각적 신호의 명시적 단서 (폭력 등) 에 의존하며, 암묵적 의미 추론에는 취약했습니다.
  • Gemini 2.5 Pro의 강점: 언어별 (영어/아랍어) 및 모달리티 전반에서 가장 균일하고 강력한 성능을 보였습니다.
  • 오픈 소스의 부재: 비디오 모달리티에서 오픈 소스 모델 (Qwen2.5-Omni 등) 은 폐쇄형 모델보다 약 20%p 이상 낮은 성능을 보였습니다.

C. 주요 통찰

• 모델 크기 확장만으로는 부족: 모델 크기를 늘리는 것만으로는 문화적 맥락과 암묵적 유해성을 이해하는 데 한계가 있습니다.
• 안전성 정렬 (Safety Alignment) 의 모순: 일부 모델은 유해성을 탐지하기보다 '안전한' 답변을 생성하거나 거절하는 경향이 강해, 실제 유해 콘텐츠 탐지 (Recall) 가 저하되는 현상이 발생했습니다.
• 문화적 근거의 필요성: 영어 중심의 학습 데이터와 안전성 가이드라인은 아랍어와 같은 저자원 언어의 미세한 유해성을 놓치게 만듭니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 AI 안전성 연구에 다음과 같은 중요한 시사점을 제공합니다:

1. 새로운 벤치마크 표준: 단순한 유해성 탐지를 넘어, 문화적 맥락과 추론 능력을 평가할 수 있는 다중 모달 벤치마크를 제시했습니다.
2. 안전성 정렬의 재정의: 모델이 단순히 유해 키워드를 차단하는 것을 넘어, 암묵적이고 문화적으로 의존적인 유해성을 이해하도록 하는 정렬 (Alignment) 전략의 필요성을 강조합니다.
3. 다국어 및 다모달 연구의 촉진: 영어 중심의 편향을 해소하고, 아랍어 및 비디오 콘텐츠에 대한 안전성 연구의 기반을 마련했습니다.

결론적으로, 현재 SOTA 모델들은 명시적 유해성은 잘 탐지하지만, 암묵적이고 문화적으로 복잡한 유해 유머를 이해하는 데에는 여전히 심각한 한계가 있으며, 이를 해결하기 위해서는 문화적으로 근거한 (culturally grounded) 추론 인식 안전성 정렬이 필수적입니다.