기술 요약: 설명 가능한 혐오 및 선전 밈 탐지를 위한 사고 사슬(Chain-of-Thought) 감독 기반 강화 학습 적응

1. 문제 정의

혐오 및 선전 밈은 이미지와 텍스트 사이의 상호작용을 이용하여, 어느 한 모달리티만으로는 드러나지 않는 유해한 의도를 전달합니다. 멀티모달 거대 언어 모델(MLLM)이 시각-언어 이해 측면에서 발전해 왔으나, 명시적인 중간 추론 단계를 생성하는 "사고 기반(thinking-based)" 모델을 밈 콘텐츠 중재에 적용하는 연구는 여전히 미개척 분야로 남아 있습니다. 기존 방식들은 혐오 및 선전 밈 탐지라는 특정 도메인에서 사고 사슬(CoT) 감독, 세밀한 레이블링, 그리고 강화 학습(RL)을 체계적으로 통합하는 데 한계가 있습니다. 또한, 표준적인 지도 미세 조정(SFT)은 예측의 정확성과 생성된 설명의 충실도 사이의 균형을 제어하는 데 제한적입니다. 본 논문은 다양한 언어(영어 및 아랍어)와 작업(이진 혐오 탐지 및 다중 클래스 선전 탐지)에 걸쳐 혐해 및 선전 밈 탐지를 위해 분류 성능과 설명 품질을 모두 최적화하기 위해 RL 기반 사후 학습(post-training)을 적용하는 격차를 해결하고자 합니다.

2. 방법론

제안된 접근 방식은 CoT 감독과 그룹 상대 정책 최적화(GRPO)에 기반한 다단계 사후 학습 파이프라인을 채택합니다.

2.1. 데이터 구축 및 주석 달기

• 데이터셋: 본 연구는 Hateful Memes (FHM) 벤치마크(영어, 이진 분류)와 Arabic Propagandistic Memes (ArMeme) 데이터셋(아랍어, 4개 클래스: 선전, 비선전, 비밈, 기타)을 활용합니다.
• 세밀한 주석(Fine-Grained Annotations): FHM의 경우, 보호 대상 범주 및 공격 유형에 대한 기존의 공개 주석을 사용합니다. 세밀한 선전 주석이 존재하지 않는 ArMeme의 경우, 저자들은 다중 LLM 주석 파이프라인을 개발했습니다. 이는 두 개의 독립된 모델(GPT-4.1 및 Llama-4-Scout)이 구조화된 선전 기법 레이블과 근거(rationale)를 생성하고, 이를 세 번째 모델(Gemini-3-Pro)이 통합하는 과정을 포함합니다.
• 사고 사슬 증류(Chain-of-Thought Distillation, CoTD): 강력한 교사 모델(GPT-4.1)이 밈 이미지, 텍스트, 레이블에 따라 단계별 추론 궤적을 생성합니다. 이 궤적들은 학습 중 감독 대상으로 사용되지만, 레이블 누출을 방지하기 위해 추론 시에는 노출되지 않습니다.
• 레이블 없는 데이터: 자기 지도 학습 실험을 위해, 저자들은 공개 밈 데이터셋(FHM용)과 소셜 미디어 크롤링 데이터(ArMene용)를 결합하여 중복 및 비밈을 필터링한 레이블 없는 풀을 구축했습니다.

2.2. 학습 파이프라인

방법론은 세 단계의 프로세스를 따릅니다:

1. SFT 웜업(Warm-up): 골드 레이블, 설명 및 증류된 추론 궤적을 통한 지도 미세 조정(SFT)을 통해 MLLM을 초기화합니다. 변형 모델로는 이진 레이블만 사용하는 경우, 세밀한 레이블을 추가하는 경우, 그리고 증류된 CoT를 포함하는 경우가 있습니다.
2. 감독된 GRPO: 모델은 GRPO를 사용하여 RL 최적화를 수행합니다. PPO와 달리 GRPO는 학습된 가치 네트워크를 필요로 하지 않으며, 대신 $K$개의 완성본 샘플을 추출하고 그룹 평균 보상을 베이스라인으로 사용합니다.
   • 복합 보상 함수: 보상 $R(y)$는 다섯 가지 구성 요소를 결も합니다:
     • $R_{fmt}$: 형식 준수 (출력 구조에 추론, 레이블, 설명이 포함되는지 확인).
     • $R_{lbl}$: 레이블 정확도.
     • $R_{exp}$: 설명 길이 정규화 (약 100단어 목표).
     • $R_{think}$: 사고 길이 정규화. 이는 지나치게 짧은 CoT 궤적(임계값 $L_{min}$ 미만)에 페널티를 부여하여, 과도한 장황함을 조장하지 않으면서도 "보상 해킹"(예: 빈 추론)을 방지합니다.
     • $R_{met}$: 골드 근거와의 의미적 유사성 (METEOR 점수).
3. 자기 지도 GRPO: 레이블 없는 데이터를 활용하기 위해, 모델은 **합의 기반 의사 레이블(consensus-based pseudo-labels)**을 사용하여 추가 학습됩니다. 샘플은 여러 온도 샘플링 예측 간의 불일치를 기준으로 선택됩니다. 다수결 메커니즘이 의사 레이블을 할당하며, 이는 구조적 보상과 함께 보상 신호를 계산하는 데 사용됩니다.

3. 주요 기여

1. 교차 작업 및 교차 언어 일반화: 본 연구는 GRPO 기반 사후 학습을 단일 영어 이진 데이터셋에서 복잡한 아랍어 다중 클래스 선전 탐지 작업으로 확장하였으며, 이전에 레이블이 없던 환경에서 세밀한 레이 labeling을 위한 이중 주석 파이프라인을 도입했습니다.
2. 포괄적인 경험적 분석: 본 논문은 단일 모달, 제로샷, 미세 조정된 베이스라인 전반에 걸쳐 CoT 감독, 세밀한 레이블링, RL 최적화 간의 상호작용을 분석하는 광범-한 절제 연구(ablation studies)를 제공합니다.
3. 안정화된 RL 최적화: 임계값 기반 사고 길이 보상($R_{think}$)의 도입은 과도한 장황함을 유지하면서도 보상 해킹(짧은 추론 궤적)을 효과적으로 완화합니다.
4. 자기 지도 GRPO: 인간의 주석 없이 RL 학습을 위한 합의 기반 의사 레이블링의 생존 가능성을 탐구하며, 이를 통해 인도메인 다중 클래스 설정에서의 효과를 입증하는 동시에 이진 분류에서의 한계를 밝혀냈습니다.

4. 결과

Qwen3-VL-8B-Thinking을 베이스 모델로 하여 FHM 및 ArMeme 벤치마크에서 실험을 수행했습니다.

• 성능 향상:
  • FHM: 제안된 접근 방식은 82.0% 정확도와 0.80 macro-F1을 달성하여, 이전의 최고 성능(79.9% 정확도, 0.79 macro-F1) 대비 정확도 +2.1%, macro-F1 +0.01의 향상을 보였습니다.
  • ArMeme: 이 접근 방식은 0.612 macro-F1(자기 지도 GRPO 사용 시)을 달성하였으며, 이는 이전 연구(0.536)보다 +7.6 포인트, 원본 벤치마크(0.536)보다 +6.1 포인트 향상된 수치입니다.
• 베이스라인과의 비교:
  • 생성형 RL 기반 접근 방식은 ArMeme에서 강력한 시퀀스 분류 베이스라인(예: Gemma-3-12B-IT, Qwen3-VL-8B-Instruct)보다 높은 macro-F1(0.612 vs. 0.594)을 기록하면서도 해석 가능한 설명을 제공했습니다.
  • 단일 모달 베이스라인(텍스트 전용 또는 이미지 전용)은 멀티모달 추론 방식보다 현저히 낮은 성능을 보였으며, 이는 교차 모달 상호작용의 필요성을 확인시켜 줍니다.
• 절제 연구 결과:
  • 세밀한 감독: SFT 중 세밀한 레이블을 추가하면 ArMeme의 macro-F1이 +8.0 포인트(0.43에서 0.51로) 향상되었습니다.
  • CoT 증류: 증류된 CoT는 SFT 동안 추가적인 이득을 제공했으며, GRPO를 위한 중요한 초기화 역할을 했습니다.
  • SFT 웜업: (SFT 없이) 콜드 스타트 방식으로 진행된 GRPO는 ArMeme에서 퇴보한 성능(0.332 macro-F1)을 보였으며, 이는 복잡한 작업에서 SFT 초기화가 매우 중요함을 입증합니다.
  • 자기 지도 GRPO: ArMeme의 macro-F1을 +1.5 포인트(0.597에서 0.612로) 개선했으나, FHM 성능은 약간 감소(-1.0 포인트)시켰습니다. 이는 FHM 레이블 없는 풀의 분포 불일치와 이진 분류에서의 다수결 편향 때문으로 분석됩니다.

5. 의의 및 주장

본 논문은 저자들이 아는 한, 교차 언어, 세밀한 레이블링 및 자기 지도 설정 하에서 멀티모달 추론에 GRPO를 적용한 최초의 체계적인 연구라고 주장합니다.

• 방법론적 통찰: 본 연구는 복합 보상(특히 사고 길이 정규화와 결합된 경우)을 사용하는 RL 기반 사후 학습이 표준 SFT가 할 수 없는 방식으로 분류 정확도와 설명 품질을 동시에 최적화할 수 있음을 보여줍니다.
• 합성 감독의 확장성: 다중 LLM 주석 파이프라인의 성공은 합성된, 합의 기반의 세밀한 레이블이 콘텐츠 중재 작업에서 인간의 주석을 대체할 수 있는 확장 가능한 대리물(proxy) 역할을 할 수 있음을 시사합니다.
• 자기 주도의 조건: 자기 지도 GRPO는 레이블 공간이 다양하여 합의 유도 편향을 방지할 수 있는 인도메인 데이터(ArMeme의 4개 클래스 작업)에서는 효과적이지만, 분포 변화나 이진 다수 편향이 지배적인 경우(FHM의 사례)에는 효과가 떨어짐을 밝혀냈습니다.
• 생성형 vs. 판별형: 결과는 생성형 추론 모델이 전통적인 시퀀스 분류 모델에 비해 더 균형 잡힌 클래스별 성능과 실행 가능한 설명을 제공하며, 따라서 해석력이 요구되는 실질적인 콘텐츠 중재에 더 적합함을 시사합니다.

저자들은 이 분야의 후속 연구를 촉진하기 위해 모든 코드, 데이터 확장 및 평가 리소스를 공개합니다.