CHASM: Unveiling Covert Advertisements on Chinese Social Media

1. 문제 정의 (Problem Definition)

• 배경: 소셜 미디어 광고는 전 세계적으로 성공적인 마케팅 형태이지만, 사용자는 노골적인 광고를 피하는 경향이 있습니다. 이에 따라 **은밀한 광고 (Covert Advertisements)**가 급증하고 있습니다.
• 은밀한 광고의 특징: 일반적인 제품 경험 공유, 일상 기록, 리뷰 등 정상적인 콘텐츠로 위장하여 사용자를 속이고 구매를 유도합니다.
• 현재의 한계:
  • 기존 소셜 미디어 콘텐츠 moderation(검열) 연구는 가짜 뉴스, 사이버 폭력, 혐오 표현 등에 집중되어 있으며, 은밀한 광고 탐지는 거의 연구되지 않았습니다.
  • 기존 벤치마크는 은밀한 광고를 탐지하는 데 필요한 다중 모달 (Multimodal) 데이터와 평가 기준이 부재합니다.
  • 현재 대규모 언어 모델 (LLM) 및 멀티모달 LLM (MLLM) 은 이러한 은밀한 광고를 탐지하는 데 있어 신뢰성이 부족합니다.

2. 방법론 (Methodology)

A. CHASM 데이터셋 구축

• 데이터 소스: 중국의 대표적인 소셜 미디어 플랫폼인 **레드노트 (Rednote/Xiaohongshu)**에서 수집되었습니다.
• 데이터 규모 및 구성:
  • 총 4,992 개의 고화질, 익명화된 수동 큐레이션 (Manually Curated) 인스턴스로 구성됨.
  • 분포: 은밀한 광고 (Positive) 612 개 (12.3%), 비광고 (Negative) 4,380 개 (87.7%).
  • 난이도: 일반 제품 공유 게시물 (Product-Sharing Samples) 을 포함하여, 광고와 비광고를 구별하기 매우 어렵도록 설계됨.
• 수집 및 전처리 프로세스:
  1. 수집: 3 명의 어노테이터가 새 계정 (검색 기록 없음) 을 통해 데이터를 수집.
  2. 필터링: 명시적인 광고 태그가 붙은 전통적 광고는 제거.
  3. 익명화: 이름, 전화번호, 이메일 등 개인정보 및 이미지 내 얼굴 영역을 마스킹하여 프라이버시 보호.
• 어노테이션 전략:
  • 5 명의 어노테이터가 참여하며, 3 인 다수결 (Majority Voting) 방식을 적용 (특히 제품 관련 게시물).
  • 골드 스탠다드 (Gold Standard): 50 개의 테스트 질문을 통해 어노테이터의 자격을 심사하고 품질을 모니터링.
  • 지침: 광고의 의도, 언어 스타일 (클릭베이트, 과장), 텍스트/이미지 구조 (단일 브랜드 집중 여부) 등을 기준으로 명확한 판단 기준을 제시.

B. 평가 실험 (Evaluation)

• 모델: 15 개의 주요 MLLM 평가 (오픈소스: InternVL, LLaVA, Qwen, DeepSeek 등 / 상용: GPT-4o, Gemini, Qwen-Max 등).
• 학습 설정:
  • Zero-shot: 프롬프트만으로 판단.
  • In-context Learning (ICL): 예시 포함 프롬프트.
  • Fine-tuning: CHASM 데이터셋으로 오픈소스 모델 미세 조정.
• 지표: 정밀도 (Precision), 재현율 (Recall), F1-Score, AUC.

3. 주요 기여 (Key Contributions)

1. 새로운 태스크 정의: 소셜 미디어에서의 '은밀한 광고 탐지'를 위한 체계적인 정의와 평가 가이드라인을 제시.
2. CHASM 데이터셋 공개: 중국 레드노트 기반의 고품질, 익명화된 첫 번째 은밀한 광고 탐지용 다중 모달 데이터셋을 공개 (Hugging Face 및 GitHub).
3. MLLM 성능 한계 규명: 현재 최첨단 MLLM 들조차 Zero-shot 및 ICL 환경에서 은밀한 광고 탐지에 실패함을 실증.
4. 미세 조정 (Fine-tuning) 의 효과 입증: 오픈소스 MLLM 을 CHASM 으로 미세 조정하면 성능이 획기적으로 향상됨을 보임.
5. 오류 분석 및 향후 방향: 모델이 실패하는 구체적인 원인 (시각/텍스트 구조 인식 실패, 미묘한 단서 놓침 등) 을 분석하고 플랫폼 운영자를 위한 개선 방향 제시.

4. 실험 결과 (Results)

A. Zero-shot 및 In-context Learning 성능

• 성능 저조: 모든 모델이 은밀한 광고 탐지에 실패.
  • GPT-4o (최고 성능): Zero-shot 기준 F1-Score 0.597에 그침.
  • DeepSeek-V3: In-context 학습 시 F1-Score 0.592.
  • 결론: 현재 상용 및 오픈소스 모델은 인간 수준의 판단 기준을 프롬프트만으로 학습하기 어렵고, 신뢰할 수 없는 결과를 냄.

B. Fine-tuning 성능

• 성능 향상: 오픈소스 모델 (Qwen2.5-7B, InternVL) 을 CHASM 으로 미세 조정한 결과 성능이 크게 개선됨.
  • Qwen2.5-7B (Fine-tuned): F1-Score 0.756 달성 (Zero-shot GPT-4o 보다 우위).
  • 의미: 데이터셋을 통한 미세 조정이 모델의 사실적 근거 (Grounding) 능력을 향상시켜 인간 판단과 더 잘 일치하게 만듦.

C. 모달리티 영향 분석

• 이미지와 댓글의 중요성: 이미지나 댓글 중 하나를 제거할 경우 모델 성능이 급격히 저하됨.
  • 은밀한 광고는 종종 이미지 내 숨겨진 링크나 댓글의 구매 유도 문구를 통해 이루어지므로, 다중 모달 정보와 댓글 분석이 필수적임.

D. 오류 유형 분석

• 주요 오류:
  1. 불충분한 증거 (Insufficient Evidence): 광고가 아닌 일반 게시물을 광고로 오인 (정밀도 낮음).
  2. 단서 누락 (Missing Clue): 댓글이나 이미지에 숨겨진 구매 링크/메시지를 놓침.
  3. 구조적 패턴 인식 실패: 단일 브랜드에 집중하는 광고 구조와 다양한 브랜드를 비교하는 일반 공유 게시물을 구분하지 못함.
• 미세 조정의 효과: 미세 조정 모델은 '불충분한 증거'로 인한 오검출을 크게 줄였으나, 여전히 '미묘한 단서'와 '구조적 차이' 인식에는 한계가 있음.

5. 의의 및 결론 (Significance)

• 연구 커뮤니티 및 플랫폼에 대한 경고: 은밀한 광고는 기존 콘텐츠 필터링 시스템과 MLLM 의 주요 약점이며, 이를 탐지하기 위한 새로운 접근법이 필요함.
• 실용적 가치: CHASM 데이터셋은 오픈소스 MLLM 을 훈련시켜 플랫폼의 콘텐츠 moderation 능력을 향상시키는 데 필수적인 기반을 제공함.
• 향후 연구 방향:
  • 동적 탐지 (Dynamic Detection): 게시물의 초기 상태뿐만 아니라 댓글 섹션의 시간적 흐름 (댓글 변화) 을 고려한 탐지 필요.
  • 사용자 행동 데이터: 좋아요, 조회수, 신고 빈도 등 사용자 피드백 신호를 통합.
  • 크리에이터 프로파일링: 작성자의 과거 게시물 패턴과 일관성 분석.
• 윤리적 고려: 자동 탐지 시스템의 오검출 (False Positive) 로 인한 사용자 경험 저하를 방지하기 위해, 제재 조치 전 인간 검토 (Human-in-the-loop) 를 권장.

이 논문은 소셜 미디어의 은밀한 광고라는 새로운 위협에 대응하기 위한 데이터셋, 평가 기준, 그리고 모델 성능 분석을 종합적으로 제시하여, 더 투명하고 공정한 소셜 미디어 환경을 구축하는 데 기여합니다.