기술 요약: 알고리즘 속 어두운 신호 포착

문제 제기

짧은 형식의 비디오 플랫폼 (인스타그램 릴스, 틱톡, 유튜브 쇼츠) 의 확산과 비효율적인 연령 확인 메커니즘의 결합은 어린이와 청소년에게 상당한 위험 환경을 조성했습니다. 13 세 미만 사용자 이용을 금지하는 플랫폼 정책에도 불구하고, 기존 확인 시스템은 미성년자가 이러한 플랫폼에 접근하는 것을 막지 못해 신체적 또는 정신적으로 해로울 수 있는 콘텐츠에 노출시키고 있습니다.

해로운 콘텐츠 탐지에 관한 현재 연구는 대부분 노골적으로 명시적인 자료 (예: 폭력, 노출) 에 초점을 맞추고 있습니다. 그러나 다음과 같은 중요한 이해의 공백이 존재합니다:

1. 암묵적이고 의도치 않은 해악: 노골적으로 폭력적이지는 않지만 불안, 우울증, 또는 부정적인 사회적 비교를 유발할 수 있는 콘텐츠 (예: 비현실적인 미적 기준, 사치스러운 라이프스타일, 또는 지나치게 깊이 공감되는 정신 건강 내러티브).
2. 다중 모달 특성: 미성년자에게 추천되는 안전하지 않은 콘텐츠와 특정 오디오비주얼 특징 (화면 밝기, 오디오 템포, 표정) 이 어떻게 상관관계가 있는지에 대한 상세한 분석의 부재.
3. 설명 가능성: 기존 딥러닝 탐지 모델은 종종 설명 가능성이 부족하여, 특정 특징이 안전하지 않거나 아동 지향 콘텐츠 식별에 어떻게 기여하는지에 대한 통찰을 거의 제공하지 못합니다.

방법론

본 연구는 어린이와 청소년에게 추천된 4,492 개의 짧은 비디오 데이터셋에 대해 다중 모달 특징 분석 및 주제 모델링 접근법을 적용했습니다. 데이터는 2023 년 4 월부터 5 월 사이에 인스타그램 릴스, 틱톡, 유튜브 쇼츠에서 크롤링된 396 개의 합성 소셜 미디어 프로필 (8 세, 16 세, 그리고 '어려움'을 겪는 16 세) 과 두 가지 성별/인종으로 구성된 3 개 사용자 그룹을 대상으로 한 공개 알고리즘 감사 실험 (Hilbert et al., 2023) 에서 파생되었습니다.

데이터 처리 및 주석

• 수동 주석: 32 명의 인간 코더가 세 가지 차원에서 비디오를 평가했습니다:
  • 아동 지향: 명확히 어린이를 대상으로 함.
  • 문제적: MPAA 등급에 기반하여 13 세 미만에게 부적절함 (예: 노출, 폭력).
  • 정신적 고통 유발: 불안이나 우울증을 유발하는 콘텐츠 (예: "당신에게 무언가 잘못되었다"는 암시).
• 다중 모달 특징 추출: 다음을 포함하는 16 가지 특징을 추출했습니다:
  • 오디오: 음량, 템포, 음색 밝기 (스펙트럼 중심).
  • 얼굴: 추정 연령 및 6 가지 이산적 표정 (혐오, 분노, 공포, 행복, 슬픔, 놀람).
  • 시각: 모션 레벨 (샷 변경, 얼굴 수) 및 프레임 레벨 (밝기, 색상 채도, 색상 온기, 시각적 복잡성).
• 주제 모델링: 안전하지 않은 콘텐츠와 관련된 주제적 주제를 식별하기 위해 비디오 캡션 (URL, 이모지, 플랫폼별 불용어 제거 전처리) 에 잠재 디리클레 할당 (LDA) 을 적용했습니다.

분석 모델

• 선형 회귀: 다중 모달 특징이 콘텐츠가 아동 지향적, 문제적, 또는 정신적으로 고통스러운 정도를 어떻게 예측하는지 결정하는 데 사용됨.
• XGBoost 회귀: 다중 모달 특징이 안전하지 않은 콘텐츠를 구분하는 예측력을 평가하는 데 활용됨.
• 음의 이항 회귀: 콘텐츠 유형과 비디오 참여 지표 (조회수, 좋아요, 댓글) 간의 관계를 분석하는 데 사용됨.

주요 기여

1. 온라인 해악에 대한 새로운 프레임워크: 본 논문은 온라인 해악을 세 가지 명확한 형태로 분류하는 유형론을 제시합니다:
   • 명시적 해악: 부적절한 콘텐츠 (폭력, 노출).
   • 암묵적 해악: 오락 또는 상업화로 포장된 해악 (예: 다크 유머, 범죄 이야기, 사치스러운_vlog).
   • 의도치 않은 해악: 무해하거나 선의가 있는 것처럼 보이는 콘텐츠에 내재된 해악 (예: 고통을 유발할 수 있는 정신 건강 인식 비디오).
2. 다중 모달 "어두운 신호": 본 연구는 텍스트 기반 분석을 넘어 안전하지 않은 콘텐츠와 안전한 콘텐츠를 구분하는 특정 오디오비주얼 마커를 식별합니다.
3. 플랫폼 이질성: 연구는 특정 특징의 예측력이 플랫폼에 따라 달라짐을 강조합니다 (예: 얼굴 특징은 인스타그램 릴스에서 더 예측력이 높지만, 오디오비주얼 특징은 틱톡과 유튜브 쇼츠에서 우세함).

결과

1. 안전하지 않은 콘텐츠의 다중 모달 특징

• 시적 어둠: 안전하지 않은 비디오 (문제적 및 정신적 고통 유발 모두) 는 아동 지향 콘텐츠가 더 밝고 채도가 높은 경향이 있는 것과 비교하여 일관되게 더 어두운 시각적 요소 (낮은 밝기와 채도) 를 보입니다.
• 오디오 및 템포: 어린이를 대상으로 한 문제적 및 고통 유발 콘텐츠는 종종 더 빠른 템포 (빠른 템포) 와 덜 따뜻한 색상을 특징으로 합니다.
• 표정: 아동 지향 콘텐츠는 더 많은 얼굴, 특히 주의를 끌기 위한 공포 표정을 가진 어린 얼굴을 특징으로 합니다. 반면, 안전하지 않은 콘텐츠는 행복한 표정이 더 적습니다.
• 예측력: XGBoost 모델은 다중 모달 특징만을 사용하여 문제적 및 정신적 고통 유발 콘텐츠를 예측하는 데 강력한 성능을 보였으며, 이는 이러한 특징이 moderation 시스템에 확장 가능한 지표임을 시사합니다.

2. 참여 상관관계

• 아동 지향 콘텐츠: 참여 (조회수, 좋아요, 댓글) 를 긍정적으로 예측합니다.
• 안전하지 않은 콘텐츠: 일반적으로 참여도가 낮습니다. 정신적 고통 유발 콘텐츠는 조회수 및 좋아요를 부정적으로 예측합니다. 이는 안전하지 않은 콘텐츠가 알고리즘적으로 추천되지만, 안전하고 밝은 콘텐츠만큼 긍정적인 사용자 상호작용을 생성하지는 않는다는 것을 시사합니다.

3. 해악의 주제적 주제

• 문제적 콘텐츠 (명시적/암묵적):
  • 프로모션/자기 광고: 종종 성적 뉘앙스를 포함하는 인플루언서/유명인 프로모션.
  • 범죄/폭력: 오락으로 포장된 불안한 실화 범죄 이야기 및 신체적 해악 묘사.
  • 불쾌한 유머: 다크 유머 및 부적절한 농담.
  • 장난/게임: 공포 장난 및 폭력적인 게임 콘텐츠.
• 정신적 고통 유발 콘텐츠 (의도치 않은):
  • 공포 유발: 무서운 동물 또는 영화 클립.
  • 유명인/인플루언서: 사회적 비교를 촉진하는 비현실적인 미적 기준.
  • 정신 건강: 취약한 시청자에게 불안이 실수로 유발될 수 있는 고난과 트라우마의 묘사.
  • 사치스러운 라이프스타일: 부족함을 느끼게 하는 과장된 생활을 보여주는_vlog.

중요성 및 주장

본 논문은 안전하지 않은 짧은 비디오가 명시적인 콘텐츠 그 자체를 넘어 추가적인 해악 층으로 작용하는 특정 오디오비주얼 특징, 즉 더 어두운 시각적 요소와 우울한 톤을 가진 고유한 "어두운 신호"를 지닌다고 주장합니다. 해악의 정의를 암묵적 및 의도치 않은 위험을 포함하도록 확장함으로써, 본 연구는 어린이가 직면한 역동적인 위험을 이해하기 위한 더 포괄적인 렌즈를 제공합니다.

저자들은 이러한 발견이 다음을 필요로 한다고 주장합니다:

1. 세분화된 moderation: 텍스트 기반 탐지를 넘어 오디오비주얼 마커 (예: 어둠, 낮은 채도) 를 알고리즘 moderation 시스템에 통합하여 미묘한 심리적 위험을 플래그하는 것.
2. 규제 조치: 기존 시스템의 비효율성을 고려할 때, 미성년자가 이러한 플랫폼에 완전히 접근하지 못하도록 연령 확인 메커니즘을 강화하는 것.
3. 미래 연구: 온라인 해악의 다면적 특성을 고려한 더 해석 가능하고 효과적인 콘텐츠 탐지 전략 개발을 위한 기초로서 본 연구의 역할.

본 논문은 콘텐츠가 성인에게는 적절할 수 있지만, 어린이와 청소년의 발달 중인 인지 및 정서적 능력은 이러한 특정 다중 모달 및 주제적 위험에 독특하게 취약하게 만든다고 결론지었습니다.