A Computational Model of Message Sensation Value in Short Video Multimodal Features that Predicts Sensory and Behavioral Engagement

논문 요약: 숏폼 비디오의 다중 모달 (Multimodal) 특성을 기반으로 한 메시지 감각 가치 (MSV) 계산 모델

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 현대 미디어 환경은 숏폼 비디오 (Short Video) 가 지배적이며, 시청자의 참여 (Engagement) 를 유도하는 핵심 요소로 작용하고 있습니다.
• 기존 연구의 한계:
  • 기존 연구들은 밝기 (brightness), 오디오 템포 (tempo) 등 개별적인 다중 모달 특성의 효과만을 분석했습니다.
  • 그러나 시청자는 개별 요소를 분리해서가 아니라 통합된 형태로 정보를 처리합니다. 따라서 단일 특성의 효과만으로는 복잡한 다중 모달 정보 처리를 설명하기 부족합니다.
  • 기존 '메시지 감각 가치 (Message Sensation Value, MSV)' 측정 도구는 공익 광고 (PSA) 와 같은 전통적인 TV 콘텐츠에 맞춰 개발되어, 알고리즘 기반의 숏폼 비디오 환경에는 적합하지 않았습니다.
• 연구 목적: 숏폼 비디오의 다중 모달 특성을 통합적으로 분석하여 계산적 MSV 모델을 개발하고, 이것이 시청자의 **감각적 참여 (Sensory Engagement)**와 **행동적 참여 (Behavioral Engagement)**에 미치는 영향을 규명하는 것입니다.

2. 연구 방법론 (Methodology)

가. 데이터 수집 및 샘플링

• 초기 데이터셋: Instagram Reels 의 1,200 개 숏폼 비디오 (8 가지 주요 사회적 이슈 관련).
  • 인기 계정 (팔로워 100 만 이상) 과 일반 계정 (팔로워 5 만 미만) 을 모두 포함하여 일반화성을 높였습니다.
• 검증 데이터셋: 개발된 모델을 검증하기 위해 3 개의 플랫폼 (TikTok, Instagram, YouTube Shorts) 에서 수집된 14,492 개의 미시적 데이터 (Science 관련 및 어린이 추천 비디오 포함) 를 사용했습니다.

나. 다중 모달 특성 추출 (Feature Extraction)

• 20 가지 특성 추출: 컴퓨터 비전 및 오디오 분석 도구를 활용하여 다음 20 가지 특성을 추출했습니다.
  • 정적 시각 (Static Visual): 밝기, 채도, 색감 (Warmness), 시각적 복잡도.
  • 동적 시각 (Dynamic Visual): 초당 샷 수 (Shot count/s), 샷 지속 시간.
  • 얼굴 특성 (Face): 얼굴 크기, 나이, 성별, 표정 (기쁨, 슬픔, 분노 등 6 가지), 초당 얼굴 수.
  • 오디오 (Audio): 음량 (Loudness), 템포 (Tempo), 소리 밝기 (Sound brightness).
• 전처리: 프레임 샘플링, 정규화, 결측치 보정 등을 수행했습니다.

다. 인간 평가 및 라벨링

• 감각적 참여 (PMSV): 1,007 명의 참가자를 대상으로 1,200 개 비디오에 대한 **지각된 메시지 감각 가치 (Perceived MSV, PMSV)**를 설문조사했습니다. (감정적 각성, 드라마틱한 영향력, 새로움 등 3 차원 측정).
• 행동적 참여: 조회수, 좋아요, 댓글의 합을 행동적 참여 지표로 정의했습니다.

라. 모델 개발 (Machine Learning)

• 접근법: 지도 학습 (Supervised Learning) 을 사용하여 PMSV 를 예측하는 최적의 계산 모델을 구축했습니다.
• 특성 선택: 상관관계 분석, 단계적 회귀, PLS 회귀 등을 통해 5 가지 특성 집합을 생성하고 평가했습니다.
• 모델 선정: 선형 회귀, 다항 회귀, 랜덤 포레스트, XGBoost, SVM 등 5 가지 알고리즘을 비교.
  • 최적 모델: 11 가지 오디오 - 시각 특성을 입력으로 사용하는 랜덤 포레스트 회귀 (Random Forest Regression) 모델이 가장 낮은 MSE(평균 제곱 오차) 와 AIC 값을 보이며 가장 우수한 성능을 발휘했습니다.
  • 주요 기여 특성: 초당 얼굴 지속 시간, 초당 샷 수, 밝기 (Brightness) 가 전체 중요도의 52% 를 차지했습니다.

3. 주요 결과 (Key Results)

가. 감각적 참여 (Sensory Engagement) 예측

• 결과: 계산된 MSV 는 PMSV(시청자가 느끼는 감각적 자극) 와 정적인 선형 관계를 가집니다.
• 해석: MSV 점수가 높을수록 시청자는 비디오를 더 감각적이고 자극적으로 지각합니다. 이 모델은 다양한 인구통계학적 집단 (연령, 감각 추구 성향 등) 에서 일관되게 적용되었습니다.

나. 행동적 참여 (Behavioral Engagement) 예측

• 결과: 계산된 MSV 와 행동적 참여 (좋아요, 공유 등) 사이에는 역 U 자형 (Inverted U-shaped) 관계가 발견되었습니다.
  • 중요 발견: MSV 가 너무 낮거나 너무 높을 때 행동적 참여는 감소하며, 적정 수준 (Optimal Level) 의 MSV에서 행동적 참여가 최대화됩니다.
  • 최적 MSV 값: 약 3.36 (데이터셋에 따라 3.17~3.27 로 일관됨).
• 해석: 과도한 감각 자극 (높은 MSV) 은 오히려 주의를 분산시켜 행동적 참여를 저해할 수 있습니다. 반면, 너무 단순한 콘텐츠는 관심을 끌지 못합니다.

다. 일반화 및 안정성 검증

• 검증: TikTok 의 과학 관련 비디오와 어린이 추천 비디오 등 **보이지 않는 데이터 (Unseen Data)**에서도 동일한 역 U 자형 관계가 확인되었습니다. 이는 모델이 다양한 콘텐츠와 플랫폼에서 안정적으로 작동함을 의미합니다.

4. 주요 기여 (Key Contributions)

1. 이론적 확장: 기존 MSV 이론을 공익 광고 (PSA) 에서 숏폼 비디오 환경으로 확장했습니다. MSV 가 감각적 참여에는 선형적으로 작용하지만, 행동적 참여에는 비선형적 (역 U 자형) 으로 작용한다는 이중적 메커니즘을 규명했습니다.
2. 방법론적 혁신: 수동적 콘텐츠 분석을 대체할 수 있는 확장 가능한 계산적 MSV 모델을 제시했습니다. 머신러닝을 통해 다중 모달 특성의 통합적 영향을 정량화하는 프레임워크를 제공했습니다.
3. 실무적 시사점: 콘텐츠 제작자에게 **적정 수준의 감각 자극 (Moderate MSV)**이 가장 효과적임을 시사합니다. 지나치게 빠르거나 자극적인 편집보다는 균형 잡힌 속도와 오디오 - 시각적 요소가 참여를 극대화합니다.

5. 의의 및 의의 (Significance)

• 이론적 의의: 주의 이론 (AMIE, LC4MP) 과 정교화 가능성 모델 (ELM) 간의 논쟁을 종합하여, MSV 가 주의 집중과 분산 모두에 관여할 수 있음을 실증했습니다. 특히 '중간 지대 (Middle Ground)'의 중요성을 강조했습니다.
• 방법론적 의의: Video-As-Data 접근법을 통해 대규모 숏폼 비디오 데이터를 자동으로 분석하고 예측하는 도구를 제공함으로써, 향후 미디어 연구의 계산적 전환을 가속화합니다.
• 실용적 의의: 알고리즘 기반 플랫폼에서 콘텐츠의 참여도를 높이기 위한 데이터 기반 가이드라인을 제시합니다.

6. 제한점 및 향후 과제

• 특성 범위: 고차원적 특성 (구도, 객체 인식, 플랫폼 고유 기능 등) 이 포함되지 않았습니다.
• 인과관계: 역 U 자형 관계는 상관관계에 기반하므로, 인과관계를 입증하기 위한 실험적 연구가 필요합니다.
• 문화적 맥락: 현재 연구는 영어권 (미국) 데이터에 국한되어 있어, 문화적 맥락에 따른 MSV 의 차이를 검증할 필요가 있습니다.
• 알고리즘 영향: 추천 알고리즘이 MSV 와 참여도 사이의 관계를 어떻게 조절하는지에 대한 연구가 부족합니다.

---

결론적으로, 본 연구는 숏폼 비디오의 성공적인 참여 유도를 위해서는 단순히 자극적인 요소를 극대화하는 것이 아니라, 시청자의 인지적 처리 능력을 고려한 **적정 수준의 감각적 균형 (Moderate MSV)**을 찾는 것이 핵심임을 계산적 모델을 통해 증명했습니다.