Modeling Engagement with Brand and Organizational TikTok Videos Using Machine-Assisted Theory-Ensemble Annotation

기술 요약: 기계 보조 이론 앙상블 주석을 이용한 브랜드 및 조직 틱톡 영상의 참여도 모델링

문제 제기
틱톡과 같은 플랫폼의 숏폼 비디오 콘텐츠는 대규모 연구를 수행하는 데 있어 상당한 과제를 안겨준다. 이러한 영상에서의 의미는 시청각 요소, 언어, 편집, 그리고 알고리즘 역학 사이의 복잡하고 다중적인 상호작용으로부터 발생한다. 이러한 층위들을 수동으로 주석(annotation)을 다는 전통적인 방식은 노동 집약적이며, 표준화하기 어렵고, 종종 작은 표본에 국한되어 문화적 생산과 참여를 대규모로 연구하는 데 걸림돌이 된다. 기존의 대규모 연구들은 흔히 쉽게 측정 가능한 예측 변수(예: 계정 규모, 타이밍, 네트워크 구조)나 일반적인 멀티모달 특징에 의존하며, 서사 구조, 수사적 호소, 기호학적 조직에 관한 더 깊은 해석적 질문들은 간과하는 경우가 많다. 멀티모달 거대언어모델(LLM)이 유망한 가능성을 보여주고 있으나, 이론적 미묘함을 잃지 않으면서 장기적인 해석 이론을 구조화된 변수로 체계화할 수 있는 엄격한 워크플로우가 필요하다.

방법론
본 연구는 질적인 이론적 판단을 양적인 범주형 변수로 변환하는 기계 보속적 "양질화(quantitizing)" 접근법을 채택한다.

• 코퍼스 구축: 데이터셋은 에스토니아(인구 130만 명의 언어적 경계 내 생태계)의 30개 엄선된 브랜드 및 조직 계정에서 추출한 9,654개의 영상을 포함한다. 영상은 2020년 7월부터 2026년 1월까지의 기간을 포괄하며, 대다수는 2023년에서 2025년 사이에 게시되었다.
• 주석 설계: 연구진은 단일 비디오 기능 지원 프런티어 모델(Gemini 2.5 Pro)을 사용하여 코퍼스를 주석 처리하였다. 주석 체계는 "이론 포화적(theory-saturated)"으로, 다음을 포함한 11개의 별도 이론 블록으로부터 77개의 구조적 변수를 도출하였다:
  • 서사학 (라보프의 구조, 프로프/캠벨의 곡선, 폴티의 갈등 유형).
  • 수사학 (아리스토텔레스의 호소, 버크의 드라마틱 펜타드).
  • 기호학 (챈들러의 기호 양식, 홀의 인코딩/디코딩).
  • 멀티모달 프레임워크 (Grzenkowicz & Wildfeuer).
  • 커뮤니케이션 이론 (이용과 충족).
    모델은 일관성을 보장하기 위해 자유 형식의 산문 대신 이진/범주형 변수와 진단적 텍ext 필드를 포함하는 구조화된 JSON 객체를 출력하도록 프롬프트가 구성되었다.
• 검증: 신뢰도를 평가하기 위해 100개의 영상 서브셋을 세 명의 인간 코더가 수동으로 주석 처리하였다. 일치도 지표(Krippendorff's $\alpha$, Fleiss' $\kappa$)와 인간의 다수결 투표 대비 LLM의 정확도를 계산하였다. 결과는 신뢰도 구배(reliability gradient)를 나타냈다. 지각적 및 커뮤니케이션 변수(예: 오디오 유형, 카메라 각도)는 높은 일치도를 보였으나, 더 깊은 기호학적 및 원형적 구성 개념(예: 버크의 펜타드, 폴티의 갈등)은 인간 코더의 어려움 때문인지 모델의 실패 때문인지 불분명한 낮은 일치도를 보였다.
• 양적 분석:
  • 예측 모델링: 그룹화된 CatBoost 모델을 학습시켜 참여 지표(좋아요, 댓글, 공유, 저장)와 댓글 섹션 활동(지지적 vs 정보 탐색적)을 예측하였다. 데이터 누수를 방지하기 위해 "그룹 외 계정(out-of-account)" 분할을 적용하여, 동일한 계정의 영상이 훈련 세트와 테스트 세트에 동시에 등장하지 않도록 하였다. 통제 변수로는 계정 팔로워 수와 영상 연령을 포함하였다.
  • 해석 가능성: CatBoost 모델에서 도출된 주요 예측 변수를 분석하기 위해 이차 선형 혼합 효과 모델을 사용하였다. 또한, "설계 선택(design choice)" 분석을 통해 다른 변수들을 고정한 상태에서 단일 변수를 변화시킴으로써 영향력이 큰 구조적 특징을 식별하는 한계 효과를 시뮬레이션하였다.
  • 유사성 매핑: 전체 주석 세트에 대한 해밍 거리(Hamming distance)를 사용하여 영상을 2D 구성 공간에 매핑함으로써 구조적 유사성과 성과 간의 관계를 탐색하였다.

주요 기여

1. 이론의 조작화: 복잡하고 오래된 해석 이론(서사학, 기호학, 수사학)을 숏폼 비디오를 위한 구조화된 기계 판독 가능 주석 체계로 번역하는 워크플로우를 입증하였다.
2. 기계 보조 양질화: 멀티모달 LLM을 사용하여 대규모의 이론적 동기 변수를 주석 처리하는 것을 검증하였으며, 깊은 기호학적 구성 개념은 여전히 도전적이지만 지각적 및 커뮤니케이션 변수는 탐색적 분석을 위한 충분한 신뢰도로 코딩될 수 있음을 보여주었다.
3. 경험적 베이스라인: 고립된 바이럴 사례의 노이즈를 피하면서, 제한된 플랫폼 레퍼토리를 제공하는 에스토니아 브랜드 및 조직 틱톡 콘텐츠의 종합적인 데이터셋을 제공한다.
4. 방법론적 프레임워크: 질적 구분을 구조화된 변수로 변환하기 위해 명시적인 코드북, 검증 샘플, 편향 체크를 포함하는 재현 가능한 파이프라인을 구축하였다.

결과

• 예측 이득: 이론적으로 코딩된 콘텐츠 변수는 베이스라인 통제 변수(계정 크기 및 영상 연령)에 비해 완만하지만 일관된 이득을 제공하였다. 전체 모델은 좋아요에 대해 0.27, 댓글에 대해 0.18의 $R^2$ 값을 달성하였으며, 이는 통제 변수 전용 모델보다 0.056에서 0.078만큼 향상된 수치이다. 좋아요와 저장이 가장 예측 가능한 결과였으며, 공유는 가장 예측하기 어려운 항목으로 남았다.
• 주요 예측 변수:
  • 좋아요: 광범위한 패키징 선택과 가장 강하게 연관되었다(오리지널 스포큰 오디오가 가장 높은 대비를 보임, 엔터테이닝 의도, 실내 상업적 설정).
  • 댓글: "콜 투 액션(CTA)" 유형이 지배적인 예측 변수였으며, 특히 "참여 유도(engagement bait)"가 그러했다. 정보 탐색적 댓글은 튜토리얼 형식 및 로고 중심의 수사와 연결되었고, 지지적 댓글은 파토스 중심의 수사 및 여행/패션 주제와 상관관계가 있었다.
• 신뢰도 구배: 인간 검증 결과, 지각적 변수(오디오, 시각, 편집)는 인간과 LLM 모두에 의해 신뢰성 있게 코딩됨을 확인하였다. 반면, 심층적 해석 변수(버크, 폴티, 챈들러)는 낮은 신뢰도를 보였는데, 이는 LLM이 단순한 재현을 보고 있는 인간에게도 갈등이나 기호학적 복잡성을 과잉 탐지하는 경향이 있었기 때문이다.
• 구조적 유사성: 코퍼스 또는 특정 계정의 "모달 프로필(가장 흔한 값)"과 일치하는 영상이 좋아요 측면에서 더 높은 성과를 보이는 경향이 있었다. 그러나 이는 일률적인 효과는 아니었으며, 특정 편차(예: 홍보적 의도를 위해 코퍼스의 규범을 깨는 것) 또한 유리할 수 있었다. 유사성의 이점은 전체적인 순응보다는 영향력이 큰 패키징 변수에 의해 주도되었다.

의의 및 주장
본 논문은 이 접근법이 세 가지 주요 목표를 지원한다고 주장한다:

1. 탐색적 문화 분석: 대규모의 이론적 변수를 관찰 가능하게 함으로써 숏폼 비디오 문화의 변이를 매핑한다.
2. 예측 모델링: 단순한 가시성 지표를 넘어 플랫폼 역학과 관객 피드백을 예측하는 능력을 개선한다.
3. 크리에이터를 위한 진단: 콘텐츠 크리에이터가 구조적 전략과 서사적 전략 중 무엇을 선택할지 결정할 수 있도록 데이터 기반의 가이드를 제공하며, 어떤 변수 하위 집합이 특정 니치 시장에서 신호를 전달하는지 식별한다.

저자들은 자신들의 주장이 겸손함을 강조한다: 본 연구는 상관관계적이지 인과적이지 않다. LLM의 가치는 모든 이론적 구성 개념에 대해 완벽한 정확도를 갖는 데 있는 것이 아니라, 대규모의 다양한 이론적 프레임워크를 실행 가능하게 만드는 데 있다. 이를 통해 연구자들은 어떤 특정 변수가 예측 신호를 전달하고 어떤 것이 단순히 기술적(descriptive)인지를 식별할 수 있으며, 이론적 통찰을 특정 니치 내의 콘텐츠 전략을 위한 실행 가능한 가이드로 번역할 수 있다. 연구 결과는 심층적인 기호학적 분석을 표준화하는 것은 여전히 어렵지만, 서사 및 수사 구조를 조작화하는 것이 영상 참여의 "이유(why)"를 이해하기 위한 유효한 경로임을 시사한다.