Modeling Engagement with Brand and Organizational TikTok Videos Using Machine-Assisted Theory-Ensemble Annotation

技術要約：理論アンサンブルを用いた機械支援型アノテーションによる、ブランドおよび組織のTikTok動画におけるエンゲージメントのモデリング

問題提起
TikTokのようなプラットフォームにおける短尺動画コンテンツは、大規模な研究において大きな課題を提示している。これらの動画における「意味」は、オーディオビジュアル要素、言語、編集、そしてアルゴリズムのダイナミクス間の複雑でマルチモーダルな相互作用から立ち現れる。これらのレイヤーを手動でアノテーションすることは、膨大な労力を要し、標準化が困難であり、サンプルサイズも限定されがちであるため、文化的な生産やエンゲージメントを大規模に研究することを阻害している。既存の大規模研究の多くは、容易に測定可能な予測因子（アカウント規模、投稿タイミング、ネットワーク構造など）や一般的なマルチモーダル特徴量に依存しており、物語構造、修辞的呼びかけ、記号論的組織に関するより深い解釈的な問いを見落としがちである。マルチモーダル大規模言語モデル（LLM）は有望ではあるものの、理論的なニュアンスや解釈性を失うことなく、長年蓄積されてきた解釈理論を構造化された変数へと定式化するための厳格なワークフローが必要とされている。

手法
本研究では、質的な理論的判断を定量的なカテゴリ変数へと変換する、機械支援型の「定量的化（quantitizing）」アプローチを採用している。

• コーパス構築： データセットは、エストニア（人口130万人の言語的に限定されたエコシステム）の厳選された30のブランドおよび組織アカウントによる9,654本の動画で構成されている。動画の期間は2020年7月から2026年1月までであり、大部分は2023年から2025年の間に投稿されたものである。
• アノテーション設計： 研究者は、単一のビデオ対応フロンティアモデル（Gemini 2.5 Pro）を用いてコーパスのアノテーションを行った。アノテーション・スキームは「理論飽和型」であり、以下のものを含む11の異なる理論的ブロックから77の構造的変数を導出している：
  • 物語論（ラボフ的構造、プロップ/キャンベルの弧、ポルティの葛藤類型）。
  • 修辞学（アリストテレス的訴求、バークの劇的五角形）。
  • 記号論（チャンドラーの記号モード、ホールによるエンコーディング／デコーディング）。
  • マルチモーダル・フレームワーク（Grzenkowicz & Wildfeuer）。
  • コミュニケーション理論（使用と充足）。
    モデルには、一貫性を確保するために自由記述の散文を避け、バイナリまたはカテゴリ変数を包含する構造化されたJSONオブジェクトを出力するようプロンプトが設定された。
• 検証： 100本の動画のサブセットを3人の人間のコーダーが手動でアノテーションし、信頼性を評価した。一致指標（Krippendorff's $\alpha$, Fleiss' $\kappa$）および人間の多数決に対するLLMの正確性を算出した。結果として、知覚的およびコミュニケーション的変数（オーディオタイプ、カメラアングルなど）は高い一致を示したが、より深い記号論的および原型的な構成概念（バークの五角形、ポルティの葛藤など）は低い一致を示した。これは、モデルの失敗というよりも、人間側のコーダーによる困難さに起因することが多い。
• 定量的分析：
  • 予測モデリング： グループ化されたCatBoostモデルを用いて、エンゲージメント指標（いいね、コメント、シェア、保存）およびコメント欄の活動（支持的か情報探索的か）を予測した。データ漏洩を防ぐため、モデルは「グループ外のアカウント」に基づいた分割を強制し、同じアカウントの動画が訓練セットとテストセットの両方に現れないようにした。ベースラインの制御変数には、アカウントのフォロワー数と動画の経過期間が含まれる。
  • 解釈可能性： 二次的な線形混合効果モデルを用いて、CatBoostモデルにおけるトップの予測因子を分析した。さらに、「デザイン選択」分析では、単一の変数を変化させつつ他の変数を一定に保つことで限界効果をシミュレートし、影響力の高い構造的特徴を特定した。
  • 類似性マッピング： 全アノテーションセットに対するハミング距離を用いて、動画を2次元の構成空間にマッピングし、構造的類似性とパフォーマンスの関係を探索した。

主な貢献

1. 理論の定式化： 本研究は、複雑で長年蓄積されてきた解釈理論（物語論、記号論、修辞学）を、短尺動画のための構造化された機械可読のアノテーション・スキームへと翻訳するワークフローを実証している。
2. 機械支援型による定量的化： 理論的に動機付けられた膨大な変数をアノテーションするためのマルチモーダルLLMの使用を検証し、深い記号論的構成概念は依然として困難であるものの、知覚的およびコミュニケーション的変数は探索的分析に十分な信頼性を持ってコーディングできることを示した。
3. 経験的ベースライン： エストニアのブランドおよび組織のTikTokコンテンツに関する包括的なデータセットを提供し、孤立したバイラル事例のノイズを排除した、限定されたプラットフォーム・レパートリーを提示している。
4. 方法論的フレームワーク： 質的な区別を構造化された変数へと変換するための、明示的なコードブック、検証サンプル、およびバイアスチェックを含む再現可能なパイプラインを確立した。

結果

• 予測精度の向上： 理論に基づきコーディングされたコンテンツ変数は、ベースラインの制御変数（アカウントサイズと動画の経過期間）に対して、緩やかではあるが一貫した精度向上をもたらした。フルモデルは「いいね」に対して$R^2 = 0.27$、「コメント」に対して$R^2 = 0.18$を達成し、制御モデルのみの場合と比較して0.056から0.078の増分改善を示した。「いいね」と「保存」は最も予測しやすい結果であったが、「シェア」は依然として最も予測が困難であった。
• 主要な予測因子：
  • 「いいね」： 広範なパッケージングの選択と最も強く関連していた（オリジナルの音声による語りが最高値、エンターテインメント的な意図、および屋内・商業的設定）。
  • 「コメント」： 「コール・トゥ・アクション（CTA）」のタイプが支配的な予測因子であり、特に「エンゲージメント・ベイト（関心を引くための仕掛け）」が挙げられた。情報探索的なコメントはチュートリアル形式やロゴ主導の修辞に関連し、支持的なコメントはパトス（感情）主導の修辞や旅行・ファッションのトピックと相関していた。
• 信頼性の勾配： 人間による検証により、知覚的変数（オーディオ、視覚、編集）は人間とLLMの両方によって信頼性高くコーディングされることが確認された。対照的に、より深い解釈的変数（バーク、ポルティ、チャンドラー）は低い信頼性を示し、人間が単純な表現と見なしている箇所でも、LLMは葛藤や記号論的な複雑さを過剰に検出する傾向があった。
• 構造的類似性： コーパスの「モード・プロファイル（最も一般的な値）」または特定のアカウントのプロファイルに一致する動画は、「いいね」の観点で高いパフォーマンスを示す傾向があった。しかし、これは一律の効果ではなく、特定の逸脱（例：プロモーション目的のためにコーパスの規範を破るなど）も好ましい結果をもたらすことがあった。類似性の優位性は、総体的な適合性ではなく、影響力の高いパッケージング変数によって駆動されていた。

意義と主張
本論文は、このアプローチが以下の3つの主要な目的をサポートすると主張している：

1. 探索的文化分析： 大規模な理論的変数を観測可能にすることで、短尺動画文化におけるバリエーションをマッピングする。
2. 予測モデリング： 単純な露出指標を超えて、プラットフォームのダイナミクスとオーディエンスの反応を予測する精度を高める。
3. クリエイターへの診断： コンテンツクリエイターに対し、構造的戦略と物語的戦略のどちらを選択すべきか、どの変数のサブセットが特定のニッチに対してシグナルを持つかを特定するための、データに基づいたガイダンスを提供する。

著者らは、自らの主張が控えめであることを強調している。本研究は相関関係を示すものであり、因果関係を示すものではない。LLMの価値は、あらゆる理論的構成概念において完璧な正確さを備えていることではなく、大規模で多様な理論的枠組みの評価を可能にすることにある。これにより、研究者はどの特定の変数が予測シグナルを持ち、どの変数が単なる記述に留まるのかを特定でき、理論的な洞察を特定のニッチにおけるコンテンツ戦略のための実行可能なガイダンスへと翻訳することが可能となる。本研究の結果は、深い記号論的分析の標準化は依然として困難であるが、物語や修辞の構造を定式化することは、動画のエンゲージメントの「なぜ」を理解するための有効な道筋であることを示唆している。