技術的サマリー：トレンド信号に対する時間的クロスアテンションを用いた投稿後のバイラル性予測

問題定義

ソーシャルメディアのバイラル性予測における現在のモデルは、主に静的なテキストおよび構造的な特徴（フォロワー数、投稿時刻、ネットワーク中心性、テキストの意味など）に依存しています。これらのアプローチの決定的な限界は、「時間的盲目性」にあります。すなわち、公衆の注目の動的な性質を考慮できていない点です。特定のトピックに関する投稿のバイラル性ポテンシャルは、そのトピックが現在公衆の関心で急上昇しているか、それとも休眠状態にあるかによって、大きく異なります。著者らは、これらの時間的ダイナミクスを無視することが、誤ったエンゲージメント要因の特定と予測精度の低下につながると仮説を立てています。ここで扱われる核心的な問題は、現実世界の外部注信号が、投稿テキストのみが示すものを超えてバイラル性予測を改善できるかどうかです。

手法

データとラベリング

本研究は、2021 年 1 月から 2023 年 12 月の間に収集された、ニュース、技術、金融、科学、娯楽など 10 の多様なサブレッドからなる 788,873 件の Reddit 投稿データセットを利用しています。

• バイラル性の定義: コミュニティ間の規模の差を考慮するため、サブレッドごとに層化されたバイナリラベリング戦略によってバイラル性が定義されます。投稿のエンゲージメントスコア $v$ がそのサブレッドの分布の 90 パーセンタイルを超え、かつ生スコア $s$ が最小閾値 100 に達する場合、その投稿はバイラル ($y=1$) とラベル付けされます。
• エンゲージメントスコア: $v = s + 0.3 \cdot c$ です。ここで、$s$ は投稿スコア（アップボット数からダウンボット数を引いた値）、$c$ はコメント数です。重み $\beta=0.3$ は、投票に比べてコメントすることのより高い努力を反映しています。
• 外部信号: 本モデルは、集合的な公衆の関心の代理指標としてウィキペディアのページビューデータを取り入れています。「スパイク」用語は、現在のビュー数と前日のビュー数の比率 ($\rho \ge 2.0$) および絶対的なビュー数の増加に基づいて毎日特定されます。1 日あたりの上位 512 件のトレンド用語が保持され、ノイズ（例えば、常設ページなど）でフィルタリングされた後、エンコードされます。

アーキテクチャ：ViralityNet

ViralityNet は、投稿内部の表現と外部の時間的トレンド信号を融合するために設計されたクロスアテンションアーキテクチャです。

1. 投稿エンコーダ: 4 つの並列ストリームを融合することで、256 次元の投稿表現 ($p$) を生成します。

   • タイトルと本文: all-mpnet-base-v2 (768 次元) を使用してエンコードされます。本文は 400 文字にチャンク化され、平均プーリングされ、再正規化されます。本文のない投稿には、学習されたパディング埋め込みが処理を行います。
   • 構造的特徴: 投稿時刻、曜日、対数正規化された年齢/長さ、サブレッドのサイズなど 9 つの特徴が 64 次元に射影されます。
   • サブレッド埋め込み: 特定のサブレッドのための学習された 32 次元の埋め込みです。
   • 融合: これらのストリームは連結 (1632 次元) され、256 次元に射影され、年ごとのエンゲージメント規範のシフトを考慮するために、学習された年埋め込み ($e_y$) と残差接続を介して融合されます。

2. クロスアテンションブロック:

   • トレンド行列 ($T_d$): 各日 $d$ について、上位 512 件のウィキペディアスパイク用語の 7 日間のスライディングウィンドウが構築されます。これらの用語は $512 \times 768$ の行列にエンコードされます。
   • メカニズム: 投稿エンコーディング $p$ が、トレンド行列のキーと値 ($K, V$) に対する単一トークンクエリ ($Q$) として機能します。4 ヘッドのマルチヘッドアテンション機構 (MHA) により、モデルは投稿内容と意味的に最も整合性の高い、最近の公衆関心トピックのサブセットを選択的に注目できます。
   • 出力: 生成されるコンテキストベクトル $c$ (256 次元) は、投稿と現在のトレンド間の整合性を捉えます。

3. 分類器: 投稿エンコーディングとコンテキストベクトルの連結 ($[p; c]$) が、バイラルなログオッドを生成するために 2 つの隠れ層を持つ多層パーセプトロン (MLP) に渡されます。モデルは、深刻なクラス不均衡（陽性率 9.7%）に対処するためにフォカルロス ($\alpha=0.25, \gamma=2.0$) を使用して訓練されます。

主要な貢献

1. トレンド整合シグナル: ウィキペディアのページビュースパイクから導出された投稿レベルのトレンド整合シグナルの導入。個々の投稿レベルで統計的に有意であることが実証されました。
2. ViralityNet アーキテクチャ: 学習された年埋め込みとサブレッド埋め込みを付加し、日次スライディングウィンドウトレンド行列に基づいて投稿表現を条件付ける、新規なクロスアテンションアーキテクチャ。
3. 体系的なアブレーション: 時間的コンテキスト（年埋め込み）、外部トレンド（クロスアテンション）、およびそれらの組み合わせの寄与を解きほぐす研究。

結果

モデルは、118,331 件の投稿（バイラル 11,459 件）からなるホールドアウトテストセットで評価されました。主要な指標は AUC-PR であり、AUC-ROC と F1 は F1 最適化された固定閾値 0.31 で報告されます。

• 性能向上: 完全な ViralityNet モデルは、AUC-PR 0.3584、AUC-ROC 0.8355 を達成しました。
• ベースラインとの比較:
  • テキストのみ: AUC-PR 0.3431。
  • テキスト + 年: AUC-PR 0.3554 (+0.012 の改善)。
  • テキスト + トレンド: AUC-PR 0.3476 (+0.005 の改善)。
  • 完全モデル: AUC-PR 0.3584（テキストのみの場合より +0.015 の改善）。
• コンポーネント分析: 年埋め込みが最も有意な改善 (+0.012) に寄与しました。これは 2021 年から 2023 年にかけてのエンゲージメント規範のシフトに起因します。トレンドクロスアテンションは、テキスト + 年ベースラインに対して +0.003 と、より小さいながらも一貫した補完的な改善を提供しました。
• サブレッドの分散: 性能はコミュニティによって変動しました。ウィキペディアのトレンドと強いトピック的重なりを持つサブレッド（例：r/technology, r/stocks）は、最も高い AUC-PR (>0.39) を示しました。内部文化によって駆動されるコミュニティ（例：r/gaming, r/wallstreetbets）は、外部信号を用いた予測がより困難でした。
• 閾値感度: クラス不均衡のため、デフォルトの 0.5 閾値は低い再現率 (2.7%) を生み出しました。閾値を 0.31 に引き下げることで、再現率は 53.0% に向上し、精度は 31.9% となりました。これは、レビュー用の候補バイラル投稿を表面化させるのに適しています。

意義と主張

本論文は、外部注信号を取り入れることが、テキストのみのベースラインに対して測定可能な改善をもたらすと主張しており、バイラル性はコンテンツのみによって決定されるのではなく、現実世界のダイナミクスとの整合性によって決定されるという仮説を検証しています。

• 整合の証拠: 結果は、同時代の公衆の注目スパイクと意味的に整合した投稿は、バイラル化する可能性が測定可能に高いことを示唆しています。
• 相補性: 外部信号（ウィキペディアのトレンド）は、特にバイラル性が内部文化ではなく外部イベントによって駆動されるコミュニティにおいて、プラットフォーム内の機能に対する有用な補完として機能します。
• 控えめだが一貫した: 著者らは、改善を「控えめだが一貫した」と特徴付け、トレンドシグナル単独は時間的コンテキスト（年）に比べて支配的な要因ではありませんが、完全なモデルを最高性能に導くことを指摘しています。
• 限界: 著者らは明示的に、本モデルが測定しているのは同時的な整合であり、先行予測ではないと述べています。エンゲージメントデータの静的な性質（初期速度の欠如）、パイプラインのヒューリスティックな設計、特定のサブレッド選択に起因する潜在的な一般化可能性の問題について限界を認めています。また、そのような予測能力が理論的には分極化されたコンテンツやスパムの拡散を最適化するために誤用される可能性という、より広範な影響への懸念も強調しています。