技術サマリー：SURGE – イベント中心のソーシャルメディア感情時系列ベンチマーク

1. 問題定義

ソーシャルメディア上の公共イベント（自然災害、政治的紛争、技術リリースなど）は、膨大かつ断片的な議論を生成し、その集合的なダイナミクスは世論予測や危機対応にとって極めて重要です。効果的な予測モデリングには、これらの議論をイベントのライフサイクルと整合するイベントレベルの時系列に整理する必要があります。しかし、既存のリソースは以下の 3 つの同時的な要求を満たすことができません：

1. イベントレベルの整理: 多くのデータセットは、議論そのものではなく、ユーザーや気象などの外生的なドライバーに対するアンカー信号によってデータを整理しています。
2. 相互作用構造: 既存の時系列データは、ソーシャルダイナミクスが相互作用構造と密接に結合しているという事実にもかかわらず、投稿間の返信やリポストのトポロジーを破棄することが多いです。
3. マルチモーダル整合性: マルチモーダル予測データセットは存在しますが、そのテキストソース（ニュース、財務報告書など）は、ソーシャルメディア特有のユーザー間返信チェーンを欠いており、テキストを相互作用信号ではなく、外生的な副次的なチャネルとして扱っています。

その結果、集合的世論ダイナミクスに対する相互作用構造の予測価値は未検証のままであり、イベントタイプ間の転移可能性を評価することは困難です。

2. 手法：SURGE ベンチマーク

SURGE は、イベントレベルの時間的シグナルと整合したテキストおよび相互作用構造を組み合わせるために設計された、マルチイベントのソーシャルメディアベンチマークです。

2.1 データ収集と処理

• 範囲: データセットは、自然災害、政治イベント、社会運動、技術リリース、スポーツ/エンターテインメントの 5 カテゴリにまたがる67 の公共イベントを網羅しています。
• ソース: データはTwitter、Reddit、Threadsから集約され、817,442 件の投稿（初期の生データ収集では約 126 万件）で構成されています。
• 前処理:
  • フィルタリング: 投稿は重複を除去し、短いテキスト、絵文字/URL の支配、非英語コンテンツを除外するためにフィルタリングされます。
  • 活動期間の検出: イベントは「活動期間」にトリミングされ、希薄な環境雑音を除外して、時系列が真のエンゲージメントを反映するようにしています。
  • 感情アノテーション: 投稿はQwen3-32Bを用いたゼロショット手法で、ポジティブ、ニュートラル、ネガティブにラベル付けされます。これらは数値スコア $\{+1, 0, -1\}$ にマッピングされます。
  • 検証: 3,000 件の投稿に対する層化された人間による検証研究により、アノテーター間のコホンの $\kappa$ が 0.74、LLM ラベルとの一致率が 86.5% であることが確認され、体系的なバイアスは $|\mu| \le 0.05$ に抑えられていました。

2.2 時系列の構築

このベンチマークは、1 日、12 時間、6 時間の 3 つの時間粒度でカレンダー整合された時系列を構築します。

• ターゲット: 各時間ビン $t$ に対して、2 つのターゲット変数が導出されます：
  1. 議論強度 ($c_t$): ビン内の投稿数。
  2. 感情極性 ($\bar{s}_t$): ビン内の投稿の平均感情スコア。
• 正規化: ターゲットは、イベント間のスケール差を処理するために、イベントごとの z スコア化によって正規化されます。
• テキストビュー: 各時間ビンは、同じ選択された投稿から導出された 2 つのテキストビューとペアになります：
  • フラットビュー: 役割マーカーなしで時系列順に線形化された投稿。
  • 構造化ビュー: 明示的な役割マーカー（親/子）を備えた返信チェーンに整理された投稿。リポストは返信のような相互作用として扱われます。

2.3 評価プロトコル

SURGE は 4 つのベンチマークプロトコルを定義します：

1. 数値のみの予測: 過去の時系列のみを使用して将来の値を予測する。
2. テキスト拡張予測: 過去の時系列に加えテキストを使用して予測する（No-Text、Flat、Structured の各設定でテスト）。
3. 構造認識評価: 最も返信密度が高く（相互作用が高い）時間ビンの性能を特に評価する指標（$MAE_{reply}(k\%)$）。
4. カテゴリ間一般化: 5 つのイベントタイプ間の転移可能性をテストするための「1 カテゴリ除外」プロトコル。

3. 主要な貢献

1. SURGE データセット: イベントレベルのマルチイベントカバレッジ、プリビルド時系列、ビン整合テキストビュー、明示的ソーシャル相互作用構造（返信/リポストエッジ）を同時に提供する最初のベンチマーク。
2. 評価フレームワーク: 構造認識指標とカテゴリ間一般化テストを含む包括的なプロトコル群。既存のソーシャルメディアおよびマルチモーダル予測データセットのギャップに対処する。
3. 参照実装: タイプ付き投稿トークンとスレッド埋め込みを取り込むためにクロスモーダル注意を利用する軽量な構造認識プローブ（CMA）。将来の相互作用認識モデルのための参照として機能する。

4. 実験結果

著者は、代表的な時系列予測（TSF）モデル（線形、Transformer、CNN、LLM ベース、拡散ベース）およびマルチモーダルベースラインを評価しました。

• 強い局所持続性: 単純なベースライン（最終値、移動平均）は、すべての粒度において平均絶対誤差（MAE）の下で打ち負かすことが困難なままです。これは、最良の短期予測がしばしば最新の観測値である「強い局所持続性レジーム」を示しています。学習モデルは予測を平滑化することで平均二乗誤差（MSE）を削減することが多いですが、MAE を改善することはできません。
• テキスト拡張モデルの転移の限界: 既存のマルチモーダル TSF モデル（ニュース/財務テキスト向けに設計）は、ソーシャルメディアデータに適用された際に限られた頑健性を示します。数値のみのベースラインに対して一貫して改善されることはなく、その性能はテキストの構造的形態（フラット対構造化）に対して鈍感です。
• 相互作用密度の重要性: 構造認識指標（$MAE_{reply}$）は、返信密度の高い期間が本質的に予測が難しいことを明らかにしています。これらの高密度スライスにおけるモデルのランキングは、集計指標におけるランキングとは分岐し、高い相互作用期間においてモデルが最も失敗していることを示唆しています。
• 一般化の非対称性: カテゴリ間転移は構造的に非対称です。自然災害は一般化が最も難しいカテゴリであり、社会運動は最も容易です。難易度はターゲット変数（強度対感情）によって大きく異なります。

5. 意義と主張

本論文は、SURGE を新しい予測モデルの提案としてではなく、イベント駆動型ソーシャルメディア予測のためのストレステストとして位置づけています。その意義は、このドメインの 3 つの基本的な性質を露呈することにあります：

1. 持続性は強いが不十分である: 現在の最適化目的（MSE）は、イベント駆動型時系列における中央傾向の精度（MAE）を改善することなく、大きな偏差を抑制する可能性があります。
2. テキストは自動的に有用ではない: ソーシャルメディアテキストの内部構造（返信チェーン）は、財務/ニュースデータセットの単方向テキストとは根本的に異なります。マルチモーダルモデルが効果的であるためには、この相互作用構造を明示的に処理するように設計される必要があります。
3. 評価レジームは密度によって異なる: 集計指標は、高い相互作用期間におけるモデルの失敗を隠蔽します。このベンチマークは、既存の手法が特に危機対応や世論監視にとって最も重要なシナリオで不十分である軸（相互作用密度とカテゴリシフト）を提供します。

著者は、SURGE が相互作用認識予測の研究を進展させるために必要なデータ、プロトコル、診断測定を提供し、より強力なモデルの設計は将来の課題として残されると結論付けています。