TruthStance: Truth Social における会話の注釈付きデータセットに関する技術的概要

本論文は、オルタナティブ・テック（alt-tech）プラットフォームである「Truth Social」の会話スレッドを対象とした大規模なデータセット「TruthStance」と、それを用いた議論マイニング（Argument Mining）および主張ベースのスタンス検出（Stance Detection）に関する研究を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 研究背景と問題定義

• 既存研究の限界: 従来の議論マイニングやスタンス検出の研究は、Twitter や Reddit などの主流プラットフォームに偏っており、オルタナティブ・テックプラットフォーム（Truth Social, Gab, Parler など）における会話構造は十分に研究されていません。
• データ不足: Truth Social に関する既存のデータセットは、孤立した投稿（ポスト）に限定されており、リプライ構造（会話ツリー）が欠落しています。これにより、対話的な現象（異論、説得、スタンスの進化など）を分析することが不可能でした。
• 課題: 深いネストされたリプライ（子コメントに対する子コメントなど）におけるスタンスを、親の主張に対して正しく推論することの難しさ。従来の教師ありモデルはドメイン外（Truth Social 特有のイデオロギー）への一般化が困難でした。

2. 手法とデータセット構築

データ収集と前処理

• 基盤データ: Shah et al. (2024b) が公開した Truth Social の投稿データセット（2023-2025 年、約 77 万件の投稿）を基盤としました。
• 拡張収集: 独自のスクリプトを用いて、フィルタリングされた全投稿に関連する523,360 件のコメントを収集し、完全なリプライツリー構造を復元しました。
• メタデータ: フォロワー数、フォロー数、ユーザーの認証ステータスなどの著者レベルのメタデータを追加しました。
• 最終データセット: 24,352 件のルート投稿と、それらに付随する 523,360 件のコメントから構成されます（2023-2025 年）。

アノテーションパイプライン

人間のアノテーションと大規模言語モデル（LLM）を組み合わせ、以下の 2 段階でラベリングを行いました。

1. 議論マイニング（Argument Mining）:

   • タスク: 投稿が「主張（Claim）」と「前提（Premise）」を含む議論を含んでいるか否かを二値分類。
   • 人間アノテーション: 750 件の投稿を人間が注釈（Cohen's κ = 0.70）。
   • LLM 適用: 最適なプロンプト戦略を用いて、全 24,352 件の投稿にラベルを付与。

2. 主張ベースのスタンス検出（Claim-based Stance Detection）:

   • タスク: コメントが、直前の親（投稿またはコメント）の主張に対して「支持（FOR）」「反対（AGAINST）」「中立（NEUTRAL）」のいずれであるかを分類。
   • 人間アノテーション: 750 件のコメントを注釈（Cohen's κ = 0.76）。
   • LLM 適用: 107,873 件のコメントに LLM によるラベルを付与。
   • スタンスの伝播: 会話ツリーを再帰的に走査し、各コメントのルート投稿に対するスタンスを推論しますが、中間の「中立」コメントがある場合、その下の枝のルートに対するスタンスは定義されないとみなして除外しました。

モデル評価とプロンプト戦略

• 比較対象: Gemini-2.5-Flash, GPT-o3, DeepSeek-v3 の 3 種類の LLM と、従来の SVM ベースライン。
• プロンプト手法: Few-shot (FS), Chain-of-Thought (CoT), CoT+Few-shot (FSCoT) を比較。
• 結果: 議論マイニングとスタンス検出の両方で、Gemini-2.5-Flash を FSCoT プロンプトで用いた構成が最も高い性能（Macro-F1 および Accuracy）を示しました。

3. 主要な結果と分析

議論の予測要因

論理的回帰分析により、議論を含む投稿を予測する要因を特定しました。

• コンテンツ特徴: 最も強力な予測因子でした。
  • 毒性（Toxicity）: 毒性スコアが高いほど議論を含む可能性が高まる（オッズ比 5.02）。
  • センチメント: 否定的な感情（ネガティブなセンチメント）が強いほど議論を含む傾向があります。
  • 長さ: 文字数が多いほど議論を含む可能性が高まります。
• エンゲージメント: リツイート数（Retruths）はわずかに議論を促進しますが、効果は小さいです。
• ユーザー特性: フォロワー数が多いユーザーほど議論を作成する傾向があります。

スタンスの進化と分布

• トピック別: 「MAGA」「Trump」「Biden」「Democrats」などの政治的トピックが最も多くのコメントを集めましたが、トピックに関わらず、支持・反対・中立の分布は全体的に均一でした。
• 会話深度による変化:
  • 会話の深さ（リプライの階層）が増すにつれて、明確な「支持」や「反対」のスタンスは減少し、「中立」の割合が増加する傾向が見られました。
  • これは、議論が深まるにつれて、元の主張への直接的な関与が薄れ、話題の逸脱や会話維持へ移行している可能性を示唆しています。
• ユーザーのスタンスシフト: サンキー図による分析では、当初「支持」を示したユーザーは後続のターンで「中立」へ移行する傾向がある一方、「反対」を示したユーザーはスタンスを維持する傾向が強いことがわかりました（非対称なダイナミクス）。

4. 主要な貢献

1. TruthStance データセットの公開: Truth Social における 24,352 件の会話スレッド（52 万 3 千件のコメント）を含む大規模データセット。完全なリプライ構造とメタデータを保持。
2. 高品質なベンチマーク: 議論マイニングとスタンス検出のための 1,500 件の人間注釈データ（相互アノテーター一致率を含む）と、それを用いた LLM プロンプト戦略の評価結果。
3. 大規模 LLM 注釈の解放: 最適化された LLM 構成による、24,352 件の議論有無ラベルと 107,873 件のスタンスラベルを公開。
4. 実証的分析: Truth Social における議論とスタンスの動態（トピック、会話深度、ユーザー属性による違い）に関する新たな知見の提供。

5. 意義と将来の展望

• 学術的意義: 主流プラットフォームに偏っていた議論分析の領域を、オルタナティブ・テックプラットフォームへ拡大しました。特に、政治的に均質でイデオロギーが強いコミュニティにおける対話構造の理解に寄与します。
• 応用可能性:
  • プラットフォーム固有の議論マイニング・スタンス検出モデルのベンチマーク。
  • 対話ツリー内での異論の軌跡やスタンスの伝播の分析。
  • 感情（センチメント）や毒性が議論の質に与える影響の分析。
  • オンライン議論のモデレーション、分極化、審議プロセスの研究。
• 倫理的配慮: プライバシー保護（個人名の非公開）、データ最小化、非商用利用の制限、および潜在的な悪用（政治的プロファイリング等）への警告を含め、責任ある研究利用を推奨しています。

本論文は、LLM を活用して大規模な対話構造を解析する新しいアプローチを示すとともに、Truth Social という特定の文脈における政治的議論の特性を定量的に解明した点で重要な貢献を果たしています。