Angry but Accurate: Detecting and Profiling the Counter-Misinformation Ecosystem on Twitter

問題提起
ソーシャルメディアにおける誤情報（ミスインフォメーション）は公的な議論に対する重大な脅威となっているが、オンライン活動の相当部分は、虚偽の主張に対して積極的に反論する一般ユーザーによるものである。しかし、「カウンター・ミスインフォメーション・エコシステム」（誤情報を訂正するユーザーやコンテンツ）については、依然として十分に特徴付けられていない。この分野における支配的な仮説は、負の感情が虚偽の主要なシグネチャーであると示唆しており、それゆえに訂正コンテンツはより中立的であると考えている。さらに、既存の検出手法はURLやハッシュタグのサンプリングに依存することが多く、テキストのみの虚偽や、特定のタグが付与されていない虚偽を見逃してしまう可能性がある。誤情報に反対する者たちの言語的およびアカウントレベルの特徴を大規模に理解し、特に、訂正投稿の感情的・構造的プロファイルが、それが対象とする誤情報とどのように異なるのかを明らかにすることが求められている。

手法
著者らは、2020年から2021年におけるCOVID-19に関する大量のツイート・コーパスを用い、カウンター・ミスインフォメーション・エコシステムを検出しプロファイリングするための3段階のパイプラインを採用した：

1. データ取得とペアリング： 研究者らは、様々なソース（例：PolitiFact、Snones）から、ファクトチェック済みのCOVID-19に関する独自の虚偽の主張15,374件を集計した。BM25リトリーバルを用いて、これらの主張を大規模な公開Twitterデータセットに紐付け、1,537,400件の候補となる「主張とツイート」のペアを生成した。
2. スタンス検出（NLI）： COVID-19の誤報データで事前学習され、GPT-4o（制御可能な誤情報生成を通じて）によって生成された合成データで拡張された、ドメイン特化型の自然言語推論（NLI）モデルを適用した。このモデルは、テキストが主張に対して「支持（supporting）」、「反対（opposing）」、または「中立（neutral）」であるかを分類する。重複および曖昧なケースを除外した後、最終的な分析サンプルは264,737件のツイート（支持：195,922件、反対：68,815件）となった。
3. プロファイリングと比較： 研究では、プロ・ミスインフォメーション（誤情報を支持する）グループとアンチ・ミスインフォメーション（誤情報に反対する）グループの間で、23のユーザーおよびテキストレベルの特徴を比較した。特徴には以下が含まれる：
   • 感情： Demuxモデルを用いた、エクマンの6つの基本感情（怒り、嫌悪、恐怖、喜び、悲しみ、驚き）のスコア。
   • 毒性（Toxicity）： DeToxifyによる7つの毒性スコア。
   • ボットらしさ： Botometer X APIによるスコア。
   • ユーザー/テキスト属性： アカウントの作成時期、フォロワー数、リスト数、ツイートの長さ、および活動レベル。
   • 予測モデリング： 分離可能性を評価するため、これら23の特徴量のみに基づいてスタンスを予測するように訓練された機械学習分類器（ランダムフォレスト、XGBoostなど）。

主な結果
本研究は、カウンター・ミスインフォメーション・エコシステムの感情的および構造的プロファイルに関して、いくつかの直感に反する知見をもたらした：

• 感情的なトーン： 負の感情が虚偽の特徴であるという仮定に反して、誤情報に反対する投稿は、それを支持する投稿よりも有意に高いレベルの負の感情を示した。具体的には、反論ツイートは悲しみ（Cliff's $\delta = -0.125$）、怒り（$\delta = -0.098$）、および嫌悪（$\delta = -0.097$）において高いスコアを記録した。逆に、プロ・ミスインフォメーションのツイートは、より長い文章量と高いレベルの驚きによって特徴付けられた。
• ユーザー特性： 誤情報に反対するコンテンツを投稿するユーザーは、より「確立された」傾向があった。彼らは、誤情報を広めるユーザーと比較して、アカウントの作成時期が古く、フォロワー数が多く、リスト数も高く、全体的な活動量（ツイート数/リツイート数）も多かった。
• ボット活動： ボットらしさのスコアは両グループを明確に区別しておらず、このデータセットにおいては、自動化されたアカウントがどちらか一方の側に不均衡に集中しているわけではないことを示唆している。
• 予測の分離能： これらの特徴量に基づいて訓練された機械学習モデルは、偶然を上回るほどではあるが、一貫した精度でプロ・およびアンチ・ミスインフォメーションのスタンスを判別することができた（ランダムフォレスト $F1 = 0.632$、精度 = 0.620）。SHAP分析により、悲しみ、嫌悪、および短いツイートの長さが、「反対」のスタンスの強力な予測因子であることが確認された。

意義と主張
本論文は、訂正投稿がターゲットとなる誤情報よりも感情的にネガティブであることが多いということを、大規模かつ離散的な感情測定によって示した初めての事例であると主張している。著者らは、この発見は「負の感情は誤情報の信頼できるシグナルである」という一般的なヒューリスティック（経験則）に異を唱えるものであると述べている。

主な意義は、プラットフォームのガバナンスとコンテンツ・モデレーションへの示唆にある。著者らは、感情的に高ぶったコンテンツを潜在的な誤情報としてフラグ立てするシステムが、正当な訂正の言説や、カウンター・ミスインフォメーション・エコシステムの基盤となる確立されたユーザー層を不当に抑制してしまう可能性があると警告している。本研究は、誤報に対抗するためには、単に虚偽のコンテンツを抑制することだけでなく、それに反応して発生する訂正コンテンツを理解する必要があることを示唆している。

限界
著者らはいくつかの制約についても述べている。本研究はTwitter上のCOVID-19に限定されており、他のトピックや時代への一般化には限界がある可能性がある。感情およびボット検出のための学習済みモデルへの依存は、潜在的なバイアスを導入する可能性がある。NLI分類器は堅牢ではあるものの不完全であり、また、訓練のためにLLM生成の合成データを使用することは、タスクの反転（task flipping）や特定のコンテンツタイプの過小評価のリスクを伴う。最後に、観察されたグループ間の差異は個々のツイートレベルでは緩やかなものであり、これらの特徴量は個別のツイートに対する信頼できるシグナルではなく、分布的な傾向を反映しているものである。