Conspiracy Frame: a Semiotically-Driven Approach for Conspiracy Theories Detection

1. 問題設定 (Problem)

陰謀論（Conspiracy Theories, CTs）は、権威への懐疑や公式見解への不信感を基盤とし、社会的対立や「情報秩序の乱れ（Information Disorder）」を引き起こす重要な現象です。自然言語処理（NLP）分野における陰謀論検出の研究には、以下の 2 つの主要な課題が存在します。

1. 定義と注釈の難しさ: 既存のデータセットの多くは、陰謀論を単なる「二値分類（陰謀論か否か）」や「多ラベル分類」として扱っています。しかし、陰謀論は偽情報（disinformation）やプロパガンダとは構造的に異なる特徴を持ち、単なるラベル付けではその構造やメカニズムを区別・理解することが困難です。
2. 一般化の欠如: 既存のリソースの多くは、COVID-19 やワクチン、特定の健康問題に特化しており、他のトピックや文脈への汎用性（Generalizability）が低いです。

したがって、陰謀論の「内容」だけでなく、その「構造的・形式的特徴」を捉え、トピックに依存しない汎用的な検出・理解を実現するアプローチが求められています。

2. 手法と提案 (Methodology)

本研究は、**フレーム意味論（Frame Semantics）と記号論（Semiotics）**を統合し、陰謀論の構造的な特徴を捉えるための新しい枠組みとデータセットを提案しています。

A. コンスピラシー・フレーム (The Conspiracy Frame)

記号論的な陰謀論の定義（Birchall, 2006; Leone et al., 2021）に基づき、陰謀論的ナラティブを以下の 5 つのフレーム要素（スパンレベル）で構成される構造として定義しました。

• コア要素:
  • Plan (計画): 悪意ある目的を達成するための事件、状況、または行動（例：「民族交代」「強制ワクチン」）。
  • Secret (秘密): 計画に「隠蔽性」や「秘密性」を与える要素（例：「真実を語る者を沈黙させている」「大手メディアが誤解を招いている」）。
• 非コア要素:
  • In-group (内集団): 被害者となる「私たち」（例：「クリスチャン」「先住ヨーロッパ人」）。
  • Out-group (外集団): 敵対する「彼ら」（例：「エリート」「メディア」）。
  • Call-to-action (行動喚起): 破滅的な結果を防ぐために何をするべきか（例：「抗議活動を行う」「これを許してはならない」）。

B. Con.Fra. データセットの構築

Telegram 上のメッセージを対象とした注釈付きコーパス「Conspiracy Frames (Con.Fra.)」を作成しました。

• データ収集: 陰謀論の拡散に利用される Telegram のチャネルから、多様なトピックを網羅するよう選定し、2 年間のメッセージを収集（計 11,618 チャンネルからトップ 35 チャンネルを抽出）。
• 注釈プロセス: 博士・修士課程の学生を対象としたワークショップ形式で、2,077 件のメッセージを注釈。
  • 陰謀論の判定と、上記 5 要素のスパン検出を実施。
  • 注釈者の一致度（Cohen's Kappa）は、陰謀論判定で中程度（0.41）、スパン検出では substantial（0.63〜0.81）でした。
• FrameNet へのマッピング: 注釈された「Plan」と「Secret」のスパンを、既存のフレーム意味論リソース「FrameNet」と照合し、抽象的な意味パターン（例：'Kinship', 'Ingest_substance'）を抽出しました。

C. 実験設定

大規模言語モデル（LLM: LLaMA-3.3 8B/70B）を用いて、以下の 3 つのプロンプト戦略で陰謀論検出とスパン検出を評価しました。

1. Zero-shot: 定義のみ提示。
2. Few-shot: 定義と注釈例（数件）を提示。
3. Frame-guided: 定義、注釈例、および FrameNet から抽出された意味フレームのヒント（例：'Self_motion', 'Commerce_buy'）を提示。

評価は、ドメイン内データ（注釈済みデータ）と、ドメイン外データ（未見の Telegram チャンネル）の 2 つで行われました。ドメイン外評価には、人間の評価者によるペア比較に基づいた ELO レーティングシステムを採用しました。

3. 主要な貢献 (Key Contributions)

1. Conspiracy Frame の提案: 陰謀論を「内容」ではなく「記号論的・構造的なフレーム」として捉える新しい表現形式を確立。
2. Con.Fra. データセットの公開: スパンレベルで注釈された Telegram コーパス（2,577 件）を提供。これにより、陰謀論の構造的理解と汎用的な検出研究が可能になります。
3. LLM によるフレームの役割の検証: フレーム意味論を LLM の推論に組み込むことが、陰謀論検出の性能向上と説明可能性にどう寄与するかを実証的に分析しました。

4. 結果 (Results)

自動検出性能

• モデルサイズ: 70B パラメータモデルは 8B モデルより性能が優れていましたが、差は中程度でした。
• プロンプト戦略（ドメイン内）:
  • 分類タスク: Zero-shot、Few-shot、Frame-guided のいずれも F スコアは同等でした。ゼロショットは精度（Precision）が高く、Few-shot/Frame-guided は再現率（Recall）を向上させました。しかし、FrameNet のヒント注入は分類性能の明確な向上には寄与しませんでした。
  • スパン検出タスク: Zero-shot は全要素で最悪の性能でした。Few-shot と Frame-guided が優れており、特に「In-group」や「Call-to-action」の検出において Frame-guided が、一方「Out-group」では Few-shot がわずかに優れるなど、要素によって最適な戦略が異なりました。

ドメイン外評価 (Out-of-Domain)

• モデルサイズ: 70B モデルが 8B モデルを圧倒的に上回りました（分類タスクで 1,000 回中 998 回、スパン検出で 982 回で勝者）。
• フレームの役割:
  • 分類: Frame-guided アプローチが Few-shot よりも優れる傾向（830/1,000）が見られました。
  • スパン検出: 逆に、Few-shot アプローチの方が Frame-guided よりも優れる傾向（213/1,000）が見られました。
• 質的評価: 人間の評価者は、**「スパンの完全性（物語の全体像を捉えているか）」と「構造的精度」**を重視しました。
  • Frame-guided モデルは、複数の関連スパンや詳細なメカニズムを特定する能力に優れていましたが、文脈を過剰に含めたり、Plan と Secret を混同したりするエラーも見られました。
  • Few-shot モデルは、因果関係の包括的な記述を捉える一方で、フレームガイドモデルが捉える「暗黙的な秘密」の解釈には欠ける場合がありました。

定性的分析 (FrameNet マッピング)

• 人間と LLM の両方で頻出するフレームは、政治的・制度的文脈（'POLITICAL_LOCALES'）や、公式見解への対抗（'STATEMENT'）を示すものでした。
• LLM が検出した特有のフレーム（'INGEST_SUBSTANCE', 'FIREFIGHTING'）は、陰謀論が「侵攻」「感染」「戦争」のメタファーとして機能していることを示唆しています。
• 一方で、陰謀論の核心である「秘密」や「計画」をより抽象的な概念として捉えるフレームとの接続は十分ではなく、より高度な意味論的統合の必要性が示されました。

5. 意義と結論 (Significance & Conclusion)

本研究は、陰謀論検出を単なるトピック分類から、記号論的構造に基づく意味的理解へと転換させる道筋を示しました。

• 理論的意義: 陰謀論が特定のトピックに依存せず、「秘密の計画による被害」という構造的パターンで機能することを、フレーム意味論を用いて実証しました。
• 実用的意義: 既存の LLM に対して、フレーム情報を注入するだけで即座に性能が劇的に向上するわけではありませんが、**「説明可能性（Explainability）」**の向上や、より構造的なナラティブの理解に寄与する可能性があります。
• 将来展望: 今後の研究では、FrameNet のフレームを知識グラフとして構造化し、LLM のファインチューニングや事前学習に組み込むことで、表面的なヒントではなく、深層的なフレーム推論をモデルに内化させることを目指します。

総じて、この研究は、複雑で多様な陰謀論ナラティブを、その構造的・意味的本質から捉え直すための重要な基盤（データセットと理論的枠組み）を提供しています。