AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection

本論文は、意味的曖昧性の解消と構造的局所化の分離を可能にする動的識別連鎖思考（DD-CoT）と「反エコーチェンバー」アーキテクチャを導入し、心理言語学的マーカーの抽出と陰謀論の支持検出を統合的に処理する新しいエージェント型 LLM パイプラインを提案し、SemEval-2026 タスク 10 で高い性能を達成したことを報告するものである。

要約

この論文は、**「AI が conspiracy 陰謀説（陰謀論）を見分けるための新しい仕組み」**について書かれています。

通常、AI は「陰謀説っぽい言葉が含まれていれば、それは陰謀説だ！」とすぐに判断してしまいがちです。しかし、実際には「ニュースが『ある人が陰謀説を主張している』と報じているだけ」の場合もあります。これを混同してしまうと、AI は間違った判断を下してしまいます。

この研究チーム（NTUA の AILS 研究所）は、**「単一の AI ではなく、複数の AI 役者がチームになって議論する」**という新しい方法を開発しました。

以下に、難しい専門用語を使わず、身近な例え話で説明します。

---

🕵️‍♂️ 物語：「陰謀論探偵団」の活躍

このシステムは、2 つの大きな任務（タスク）をこなすために、2 つの異なるチームで構成されています。

1. タスク 1：「証拠の切り抜き」チーム（S1）

役割： 文章の中から「陰謀説のヒント（マーカー）」を正確に切り取ること。
例： 「政府が隠している」「彼らは計画している」といった部分です。

• 従来の AI の問題点：
  従来の AI は、文章を「一気呵成」に読んで、勘違いして間違った場所を切り取ったり、どこからどこまでが「証拠」なのかを曖昧にしたりしていました。まるで、**「速読で本を読み、適当に単語を抜き出す子供」**のようです。

• このチームの新しい方法（DD-CoT）：
  ここでは、**「疑い深い探偵」と「厳格な編集者」**の二人組を作りました。

  1. 探偵（Generator）： 「ここは証拠だ！」と提案します。
  2. 編集者（Critic）： 「待てよ、本当にそうか？『彼らが』ではなく『彼らに』ではないか？」と厳しくチェックします。
  3. 編集者（Refiner）： 探偵の提案を修正し、**「原文と一字一句同じ」**になるように正確に切り取ります。

  🌟 アナロジー：
  これは、**「料理のレシピ作り」**に似ています。
  従来の AI は「材料を適当にすくい取る」感じでしたが、新しい方法は「まず『何が必要か』を議論し（探偵）、次に『正確に計量して切る』（編集者）」という手順を踏むので、失敗が激減しました。

2. タスク 2：「陰謀説かどうかの判定」チーム（S2）

役割： その文章が「陰謀説を信じている（支持している）」のか、単に「ニュースとして報じているだけ」なのかを判断すること。
例： 「『地球は平らだ』という噂がある」という文は、陰謀説を信じているわけではありません。

• 従来の AI の問題点（レポーターの罠）：
  従来の AI は、**「陰謀説という言葉が出てきたら、すぐに『支持している』と判断する」というミスをしていました。
  🌟 アナロジー：
  これは、「ニュース速報を聞いただけで、その内容を信じていると勘違いする人」のようです。「『殺人事件が起きた』とニュースが報じている」のを聞いて、「お前が犯人だ！」と勘違いしてしまうようなものです。これを「レポーターの罠（Reporter Trap）」**と呼んでいます。

• このチームの新しい方法（Anti-Echo Chamber）：
  ここでは、**「裁判所」**のような仕組みを作りました。

  1. 検察官（Prosecutor）： 「これは陰謀説だ！証拠がある！」と主張します。
  2. 弁護人（Defense）： 「待て！これは単なる報道だ。信じているわけではない！」と反論します。
  3. 文字通り主義者（Literalist）： 「文章に書かれていることだけを厳格に読む」という役割です。
  4. 心理 profiler（Profiler）： 「書き手の態度や感情」を分析します。

  これら 4 人が**「互いに相手の意見を見ずに」独立して判断し、最後に「裁判長（Judge）」**が全員的意见をまとめて最終決定を下します。

  🌟 アナロジー：
  これは、「喧嘩する前に、反対意見を持つ友達と議論する」ようなものです。
  一人で「これは間違いだ！」と決めつけるのではなく、「いや、違う見方もあるのでは？」と反対意見を出す人がいることで、「単なる報道を『支持』と勘違いするミス」が劇的に減りました。

---

🏆 結果：なぜこれがすごいのか？

この新しい「チームワーク型 AI」は、従来の AI と比べて驚くほど良い結果を出しました。

• タスク 1（証拠の切り抜き）： 精度が2 倍にアップしました。
• タスク 2（支持の判定）： 精度が約 50% 向上しました。

特に重要なのは、**「AI が自分で自分の間違いを修正する」**という点です。

• 従来の AI：「これが答えだ！」と自信満々に間違える。
• 新しい AI：「待て、これは違うかもしれない。反対意見を考えてみよう」と議論して、正しい答えにたどり着く。

🚀 まとめ

この論文が伝えたいことは、**「AI をもっと賢くするには、単に頭が良い AI を使うのではなく、『議論するチーム』を作ることが重要だ」**ということです。

• 探偵と編集者のチームが、文章の「どこが重要か」を正確に切り取る。
• 裁判所のチームが、「それは本当に信じているのか、ただ報じているだけか」を慎重に議論する。

このように、**「役割を分けて、互いにチェックし合う」**という仕組みを作ることで、AI は人間の心理や言葉のニュアンスを、これまでになく深く理解できるようになったのです。

これは、AI が単なる「答えを出す機械」から、「考えを巡らせるパートナー」へと進化するための重要な一歩と言えます。

技術概要

SemEval-2026 タスク 10「心理言語学的な陰謀マーカ抽出と陰謀支持検出」における AILS-NTUA チームの提出論文「Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection」の技術的サマリーは以下の通りです。

1. 問題定義と背景

本論文は、陰謀論の言語的メカニズムを解釈可能かつ高精度に分析する課題に焦点を当てています。従来の陰謀論検出タスクは、文書全体を「陰謀論的か否か」で粗く分類するものに限られており、陰謀的思考がどのように言語化されているか（どの部分にどのような心理言語的マーカーが存在するか）という微視的な分析が不足していました。

SemEval-2026 タスク 10 は以下の 2 つのサブタスクを定義しています：

• S1（陰謀マーカ抽出）: 進化的心理学に基づいた陰謀の構造的要素（ACTOR: 行為者、ACTION: 行為、EFFECT: 結果、VICTIM: 犠牲者、EVIDENCE: 証拠）をテキストから抽出し、文字レベルの位置を特定する。
• S2（陰謀支持検出）: レッドット投稿が陰謀論を「支持している（endorsement）」のか、単に「報告・論評している（neutral reporting）」のかを判別する。

特に S2 において、陰謀論の話題を扱っているだけで「支持」と誤判定する「レポーターの罠（Reporter Trap）」や、受動態における行為者と犠牲者の混同（例：「公衆が操作された」において「公衆」を行為者として誤認識する）が主要な課題となっています。

2. 提案手法：エージェント型 LLM パイプライン

従来の単一モデルによる分類ではなく、「意味的推論」と「構造的局所化」を分離した、多段階のエージェント型ワークフローを提案しています。

A. S1: マーカ抽出（DD-CoT と決定論的検証）

• Dynamic Discriminative Chain-of-Thought (DD-CoT): 従来の動的 CoT を拡張し、各候補スパンに対して「なぜこのラベルなのか」という根拠だけでなく、「なぜ他の類似ラベル（例：ACTOR ではなく VICTIM）ではないのか」という**対立論（Counter-argument）**を明示させることで、意味的曖昧性を解消します。
• 自己改善ループ（Self-Refine）: 生成器（Generator）、批評家（Critic）、修正器（Refiner）の 3 つのノードを順次実行し、スパンの境界やラベルの精度を向上させます。
• 決定論的検証（Deterministic Verifier）: LLM が生成したテキスト文字列を、元の文書に対して厳密な文字一致（Exact Matching）や正規化処理を通じて文字オフセットに変換します。これにより、LLM 特有の「幻覚（Hallucination）」によるスパン位置のズレを防ぎ、高精度な抽出を実現します。

B. S2: 分類（Anti-Echo Chamber アーキテクチャ）

「レポーターの罠」を回避するため、単一の判断ではなく、対立的な視点を持つ複数のエージェントによる審議を行います。

• Forensic Profiler: 文書から「帰属動詞（according to, claimed など）」や「叫び声（ALL CAPS）」、「JAQing（Just Asking Questions 的な修辞的質問）」などの言語的シグナルを決定論的に抽出し、警告として出力します。
• Parallel Council（並列評議会）: 4 つの異なるペルソナ（検察官、弁護人、文字主義者、スタンス分析者）が、互いの出力を見ずに独立して投票を行います。
  • 検察官: 陰謀支持の証拠を探す。
  • 弁護人: 報告・風刺・批判である証拠（帰属表現など）を探す。
  • 文字主義者: 文脈を無視し、明示的な主張のみを基準にする。
  • スタンス分析者: 確信度やグループダイナミクスを分析する。
• Calibrated Judge（較正された裁判官）: 評議会の投票結果と Forensic Profiler の警告を統合し、曖昧な場合は「非支持（non）」に傾く保守的な判断基準を適用して最終判決を下します。

C. 対照的 Few-shot 検索（Contrastive Few-shot Retrieval）

• 単に類似した文書を検索するのではなく、「ハードネガティブ」（陰謀用語を含んでいるが、支持していない「非陰謀」文書）を意図的に検索し、プロンプトに含めます。これにより、モデルがトピックの類似性ではなく、スタンス（支持か報告か）の違いを学習することを強制します。

3. 主要な貢献

1. 初のエージェント型 LLM 手法の適用: 心理言語学的な陰謀マーカ抽出と支持検出に対する、エージェント型 LLM ベースの手法を初めて提案しました。
2. DD-CoT の提案: 明示的な対立論を導き出すことで、意味的曖昧性（特に行為者と犠牲者の区別）を解消する新しい推論フレームワークを開発しました。
3. ハイブリッド抽出アーキテクチャ: 意味的推論（LLM）と決定論的なスパン局所化（Deterministic Verifier）を分離することで、高い信頼性と文字レベルの正確性を両立しました。
4. Anti-Echo Chamber アーキテクチャ: 対立的な評議会と較正された裁判官により、陰謀論の話題を扱っているだけで誤って「支持」と判定される「レポーターの罠」を効果的に抑制しました。

4. 実験結果

• S1（マーカ抽出）: 開発セット（Dev）で Macro F1 0.24（ベースライン 0.12 から**+100%**の改善）、テストセットで 0.21。開発セットで 3 位。
• S2（陰謀検出）: 開発セットで Macro F1 0.79（ベースライン 0.53 から**+49%**の改善）、テストセットで 0.75。
• アブレーション研究:
  • DD-CoT により ACTOR の F1 が +2.7 ポイント向上。
  • 対照的検索（Contrastive Retrieval）により、S2 の偽陽性率（False Positive Rate）が 0.160 から 0.080 に半減しました。
  • 評議会（Parallel Council）の各役割（特に弁護人と検察官）を除去すると性能が大幅に低下し、アーキテクチャの相乗効果が確認されました。
• モデルの汎用性: 8B パラメータのオープンウェイトモデル（Qwen-3-8B）でも、アーキテクチャを簡略化することでベースラインと同等の性能を達成し、手法の移植性を示しました。

5. 意義と結論

本論文は、モデルの規模を拡大するのではなく、**「ワークフローの構造（エージェントの编排）」**を最適化することで、複雑な心理言語学的タスクの性能を劇的に向上させる可能性を示しました。

• 解釈可能性: 単なる分類結果だけでなく、どのマーカーが抽出され、どのエージェントがどのように判断したかを追跡可能にしています。
• 実用性: 陰謀論の拡散防止やファクトチェックにおいて、ニュアンス（報告 vs 支持）を正確に区別する能力は極めて重要です。
• 限界: 高度な文脈に依存する皮肉や「Poe's Law（極端な意見とパロディの区別がつかない現象）」への対応は依然として課題ですが、決定論的検証と対立的審議の組み合わせは、既存の単一モデルアプローチを大きく凌駕する成果を上げています。

総じて、この研究は NLP 分野において、大規模言語モデルを単なる「ブラックボックス分類器」としてではなく、構造化された推論プロセスを担う「エージェント」として活用する新しいパラダイムを示唆しています。