💬 NLP

UCSC NLP at SemEval-2026 Task 10: Boundary-Aware Span Extraction and RoBERTa Classification for Conspiracy Detection

UCSCのNLPチームによるSemEval-2026 Task 10 (PsyCoMark) 用のシステムは、陰謀論的なマーカーおよび文書を検出するために、ハードネガティブサンプリングを用いた境界認識型スパン抽出とRoBERTaベースの分類を採用しており、エンティティのような役割の堅牢な検出と抽象的な役割の境界における感度の高さを浮き彫りにしながら、それぞれ7位および11位の順位を獲得した。

原著者： Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

公開日 2026-07-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、指紋を探す代わりに、ある物語が「陰謀論」のように感じさせる特定の「材料（成分）」を探し出す探偵だと想像してください。この論文は、UCサンタクルーズのチームが、SemEval-2026というコンペティションのために、まさにそれを行うコンピュータプログラムをどのように構築したかを説明しています。

以下は、彼らの研究内容を簡単な比喩を用いて分解したものです。

2つの主要な任務

このコンペティションには2つの明確な課題があり、チームは2人の別々の「探偵エージェント（AIモデル）」を用いてこれに取り組みました。

1. 材料ハンター（サブタスク1）

目標： 文の中で陰謀論の役割を果たす特定のパーツを見つけ出すこと。その役割とは以下の通りです：
- アクター（実行者）： 誰が悪事を働いているのか？
- ヴィクティム（犠牲者）： 誰が被害を受けているのか？
- アクション（行動）： 何という悪事が行われているのか？
- エビデンス（証拠）： 何が「証拠」として提示されているのか？
- エフェクト（影響）： どのような恐ろしい結果が生じているのか？
課題： 単に「ジェフリー」という単語を見つけるだけでは不十分です。コンピュータは、そのフレーズがどこで始まり、どこで終わるのかを正確に知る必要があります。例えば、「アクション」は単に「ネタを明かした（spilled the beans）」だけなのか、それとも「モサドの作戦に関するネタを明かした（spilled the beans on the Mossod operation）」というフレーズ全体なのか、といった具合です。
トリック： チームは、コンピュータに「境界線の完璧主義者」になるよう教えました。彼らはこう指示しました。「もしフレーズの始まりや終わりを少しでも間違えたら、それはカウントしない」。また、**ハード・ネガティブ・マイニング（Hard-Negative Mining）**という手法も使用しました。これは、先生が生徒に猫の写真を見せて「これは猫です」と言った後、猫に似た非常にふわふわした犬の写真を見せて「これは猫ではありません」と言うようなものです。これにより、コンピュータは、真の陰謀論のマーカーと、一見それらしく見えるものの実際にはそうではないフレーズとの間の微妙な違いを見分ける方法を学びました。

2. ストーリー判事（サブタスク2）

目標： ドキュメント全体を読み、それが「陰謀論であるか」「間違いなくそうではないか」、あるいは「判断不可能か」を判定すること。
トリック： このモデルは、最初の探偵が見つけた特定の材料は見ません。代わりに、人間の読者のように物語全体を読み、全体の「雰囲気」やトーンを探ります。このモデルは、批判的なニュース報道（アクターやヴィクティムに言及することもありますが、陰謀論ではありません）と、真の陰謀論のナラティブ（同じ役割を用いながらも、疑わしく秘密めいたトーンを持っているもの）を区別することを学びました。

彼らがどのように行ったか

チームは、RoBERTaという強力なAIの脳を使用しました。これは、インターネット上のほぼすべての文章を読み、言葉がどのように組み合わさるかを理解している、非常に博識な司書のようなものだと考えてください。

材料ハンターに対して： 彼らは単に司書に単語を一つずつラベル付けするよう求めたのではありません。代わりに、あらゆる可能なテキストの塊（最大32単語まで）をチェックし、「この塊は『エビデンス』の定義に合致するか？」と問いかけました。彼らは、司書がこれらの塊の開始地点と終了地点に対して極めて厳格になるよう訓練しました。
ストーリー判事に対して： 彼らは物語全体を司書に読み込ませ、「はい」「いいえ」「おそらく（Maybe）」のいずれかの判定を下すよう求めました。

結果

チームが公式コンペティションに彼らの探偵たちを投入した結果：

材料ハンターは、全チームの中で7位となりました。名前のような「アクター」や「ヴィクティム」を見つけることには非常に長けていましたが、「アクション」や「エフェクト」のような、より抽象的で境界線が曖昧な部分については苦戦することがありました。
ストーリー判事は12位でした。これは、陰謀論の物語と通常のニュースの物語の違いを見分けることにかなり優れていました。

彼らが学んだこと（「アハ！体験」）

精密さは困難である： コンピュータが犯した最大のミスは、フレーズの始まりや終わりをわずかに間違えることでした。例えば「エビデンス」が「report（報告）」という単語であった場合、コンピュータは時として「a report」や「according to a report」と予測してしまいました。コンペティションのルールは厳格であり、正確な単語が得られなければ、得点はゼロとなります。
二人の頭は、別々に機能する方が良い（分離の利点）： チームは、二人の探偵が作業中に互いに情報をやり取りしないように決定しました。彼らは、「もし最初の探偵がミスをした場合、二番目の探偵がそのミスによって混乱してしまうことを防ぎたい」と考えたのです。彼らは両者を分離させ、最後に回答を統合することにしました。
「判断不能」の問題： コンペティションには「判断不能（Can't tell）」という第3の選択肢がありました。しかし、最終的な採点ルールではこのカテゴリーは無視されました。このため、決勝戦でのルールが練習時とわずかに異なっていたため、テスト当日のコンピュータのパフォーマンスの見え方は、練習時とは異なるものとなりました。

まとめ

UCサンタクルーズのチームは、非常に精密な編集者であり、かつ鋭い観察者として機能するシステムを構築しました。彼らは、コンピュータが陰謀論の「材料」を特定することには長けてきているものの、それらの材料の正確な「境界線」を捉えることには依然として苦労していることを示しました。しかし、物語が陰謀論であるかどうかを判断するために、物語全体の「ムード」を感じ取る能力については、かなり優れていると言えます。

技術要約: SemEval-2026 Task 10 (PsyCoMark) における UCSC NLP の取り組み

問題定義

本論文は、英語テキストにおける陰謀論的ナラティブ（物語）の検出に焦点を当てた SemEval-2026 Task 10 (PsyCoMark) を扱う。このタスクは、以下の2つの明確なサブタスクに分かれている：

サブタスク 1 (陰謀マーカー抽出): 5つの特定の意味役割（Actor (行為者)、Action (行為)、Effect (影響)、Evidence (証拠)、Victim (被害者)）に対応するテキストのスパンを特定し、抽出すること。課題は、これらの役割の構造が陰謀論的な言説と非陰謀論的な（批判的な）言説の両方に現れる点にある。その区別は、単なる役割の存在ではなく、フレーミングや認識論的なスタンス（epistemic stance）に依存する。
サブタスク 2 (ドキュメントレベルの陰謀検出): ドキュメント全体を、Yes (陰謀あり)、No (陰謀なし)、Can't tell (判別不能) の3つのカテゴリのいずれかに分類すること。

データセットは、4,100件以上の Reddit の投稿で構成されている。主要な困難として、マーカーの密なアノテーションと、特にドキュメントレベルのラベルにおける中程度のクラス不均衡が挙げられている。

手法

著者らは、パラメータの共有やタスク間の特徴転送を行わず、個別に学習させた RoBERTa-large に基づく2つの独立したシステムを提案している。

サブタスク 1: 境界を意識したスパン抽出

著者らは、トークンレベルのタグ付けではなく、列挙された候補スパンに対する マルチラベル・スパン分類 として本タスクを定式化している。

アーキテクチャ: モデルは、最大長 $L=32$ $L = 32$ トークンまでのすべての候補スパンを列挙する。各スパン $(i, j)$ $(i, j)$ について、以下の要素を結合することで文脈表現を構築する：
- 開始および終了トークンの埋め込み ( $h_i, h_j$ )
- スパン内のトークンの平均プーリングによる埋め込み ( $\bar{h}_{i:j}$ )
- スパンの幅をエンコードする学習済み埋め込み ( $w_{emb}$ )
- 直前および直後のコンテキスト埋め込み ( $h_{i-1}, h_{j+1}$ )
  この6成分のベクトル（次元数 6144）が2層のMLPを通過し、5つの役割を予測する。
学習戦略:
- ラベル付け: 精緻な境界学習を強制するため、ある候補スパンがゴールドスパン（正解スパン）との IoU (Intersection-over-Union) が $\ge 0.95$ である場合にのみ、ポジティブとしてラベル付けされる。
- サンプリング: 圧倒的な数のネガティブスパンに対処するため、3段階のサンプリング戦略を用いる：(1) すべてのゴールドに整合するスパン、(2) ハードネガティブ（部分的に重なるスパン、IoU $\in [0.50, 0.75)$ ）、(3) ランダムな非重複ネガティブ。
- 損失関数: クラス不均衡に対処するため、役割ごとに重み付けされたバイナリ・クロスエントロピー（Binary Cross-Entropy）を使用する。
デコーディング: 予測は、役割ごとの確率閾値処理（検証セットでチューニング）と、包含関係に基づく非最大値抑制 (Non-Maximum Suppression: NMS) を含む後処理を行う。NMS は、包含率と IoU 閾値に基づいて重複するスキップを間引き、その後、小さな文字ギャップで隔てられた同一役割の隣接スパンを結合する。

サブタスク 2: ドキュメント分類

アーキテクチャ: RoBERTa-large の [CLS] トークンの表現を用いた標準的なシーケンス分類アプローチ。
学習: 過学習を防ぐための ラベルスムージング ( $\alpha=0.05$ ) を伴うクロスエントロピー損失を用いてファインチューニングを行う。層化された 90/10 の訓練・検証分割を使用する。
独立性: このモデルは、訓練および推論時において、サブタスク 1 のスパン予測を無視し、生のテキストのみに基づいて動作する。

主な結果

サブタスク 1: システムは、公式テストセット（トークンレベルの IoU $\ge 0.5$ $\geq 0.5$ で評価）において マクロ F1 0.2251 を記録し、参加チーム中 7位となった。
- 内部検証: モデルは、検証セット（文字レベルの IoU $\ge 0.3$ を使用）において、デコードされたマイクロ F1 0.6501 を達成した。
- 性能の乖離: この性能低下は、より厳格なトークンレベルの評価指標と、抽象的な役割（Action, Effect）の境界基準に対する敏感さに起因する。実体に近い役割（Actor, Victim）は、より高い堅牢性を示した。
サブタスク 2: システムは、公式テストセットにおいて 加重 F1 0.7694 を記録し、12位 となった。
- 注記: 公式の評価では "Can't tell" のインスタンスは除外されており、608 個のサンプルに対して指標が計算されている。これは、3クラス構成の検証セットとは異なる。

意義と主張

本論文は、その主な貢献が、陰謀マーカーの抽出に関する具体的な定式化と、境界の敏感さの分析にあると主張している。

ハードネガティブマイニング: ハードネガティブ（部分的に重なるスパン）の使用が、モデルが過度に広いスパンを予測することを防ぎ、境界の局在化を鋭敏にするために極めて重要であることを著者らは特定している。
独立性 vs 結合: 本システムは、マーカー抽出とドキュメント分類が本質的に関連している一方で、これらを独立してモデル化できることを示している。ドキュメント分類器は、明示的な役割の特徴なしに競争力のある性能を達成しており、これは陰謀のシグナルが生のテキストから直接学習可能であることを示唆している。
評価の整合性: 論文は、開発時のメトリクスと公式の評価プロトコルの間の整合性が、性能に大きく影響することを強調している。検証スコアとテストスコアの乖離は、主に、開発中の緩和された文字レベルの IoU 基準から、最終評価における厳格なトークンレベルの IoU 基準への移行に起因している。
限界: 著者らは、抽象的な役割は意味的な抽象度やスパンの長さの変動により困難であるとして、謙虚に認めている。また、固定された最大スパン長 ( $L=32$ ) が、より長い多節的なマーカーに対する再現率の天井を課している可能性があるとも指摘している。

結論として、現在のシステムは陰謀のシグナルを学習できるものの、今後の改善には、役割と分類の結合モデリング、構造化されたスパンデコーディング、および陰謀論的なフレーミングと批判的なナラティブをより良く区別するための心理言語学的特徴の統合が必要になる可能性があるとしている。