ClimateCheck 2026: 科学的ファクトチェックと誤情報ナラティブ分類に関する技術的サマリー

本論文は、気候変動に関するソーシャルメディア上の主張を科学的文献（抄録）に基づいて検証する共有タスク「ClimateCheck 2026」の報告書です。2025 年版の拡張版として、トレーニングデータの 3 倍の増加、新たな「誤情報ナラティブ分類タスク」の導入、および不完全なアノテーション下での評価フレームワークの適応が特徴です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

気候変動に関する公衆の理解はオンライン議論に大きく依存していますが、その科学的妥当性を大規模に評価することは困難です。既存の自動ファクトチェック（AFC）システムは、Wikipedia や一般 Web 検索を主に利用しており、学術文献という信頼性の高い証拠源を直接扱うアプローチは限られています。また、気候変動の誤情報は、個別の偽の主張だけでなく、繰り返される「ナラティブ（物語的構造）」の周りに集積する傾向があります。

ClimateCheck 2026 は以下の 2 つの主要タスクを定義し、これらを同一の主張セット上で統合的に扱います。

1. タスク 1（抄録検索と主張検証）: 気候変動に関する主張に対し、関連する学術抄録を上位 5 件検索し（タスク 1.1）、各主張 - 抄録ペアが「支持（Supports）」「反証（Refutes）」「情報不足（NEI）」のいずれに該当するかを分類する（タスク 1.2）。
2. タスク 2（誤情報ナラティブ分類）: 主張に含まれる誤情報のナラティブパターンを、Coan et al. (2021) が提案した 27 種類のナラティブ（5 つの主要グループに分類）に基づいて多ラベル分類する。

2. 手法とデータセット開発

データセット

• 拡張: 2025 年版のデータセットを基に、トレーニングデータを約 3 倍に拡張（523 の新規主張、1897 の新規主張 - 抄録ペアを追加）。
• アノテーション: 958 の一意の主張に対し、タスク 1 では 3 値ラベル（Supports/Refutes/NEI）、タスク 2 では多ラベルのナラティブ分類が施されました。
• アノテータ間一致率（IAA）: タスク 1 の Cohen's κは 0.73（実質的合意）。タスク 2 のナラティブ分類では、主要グループレベルで Krippendorff's α=0.697 となり、詳細なサブナラティブレベルでは分類の難しさが示されました。

評価フレームワーク

• 公式指標: 検索タスクには Recall@K と Binary Preference (Bpref)、検証タスクには重み付き F1 スコア、ナラティブ分類には Macro-F1 を使用。
• 不完全アノテーションへの対応（Ev2R の適応）: 金データ（Gold Data）にアノテーションされていない検索結果を評価するため、Akhtar et al. (2024) の Ev2R フレームワークを適応させました。
  • 参照ベース成分: 検索された抄録と金データ内の抄録を「原子的事実」に分解し、整合性を評価。
  • プロキシ参照成分: 微調整された DeBERTa モデルを用いて、主張 - 証拠ペアの真偽ラベルを予測し、その信頼度を証拠の品質の代理指標として利用。
  • これにより、金データに存在しないが質の高い証拠を検索したシステムを適切に評価できるようになりました。

ベースラインシステム

• タスク 1: 多段階パイプライン（BM25 検索 → E5 モデルによるセマンティック再ランク付け → MiniLM クロスエンコーダーによる最終再ランク付け）と、DeBERTa による NLI 分類モデルを採用。
• タスク 2: Qwen3-8B をベースに、指示追従（Instruction-following）設定で微調整（LoRA 使用）。

3. 参加システムと結果

20 件の登録に対し、8 件の提出があり、4 チームがシステム説明を提出しました。

• タスク 1（検索・検証）:

  • ClimateSense が最も高いスコアを記録。BM25 検索後に BGE リランカーのアンサンブルと Reciprocal Rank Fusion を使用し、検証にはゼロショット（ZS）の gpt-oss-120b を採用。
  • DFKI-IML は、中間推論（Intermediate Reasoning）と事後合理化（Post-hoc Rationalization）を比較し、GPT-4o-mini を用いた中間推論が安定した結果をもたらしました。
  • 結果として、3 チームがベースラインを上回りました。

• タスク 2（ナラティブ分類）:

  • ahilbert チームが Macro-F1 で最高スコアを達成。Qwen3-8B を使用し、階層的推論（CoT）とゼロショット推論を組み合わせ、推論コストと性能のトレードオフを分析しました。
  • XplaiNLP チームは、検索拡張型指示チューニング（Retrieval-Augmented Instruction Tuning）が他の戦略より優れていることを示しました。

4. 誤分析と重要な知見

• 検索の難易度: 検索の難易度は主張によって連続的に分布しており、単純な「易しい/難しい」の二項対立ではありません。すべてのシステムで Recall@5=0 となる主張も存在しましたが、これは主に語彙的なミスマッチが原因でした。
• 検証ラベルの混同: 「反証（Refutes）」の予測が最も困難でした。特に、部分的に関連する証拠を「支持（Supports）」と誤って解釈する傾向が多くのシステムで見られました。
• ナラティブ依存性: 検証の難易度はナラティブの種類に強く依存していました。
  • Group 3（気候変動の影響は悪くない）: 反証が比較的容易。
  • Group 4（気候変動対策は機能しない）と Group 5（気候科学/運動は信頼できない）: 反証が極めて困難。特に Group 5 は「科学そのものを疑う」主張であるため、科学的証拠を用いた反証は自己言及的な矛盾（証拠源自体の信頼性を問う主張）に陥りやすく、構造的な限界を示しました。
• 評価指標の限界: 公式リーダーボードで最下位だったチーム（ytsoneva）が、Ev2R スコアでは最高値を記録しました。これは、金データにアノテーションされていないが質の高い証拠を検索していたためであり、従来の Recall 中心の評価が不完全アノテーション下でシステムを不当に罰していることを示唆しています。

5. 主要な貢献

1. 統合ベンチマークの確立: 学術的証拠の検索、主張の検証、ナラティブ分類を同一データセット上で統合した初のベンチマーク。
2. 評価フレームワークの適応: 不完全なアノテーション下での検索品質評価を可能にする Ev2R の適応版の提案。
3. 実証的分析: 検索、検証、ナラティブタスク間のシステム動作の分析を通じ、構造的な検証バイアスと微細なナラティブ分類の課題を明らかにした。

6. 意義と今後の展望

ClimateCheck 2026 は、気候変動誤情報の処理において、単なる事実確認を超えて「ナラティブ構造」を考慮することの重要性を浮き彫りにしました。特に、科学的証拠に基づく検証が構造的に困難なナラティブ（科学の信頼性への攻撃など）が存在することは、今後の AFC システム設計に重要な示唆を与えます。

• ナラティブ対応型検証: 主張のナラティブタイプを事前に分類し、それに応じて検証戦略（例：学術抄録以外の証拠源の活用、人間によるレビューの誘導など）を条件付けるパイプラインが有望であることが示唆されました。
• 評価の多様化: 不完全なアノテーションが避けられない実世界の AFC において、金データに依存しない自動評価フレームワークの併用が不可欠です。

本論文は、気候変動に関する誤情報対策において、技術的な精度向上だけでなく、議論の構造的理解と適応的なシステム設計の必要性を強調する重要なステップとなっています。