FACTAPPEAL: ニュースメディアにおける認識論的事実的アピールの特定に関する技術的概要

本論文は、ニュースメディアにおける事実的主張（factual claims）が、いかに外部の情報源や証拠によって裏付けられ、信頼性を獲得しているかを特定・分析する新たなタスクとデータセット「FACTAPPEAL」を提案するものです。従来の事実検証（Fact-checking）研究が「主張の内容そのものの真偽」に焦点を当てていたのに対し、本研究は「主張がどのような認識論的構造（epistemic structures）によって支えられているか」という、主張の構築プロセスに焦点を当てています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義：認識論的アピールの特定 (Epistemic Appeal Identification)

現在のニュースメディアでは、誤情報（misinformation）が氾濫し、メディアへの懐疑心が高まっています。既存の主張検出や検証タスクは、主張が事実かどうかを判断することに注力していますが、**「なぜその主張が信頼できると見なされるのか」**というメカニズム、すなわち「認識論的アピール（Epistemic Appeal）」の分析が不足していました。

• 認識論的アピールとは: 主張を真実として受け入れる理由を提供し、その信頼性を高めるために、権威ある情報源（専門家、目撃者、公式声明、直接的証拠など）への言及や引用を行うこと。
• 課題: ニュース文書から、事実的主張を特定し、さらにその主張を支える情報源の種類（誰が・何に基づいているか）、引用の形式（直接引用か間接引用か）、情報源の属性などを細かく抽出するタスク。

2. 手法とデータセット (FACTAPPEAL)

データセットの構築

• 規模: 2020 年から 2022 年にかけて発表された英語のニュース記事から抽出された3,226 文から構成される。
• アノテーション: 2 名のアノテーター（著者の一人と研究助手）によって手動で注釈付けが行われた。
• 分割: 訓練セット（70%）、開発セット（15%）、テストセット（15%）にランダムに分割。
• アノテーションの粒度: 文レベルではなく、スパンレベル（span-level）。文内の特定の単語やフレーズに対してタグを付与する。

アノテーションスキーマ

FACTAPPEAL は、文の各部分に対して以下のタグを付与する階層的なスキーマを採用しています。

1. 事実の分類:
   • Fact Without Appeal: 情報源への言及なしの事実主張。
   • Fact With Appeal: 情報源への言及を伴う事実主張。
2. 引用の形式:
   • Direct quote: 原文通りの引用。
   • Indirect quote: 要約や言い換えによる引用。
3. 情報源（Source）の特定:
   • 有無: 名前が明記されているか（Named/Unnamed）。
   • タイプ（認識論的権威の性質）:
     • 内部ソース（Internal）: 出来事への直接的な関与。
       • Active Participant（当事者）
       • Witness（目撃者）
       • Official（公的権限を持つ当事者）
       • Direct Evidence（現場の物的証拠）
     • 外部ソース（External）: 一般的な専門性に基づく。
       • Expert（専門家）
       • Expert Document（研究論文、報告書など）
       • News Report（他のニュース報道）
       • null（特定不可）
4. その他の属性:
   • Source Attribute: 情報源の肩書きや地位（例：「EPA の広報担当」）。
   • Recipient: 情報が伝えられた対象。
   • Appeal Time/Location: アピールが行われた時間・場所。

相互アノテーション一致率 (IAA)

アノテーションの信頼性を評価するため、2 名のアノテーターが共通で注釈した部分について一致率を計算しました。

• IoU (Intersection over Union): 0.74
• Cohen's Kappa: 0.82
  これらは「実質的な一致（substantial agreement）」を示しており、アノテーションスキーマの妥当性が確認されています。

3. 実験とモデル評価

本タスクを解決するために、エンコーダモデルと生成型デコーダモデルの 2 つのアプローチを比較検討しました。

使用モデル

• エンコーダモデル: RoBERTa, DeBERTa v3, ModernBERT（ベースモデル）。
  • 手法: トークンレベルのマルチラベル分類（18 種類のタグをバイナリ分類）。
• 生成型デコーダモデル (LLM): Gemma 2 (2B, 9B), Llama 3.1 8B, Mistral v0.3 7B。
  • 手法: 生テキストを入力とし、XML 形式のタグ付きテキストを生成する（Seq2Seq）。QLoRA による微調整（4-bit 量子化、3 エポック）。

結果

テストセットにおけるマクロ平均 F1 スコアは以下の通りでした。

モデル	Precision	Recall	F1
RoBERTa (base)	0.75	0.67	0.70
DeBERTa v3 (base)	0.73	0.67	0.69
ModernBERT (base)	0.73	0.47	0.54
Gemma 2 9B	0.76	0.73	0.73
Mistral v0.3 7B	0.73	0.68	0.70
Llama 3.1 8B	0.75	0.65	0.68
Gemma 2 2B	0.65	0.58	0.60

• 最高性能: Gemma 2 9B が F1 0.73 を記録し、最も優れた性能を示しました。
• 傾向: 生成型モデル（特に 9B パラメータ）は、エンコーダモデルよりも一貫した性能を発揮しました。また、エンコーダモデルはタグの出現頻度と性能の相関が強く、稀なタグ（例：Direct Evidence, Witness）の検出が困難である傾向が見られました。

4. 主要な貢献

1. 新規タスクの定義: 「認識論的アピールの特定」という、主張の真偽だけでなく「その主張がどのように裏付けられているか」を分析する新たな NLP タスクを提案しました。
2. 高品質なデータセット (FACTAPPEAL): 事実主張と、それを支える情報源の種類・属性・引用形式をスパンレベルで詳細に注釈した、初の大規模データセットを提供しました。
3. 詳細な分類体系: 情報源を「内部（当事者・目撃者）」と「外部（専門家・文書）」に大別し、さらに 8 種類の具体的なタイプに分類する体系を確立しました。
4. モデル性能のベンチマーク: 従来のエンコーダモデルと最新の生成型 LLM による比較を通じて、このタスクの難易度と、生成モデルの有効性を示しました。

5. 意義と将来展望

• ファクトチェックの高度化: 単に「真/偽」を判定するだけでなく、主張の信頼性を構成する要素（誰が、どの権威に基づいて言っているか）を分析することで、より文脈に即したファクトチェックが可能になります。
• 社会科学的洞察: 政治哲学や社会認識論の観点から、異なるグループ間での「深い対立（deep disagreements）」が、いかに異なる認識論的枠組み（どの情報源を信頼するか）によって生じるかを分析するツールとなります。
• メディア分析: メディアがどの情報源を重視し、どのように事実を構築・提示しているかを定量的に分析し、メディアのバイアスや分極化のメカニズムを解明する手がかりとなります。

限界と今後の課題:

• 現在のデータセットは文レベルの注釈に留まっており、段落や記事全体における主張と証拠の複雑な関係性を捉えるには不十分です。
• 英語の特定の期間（2020-2022 年）のニュースに限定されており、言語やドメインの一般化にはさらなる研究が必要です。
• 複数の情報源が 1 文に含まれる場合の、どの情報源がどの主張に対応するかという明示的なリンク付けが今後の課題です。

総じて、FACTAPPEAL は、ニュースメディアにおける情報の信頼性構築メカニズムを解明するための重要な基盤となり、計算言語学と社会科学の架け橋となる研究です。