From Fragments to Facts: A Curriculum-Driven DPO Approach for Generating Hindi News Veracity Explanations

1. 問題定義 (Problem)

• 背景: 偽ニュースの低コストな生産と拡散は、ジャーナリズムの信頼性を脅かし、社会的不安定や政治的分断を引き起こしています。特に、COVID-19 パンデミックなどの危機的状況において、未検証の情報がパニックを招いています。
• 課題: 英語や中国語などの高リソース言語に比べ、ヒンディー語（話者数 6 億人以上）における自動化された誤情報検出ツールや、人間らしい説得力のある「真実性の説明」を生成するシステムは未発達です。
• 既存手法の限界:
  • 既存のファクトチェックは主に人手に依存しており、スケーラビリティに欠けます。
  • 事前学習済み大規模言語モデル（LLM）は、ヒンディー語の文脈に即した事実に基づいた説明を生成する際に、幻覚（ハルシネーション）や一貫性の欠如、事実誤認を起こしやすい傾向があります。
  • 真実のニュースに対する説明は、嘘のニュースに対する説明（明確な根拠や否定の論理を含む）に比べて、事実確認の根拠が明示されていない場合が多く、モデルの学習を困難にしています。

2. 提案手法：DeFactoX (Methodology)

著者らは、ヒンディー語ニュースの真実性予測と説明生成を行うための新しいフレームワーク**「DeFactoX」**を提案しました。このフレームワークは、**カリキュラム学習（Curriculum Learning）と直接選好最適化（Direct Preference Optimization: DPO）を組み合わせ、さらに DPO の損失関数を拡張した「Hin-DPO」**を採用しています。

2.1 データセット構築（合成選好データセット）

• 好ましい回答（Preferred）: 信頼できるファクトチェックサイト（OneIndia, Vishvas News, Aaj Tak など）から収集した、人間が作成した事実確認済みの説明。
  • 工夫: 真実のニュースの説明は、通常「事実である」という明示的な断定がないため、GPT-4o-mini を用いてプロンプトエンジニアリングを行い、嘘のニュースの説明と同様に「真実である」という断定を明示的に含めるよう標準化しました。
• 拒否された回答（Rejected）: 3 つの最先端 LLM（gpt-4o-mini, Mistral-7B, gemini-1.5-flash）に、ニュース記事の冒頭部分のみを入力して生成させた説明。これらは意図的に「弱い」回答として扱われ、LLM 固有の欠陥（表面的な分析、バイアス、事実性の欠如など）を反映しています。
• 構成: 1 つの正解説明に対し、3 つの拒否説明（1:3 の比率）を含むデータセットを構築しました。

2.2 カリキュラム学習戦略

• 拒否された回答を、BERTScore、ROUGE-L、METEOR を組み合わせたスコア関数 $f_s$ で評価し、人間との整合性に基づいてランク付けします。
• 3 つのレベル:
  • Rank-0（整合性が低く、明確に間違っている）
  • Rank-1（中程度の整合性）
  • Rank-2（整合性が高く、正解と微妙にしか違わない）
• モデルは、Rank-0（簡単）から Rank-2（難易度高）へと段階的に学習を進めることで、徐々に微細な違いを識別する能力を身につけます。

2.3 Hin-DPO（拡張された DPO 損失関数）

標準的な DPO 損失関数を、ヒンディー語ニュースの真実性タスクに特化して拡張したHin-DPOを提案しました。これには 2 つの新しいパラメータが組み込まれています。

1. Actuality（事実性スコア）:
   • 回答の事実的正確さを定量化します。
   • GPT-4o-mini にウェブ検索機能を用いて、ニュース記事から抽出した主要な事実文の正誤を評価させ、0〜1 のスコアを算出します。
   • 損失関数において、事実性の高い回答の重みを増幅し、低い回答のペナルティを調整します。
2. Finesse（洗練度/安定性スコア）:
   • 幻覚（ハルシネーション）の指標として機能します。
   • 同じ入力に対して高温（Temperature=0.9）で 5 回生成を行い、各トークンの確率分布の分散（バリアンス）を計算します。
   • 分散が大きい（不安定な）回答は幻覚の可能性が高く、損失関数で重みを下げるように設計されています。

Hin-DPO 損失関数の概要:
$$\mathcal{L}_{Hin-DPO} = -\mathbb{E} \left[ \log \sigma \left( \frac{\beta}{v + \epsilon} \left[ (1 + s_w) \log r_w - \max(0.01, s_l) \log r_l \right] \right) \right]$$
ここで、$s_w, s_l$ は Actuality スコア、$v$ は Finesse スコア（分散）、$r_w, r_l$ はそれぞれ好ましい回答と拒否された回答の確率比です。

3. 主要な貢献 (Key Contributions)

1. ヒンディー語初の自動真実性説明生成フレームワーク: ヒンディー語におけるファクトチェックと説明生成のための最初の包括的なフレームワーク「DeFactoX」を提案しました。
2. 合成選好データセットの構築: 人間が作成したファクトチェック説明を「正解」、LLM 生成の欠陥を含む説明を「不正解」としてランク付けした大規模な合成データセットを作成しました。
3. Hin-DPO の提案: 事実性（Actuality）と安定性（Finesse）を損失関数に統合し、LLM の幻覚を抑制しつつ、事実に基づいた一貫性のある説明を生成する新しい最適化手法を開発しました。
4. カリキュラム学習との統合: 難易度の異なる説明を段階的に学習させることで、モデルの一般化性能とロバスト性を向上させました。

4. 実験結果 (Results)

• 評価モデル: Gemma-2-9B, Llama-3.1-8B, Mistral-7B, mBART, mT5 などの 5 つのモデルで評価を行いました。
• 自動評価指標: ROUGE-1/2/L, METEOR, BERTScore において、ベースライン（Base+SFT）や標準 DPO に対して、Hin-DPO（カリキュラム学習併用）がすべてのモデルで最高性能を記録しました。
  • 例：Llama-3.1-8B において、Hin-DPO は BERTScore で 84.73、ROUGE-1 で 37.13 を達成し、標準 DPO よりも大幅に改善されました。
• 人間による評価: 3 人の評価者による 800 件の説明評価（0-5 点）において、Hin-DPO が他の手法よりも高いスコア（Gemma2-9B で 4.12, Llama3.1-8B で 4.23）を獲得し、事実の正確性、論理の整合性、説明の完全性において優れていることが確認されました。
• アブレーション研究: カリキュラム学習を適用した場合、適用しない場合に比べて一貫して性能が向上することが示されました。また、Actuality と Finesse の両方のパラメータが性能向上に寄与していることが確認されました。

5. 意義と結論 (Significance & Conclusion)

• 社会的意義: ヒンディー語話者向けに、誤情報を検知し、その根拠を明確に説明する自動化ツールの提供は、民主主義の健全性や公衆衛生（パンデミック時の誤情報対策など）にとって極めて重要です。
• 技術的意義: 単なる分類タスクではなく、「なぜそれが嘘/真実なのか」という**説明可能性（Explainability）**に焦点を当て、LLM の幻覚を抑制しつつ事実性を高めるための新しい損失関数設計（Hin-DPO）と学習戦略（カリキュラム学習）の組み合わせが有効であることを実証しました。
• 将来展望: 本フレームワークは他の低リソース言語への拡張（マルチリンガル転移学習）や、人間のフィードバックループ（Human-in-the-loop）の導入を通じて、さらに発展させる余地があります。

この研究は、言語の壁を越えた誤情報対策において、生成 AI の信頼性を高めるための重要なステップを示すものと言えます。