技術概要：CAAFC – 時系列に基づく実行可能な自動事実検証システム

問題定義

AI によって生成され、幻覚（ハルシネーション）を起こしやすいテキストを含むオンラインコンテンツの急速な普及により、手作業による事実検証は非現実的となっています。既存の自動事実検証（AFC）システムは、専門的な事実検証の実践と重大な不一致をきたしています。具体的には、現在のシステムは以下のような問題を抱えています：

1. 二次情報源への依存： 公式声明や生データなどの一次情報源ではなく、メディア報道などの二次情報源から証拠を取得することが多く、解釈バイアスを導入しています。
2. 時系列的根拠の欠如： 事実の時間的性質を考慮できておらず、古くなった証拠を使用したり、時間的コンテキストを見落としたりすることで、「証拠の時間的ミスマッチ」を引き起こしています。
3. タスクの不適切な統合： 非事実的な幻覚検出と自動事実検証を別々の問題として扱い、統合されたタスクとして捉えていません。
4. 低品質な根拠の生成： 説明が明示的な構造を持たず、情報源への追跡可能性が欠け、実行可能な修正（誤りの特定、修正の提供、情報源の引用）が含まれていません。
5. 大規模モデルへの過度な依存： これらのタスクを効果的に遂行できるのは巨大な大規模言語モデル（LLM）だけであるという前提があり、タスクを分解して小型で効率的なモデルに任せる可能性が軽視されています。

手法：CAAFC フレームワーク

著者は、専門的な手法と自動システム間のギャップを埋めるために設計されたモジュール型フレームワークであるCAAFC（Chronological Actionable Automated Fact-Checker：時系列に基づく実行可能な自動事実検証システム） を導入します。CAAFC は、量子化された LLM（主に Gemma3-27B）を使用して主張、会話、対話を処理し、以下の 6 つの主要モジュールを中心に構成されています：

1. 抽出・セグメント化モジュール： 「検証価値のある」主張をフィルタリングする古典的なパイプラインとは異なり、このモジュールは入力テキストからすべての可能な主張を抽出し、複雑な主張や会話を原子レベルのサブ主張に分解します。この粒度により、正確な検証と透明性が可能になります。
2. 一次時系列証拠取得モジュール： このモジュールは、二次メディアではなく一次情報源（政府の公式記録、元の声明など）への取得を指示します。重要なのは、時系列を取り入れることで、主張がなされた時点に関連する証拠と、現在までの更新された知識の両方を取得することです。これには、これらの一次情報源からの検索結果を要約するために Google AI モード（Gemini-Pro-3）が利用されます。
3. 事実検証モジュール： このモジュールは、取得した証拠に対して各原子主張を評価し、真偽ラベル（真、偽、または検証不可能）を割り当て、予備的な根拠を生成します。全体の主張に対する最終的な判定は、単一の偽の原子主張が全体の主張を偽とするという論理で集約されます。
4. 実行可能な根拠生成モジュール： 主張、証拠、原子レベルの真偽ラベルを統合して、構造化された実行可能な説明を生成する新規モジュールです。この説明は、事実誤りを明示的に特定し、修正を提供し、支持する情報源を引用します。
5. 実行可能性評価モジュール： このモジュールは、FinGrActフレームワークを使用して生成された根拠の品質を評価します。誤りの検出、誤りの修正、引用されたリンクの関連性/機能性の 3 つの基準に基づいて根拠をスコアリングします。受容可能とされるためには 7 点満点中 4 点以上のスコアが必要です。
6. 根拠修正モジュール： 実行可能性評価モジュールが根拠に不備があると判断した場合、このモジュールはフィードバックを取り入れて欠落した修正を追加したり、見落とされた誤りを強調したりすることで出力を洗練させ、最終的な出力が実行可能性の閾値を満たすことを保証します。

主要な貢献

本論文は、特定の研究課題に対応する 5 つの主要な貢献を概説しています：

• C1（時系列と知識の更新）： CAAFC は、タイムスタンプ付きで順序付けられた証拠を取得することで、データベース内の古くなったまたは欠落した知識を検出する手法を導入します。この新しい時系列証拠に基づいて知識ベースを修正し、説明が事象の正しい順序を反映することを保証します。
• C2（一次情報源への整合）： このフレームワークは、二次メディアよりも元の一次情報源を優先することで、専門的な事実検証者を明示的に模倣し、解釈バイアスを軽減します。
• C3（タスクの統合）： 非事実的な幻覚検出と自動事実検証を、誤情報検出と修正のための単一の統合タスクとして再定式化します。
• C4（分解による効率化）： 著者は、事実検証という複雑なタスクを小さなサブタスクに分解することで、より小型の量子化 LLM（特に Gemma3-27B）が、はるかに大規模な最先端モデル（GPT-5.2、LLAMA3.3-70B、GPT-OSS-120B など）よりも精度とマクロ F1 スコアの面で大幅に優れ、かつ計算リソースを大幅に削減（17 GB の GPU メモリ対、大規模モデルではそれよりもはるかに高い値）できることを実証しました。
• C5（構造化された実行可能性）： 単なる真偽ラベルを超えて、透明性とユーザーの信頼を高める高品質で構造化された根拠を生成するための新しいアーキテクチャコンポーネント（実行可能な根拠生成モジュール、評価モジュール、修正モジュール）を導入します。

実験結果

このフレームワークは、4 つのベンチマークデータセット（AVeriTeC、CoverBench、FACTors、対話ベースの幻覚検出用DiaHalu）で評価されました。

• 証拠の品質： 著者は、既存のデータセットにおいて、Google によって取得された一次情報源と比較して、データセットの証拠が古くなっていたり、コンテキストが欠けていたりする顕著な「証拠の時間的ミスマッチ」を特定しました。人間の注釈者は、これらのケースにおいて Google によって取得された証拠が優れていることを確認しました。
• 事実検証のパフォーマンス：
  • AVeriTeCにおいて、CAAFC（Gemma3-27B）はデータクリーニング後に0.894の精度を達成し、InFact（0.720）や微調整された LLaMA 3.1-70B（0.752）を上回りました。
  • CoverBenchでは0.829の精度を達成し、SOTA である Claude 3.5 Sonnet（0.689）を凌駕しました。
  • FACTorsでは0.919の精度に達し、微調整された RoBERTa ベースライン（0.849）を超えました。
  • 注目すべきは、より小型の Gemma3-27B モデルが、パラメータ数が 2.6 倍から 4 倍多いモデルのパフォーマンスと同等かそれ以上を達成したことです。
• 幻覚検出のパフォーマンス： DiaHaluデータセットにおいて、CAAFC は0.684のマクロ F1 スコアを達成し、GPT-5.2（0.682）を上回り、GPT-4（0.473）や時系列グラフネットワーク（0.495）を大幅に凌駕しました。
• 実行可能性： 生成された根拠は、FinGrAct フレームワークに基づき、高い実行可能性スコア（主に 7 点満点中 6〜7 点）を受け、誤りを特定し、修正を提供し、機能する情報源を引用することに成功していることを示しました。

意義と主張

本論文は、CAAFC が自動事実検証のアプローチのあり方に変化をもたらすことを主張しています。その意義は以下の点にあります：

1. タスクが適切に分解され、高品質で時系列的な証拠によって支援される場合、小型モデルが大型モデルを上回ることを証明しています。
2. 専門的な事実検証と自動事実検証のギャップを埋めることで、専門的な手法（一次情報源、時系列的根拠、追跡可能な根拠）に準拠しています。
3. 実行可能で構造化された説明を通じて信頼性と透明性を向上させ、ユーザーが主張を独立して検証できるようにします。
4. 証拠の時系列の重要性を実証し、既存のベンチマークにおける多くの「誤り」は実際には古くなったデータセットの証拠に起因するアーティファクトであることを示しています。

著者は、英語コンテンツへの現在の制限や、取得された証拠における検索エンジンのバイアスの可能性など、限界を認めています。また、フレームワークは GPU メモリ要件を削減しますが、多段階の推論プロセスがレイテンシを導入しており、これは今後の研究で対応する予定であると述べています。