技術的概要：FactNet

問題定義

大規模言語モデル（LLM）は、事実的な主張を頻繁に幻覚（ハルシネーション）させ、その出力を回収可能な証拠に基づいて根拠付けることに苦慮しており、この制限は非英語言語においてさらに悪化しています。検索拡張生成（RAG）や知識に基づくシステムは前進への道を提供しますが、構造化された知識とネイティブなテキスト証拠を同時に結びつける学習データを必要とします。既存のリソースは、以下の決定的なトレードオフを課しています：

• 構造化知識ベース（例：Wikidata）： スケーラビリティとクエリ可能な構造を提供しますが、テキスト的な根拠付けが欠如しており、RAG システムに事実からテキストへの検索のための教師信号を残していません。
• 根拠付けられたデータセット（例：FEVER、AveriTeC）： 高品質な証拠を提供しますが、手動キュレーションへの依存により規模が限定（数千のインスタンス）され、主に単一言語に限定されています。
• アライメントリソース（例：T-REx、KELM）： グラフとテキストを橋渡ししますが、バイトレベルの精度が欠如していることが多く、英語のみをカバーするか、または人間が作成したドキュメントとの接続を断ち切る合成生成に依存しています。
• 合成拡張： 機械翻訳や LLM 生成は多言語カバレッジを増加させますが、翻訳アーティファクトや、検証器が現実への根拠付けではなく生成器のパターンを学習する循環依存を導入します。

10 億規模のカバレッジ、広範な多言語サポート、そして決定論的な出所を伴うネイティブなスパンレベルの証拠根拠付けを提供するリソースが存在しません。

手法

著者は、17 億の Wikidata 主張と 316 のネイティブ Wikipedia 版から抽出された 30.1 億の証拠ポインタを結合する、10 億規模のオープンリソースであるFactNetを導入します。この構築は、確率的推論や合成生成を回避する決定論的パイプラインに依存しており、すべての証拠単位がバイトレベルの精度でソースに追跡可能であることを保証します。

データモデルとアーキテクチャ

FactNet は、3 つの結合されたレイヤーに整理されています：

1. FactStatement： 修飾子や参照を含む、Wikidata の主張（主語、プロパティ、値）を表す原子単位で、言語に中立です。
2. FactSense： 特定の Wikipedia 版内での根拠付けられた実現です。これは、正規化された証拠文字列に対するバイトレベルのオフセット（Unicode コードポイントインデックス）を伴う、具体的なテキスト証拠（文、インフォボックスフィールド、またはテーブルセル）に FactStatement をリンクします。
3. FactSynset： 異なる言語や表面形式を通じて同じ根本的な事実を表現する FactStatement をグループ化する等価クラスです。

構築パイプライン

このパイプラインは、Wikimedia ダンプ（Wikidata JSON、Wikipedia XML、SQL リンクテーブル）を 3 つの決定論的ステージを通じて処理します：

1. ビュー生成： 生 wikitext から 3 つの出所安定ビューを抽出します：Sentence View（テンプレートストリッピング経由）、Template View（インフォボックスパラメータの AST ベース抽出）、およびTable View（構造化パース）。ノイズとオフセットの不安定性を防ぐため、完全なテンプレート展開は回避されます。
2. 正規化と標準化： 声明は、ポリシー駆動型の標準化キー（$S \parallel P \parallel \text{NormValue} \parallel \text{NormQuals}$）を使用して FactSynsets に集約されます。厳密な等価性がデフォルトです。意味的な緩和（例：時間精度の切り捨て、単位変換）は、明示的なポリシー $\pi$ によってのみ適用され、機械可読な merge_reasons とともに記録されます。
3. マッチングと出所追跡： 順序付けられ、データタイプを認識するマッチャーを使用して、声明を証拠に整合させます：
   • 構造ベース： インフォボックス/テーブルパラメータをマッチングします。
   • リンクベース： Wikilinks を介してエンティティ値の声明を QID に整合させます。
   • 語彙的： テキスト内のリテラル値（時間、数量）をマッチングします。
   • 証拠ポインタ： 各 FactSense には、ソースダンプからの正確な再局在化を可能にするポインタ $(page\_id, revision\_id, view\_type, unit\_locator)$ と文字オフセットが含まれます。

FactNet-Bench

このリソースを評価するために、著者は知識グラフ補完（KGC）、多言語 KG 質問応答（MKQA）、および多言語事実検証（MFC）のためのスイートであるFactNet-Benchを構築しました。主要な設計機能には以下が含まれます：

• リーク制御： スプリットは synset_ids の安定したハッシュによって生成されます。Dev/Test synsets に整合された証拠は、トレーニングプールから厳密に除外されます。
• 述語マスキング： テキスト認識型 KGC のために、クエリ時の記述は、クエリされた述語に関連する値をマスキングし、単純な抽出を防ぎます。
• 決定論的再現性： すべてのスプリット、ベースライン、および評価アーティファクトは、凍結されたスナップショットから導出されます。

主要な貢献

1. FactNet： 316 言語にわたる構造化された知識とネイティブな多言語テキスト証拠を結合する、最初の 10 億規模のリソースです。これは 17 億の FactStatement と 30.1 億の FactSense を 15.5 億の FactSynsets に集約します。
2. 決定論的構築： 合成アーティファクトなしで前例のない規模を達成するパイプラインであり、すべての証拠ポインタがバイトレベルの精度で生データダンプから再現可能であることを保証します。
3. FactNet-Bench： 構造的、テキスト認識型、および LLM 統合手法を区別する、根拠付けられた事実推論を評価するための体系的なリーク制御を備えたベンチマークスイートです。

結果と評価

FactNet-Bench における実験は、以下のことを示しています：

• 手法の差別化： このベンチマークは、構造的な手法（TransE、RotatE）、テキスト認識型手法（SimKGC、KG-S2S）、および LLM 統合アプローチ（GLTW）を効果的に差別化します。LLM 統合手法は最高性能を達成しますが（例：GLTW：KGC で 0.386 MRR）、テキスト認識型手法は構造的ベースラインに対して有意な向上を示します。
• リーク感度： 述語マスキングがない場合、テキスト認識型モデルは異常な性能向上を示します（例：KG-S2S の MRR が 0.298 から 0.351 にジャンプ）。これは、リーク制御がタスクを情報抽出への退化から防ぐために必要であることを確認します。
• クロスリンガル転移： 共有された FactSynset 構造は、知識転移を可能にします。英語のみのエンティティ記述でのトレーニングは、Tier-2 言語で 78%、Tier-3 で 64% の性能を維持し、構造的アライメントがテキストの希薄さを緩和することを示しています。
• 証拠の質： 密な検索（E5-large）は、事実検証において BM25 を大幅に上回ります（精度 0.701 対 0.654）。インフォボックスとテーブル証拠を含めることは決定的に重要です；これらを削除すると、MFC 証拠の Recall@5 が 14.5% 減少します。
• LLM 幻覚： FactNet の事実に対する GPT-4o と Qwen-2.5-72B のプロービングは、特にリソースの少ない言語（Tier-3：約 44-48%）と時間的事実（約 34%）において高い幻覚率を明らかにします。これは、LLM が学習データから信頼性の高い事実的知識をエンコードするという仮定に挑戦します。
• 外部検証： FactNet 拡張 RAG システムは、TriviaQA（+3.4 EM）と FEVER（+2.2 精度、+4.5 証拠 F1）において Wikipedia ダンプベースラインを上回り、クロスリンガルシナリオではさらに大きな向上が見られます。

意義と主張

この論文は、FactNet が、以前のリソースを制限してきたスケーラビリティ、根拠付けの忠実度、および言語カバレッジの間の「3 者のトレードオフ」に対処すると主張しています。Wikipedia をスクレイピングするためのコーパスではなく、インデックス付けのための構造化された XML ツリーとして扱うことで、FactNet は知識グラフの規模を達成しつつ、検証データセットの根拠付けの粒度を維持します。

著者は、FactNet が合成生成に依存することなく、RAG システム、事実検証、および多言語推論のための信頼性の高い教師信号を提供することを強調しています。このリソースは出所第一に設計されており、研究者が事実と証拠の間の接続を監査することを可能にします。著者は、FactNet がそのソース（Wikidata/Wikipedia）からバイアスを継承し、リソースの多い言語を優遇するロングテール分布を示す一方で、その決定論的構築と「証拠ギャップ」の明示的な処理（例：ungrounded_reason コードを介して）は、信頼性の高い AI に関する将来の研究のための透明性のある基盤を提供すると指摘しています。論文は、クロスリンガルの FactSynset 構造が言語階層間での意味のある知識転移を促進し、リソースの少ない言語における事実的根拠付けを改善する道を提供すると結論付けています。