技術的概要：COMMUNITYFACT

問題提起

誤情報検証は、静的なベンチマークが主張、証拠、ナラティブの動的性質を捉えきれない、公開され、高速で多言語のオンライン環境において、ますます行われるようになっている。既存の事実性ベンチマークは、しばしば固定されたスナップショット、中央集権的なメディア、英語中心のデータに依存しており、以下の 3 つの決定的なギャップを生んでいる：

1. カバレッジ: 専門的なファクトチェック機関や百科事典に比べ、ローカライズされたものやソーシャルメディア固有のナラティブが過小評価されている。
2. 粒度: ポストレベルのラベルは、真偽が混在する複数の主張を単一の結論に集約することが多く、特定の失敗モードを不明瞭にしている。
3. 再配布可能性: ソーシャルメディアの投稿は、削除、アクセス制限、著作権により一時的であるため、生データを共有し再現することが困難である。

さらに、静的なデータ上で大規模言語モデル（LLM）を評価することは、真の検証能力ではなく、暗記や汚染を測定するリスクがあり、特に LLM がウェブアクセスを備えた公開のアドホック検証システムとしてますます展開される中で、そのリスクは高まっている。

手法

著者は、X（旧 Twitter）のコミュニティノートから構築された動的で多言語・多ドメインのベンチマークCOMMUNITYFACTを導入する。このシステムは、コミュニティノートが提供する現実世界の主張の継続的なストリームと、コミュニティによって検証された修正コンテキストを活用し、更新可能なベンチマークを構築する。

データ構築パイプライン

構築プロセスは、生ソーシャルメディア投稿を必要とせずに共有可能性とテキスト検証可能性を確保するように設計されたパラメータ化パイプラインを含む：

1. ソース選択: パイプラインは、2025 年に作成され CURRENTLY_RATED_HELPFUL とマークされたノートについて、2026 年 3 月 27 日までのスナップショットを含む公開コミュニティノートアーカイブをフィルタリングする。
2. 言語およびドメインフィルタリング: 最も頻度の高い 5 つの非メディアノート言語（英語、スペイン語、フランス語、日本語、ポルトガル語）を選択し、GPT-5.5 を使用してノートを政治および金融ドメインに分類する。
3. 主張抽出: 「中程度」の推論努力を伴う GPT-5.5 を使用し、ツイート - ノートペアから独立した検証可能な事実的主張を抽出する。抽出プロンプトは「ゼロコンテキスト公式」を強制し、主張が元の投稿やノートへのアクセスなしに検証できるよう、必要なすべての実体、日付、修飾語を含めることを保証する。メディアやプラットフォームのメタデータに依存する主張は除外される。
4. ラベリング: ラベルは、有益なコミュニティノートから直接導き出される。ノートが投稿内の事実的断定を反証または修正する場合、主張はFALSEとラベル付けされ、ノートがそれを支持または明確にする場合はTRUEとラベル付けされる。
5. 自己洗練: 二次的な監査ステップで、独立した完全性、ラベルの正確性、および重複の有無をチェックする。
6. 時間的分割: データ漏洩を防ぐため、各言語 - ドメイングループ内で例を時間的に分割し、最も最近の例をテスト用に保持する。

ベンチマーク統計

2025 年版リリースには、15,992の独立した主張レベルの例が含まれる：

• 言語: 英語、スペイン語、フランス語、日本語、ポルトガル語。
• ドメイン: 政治、金融。
• 分布: 9,970 の TRUE 主張と 6,022 の FALSE 主張。
• 形式: 各例には、主張、タイムスタンプ、言語、ドメイン、ラベル、およびノートで引用された証拠 URL が含まれる。

実験設定

著者は、4 つの推論設定 across 10 の LLMを評価した：

1. 指示追従（クローズド入力）: モデルは主張とタイムスタンプのみを受け取る（例：Aya-Expanse、Ministral、EuroLLM）。
2. 推論有効化: モデルは明示的な「思考」モードで実行される（例：Qwen3 変種）。
3. ウェブ検索（無誘導）: モデルはタイムスタンプに関連する証拠を独立して取得する。
4. 証拠誘導型ウェブ検索: モデルには、有益なコミュニティノートが引用した URL が優先リードとして提供されつつ、一般的なウェブ検索へのアクセスも保持される。

評価指標は、体系的な変動を隠蔽しないよう、全体および言語 - ドメインスライスごとに報告されるマクロ F1スコアに焦点を当てる。

主要な貢献

1. 更新可能なベンチマーク: COMMUNITYFACT は、新しいコミュニティノートスナップショットから自動的に再生成されるように設計された最初のベンチマークであり、既存のデータセットの陳腐化に対処する。
2. 粒度の細かい共有可能な主張: ツイート - ノートペアを、ノートに基づくラベルと証拠 URL を備えた独立した主張に変換することで、生ソーシャルメディアコンテンツを再配布することなく微細な分析を可能にする。
3. 多言語・多ドメイン分析: データセットは 5 つの言語と 2 つの高影響ドメインを網羅しており、言語間およびドメイン間の一般化の評価を可能にする。
4. ソース選択分析: このベンチマークは、ウェブ対応 LLM が人間の評価者と比較して証拠ソースをどのように選択するかを研究することを容易にする。

結果

推論時の能力

• クローズド入力の限界: クローズド入力による検証は依然として困難である。最良の指示追従モデル（Aya-Expanse-32B）でさえ、マクロ F1 は 69.93 であり、ウェブ対応モデルよりも著しく低い。
• 証拠なしの推論: 明示的な「思考」モードは、性能を普遍的に向上させたわけではない。いくつかのケース（Qwen3 変種、Gemini-2.5-Flash など）では、外部証拠なしの推論が性能を低下させた。
• ウェブアクセス: ウェブ対応モデルは最大の改善を示した。Grok-4.3 はウェブアクセスを備えており、最も高い総合スコア（マクロ F1 83.80）を達成し、すべてのスライスですべてのクローズド入力モデルを上回った。

証拠誘導型検索とソースの整合性

• 誘導の影響: コミュニティノートからの証拠 URL を提供することは、GPT-5-nano（+1.48 ポイント）とGrok-4.3（+1.97 ポイント）の性能を著しく向上させたが、Gemini-2.5-Flashには有意な助けにならず（実際にはわずかに低下）、効果はなかった。
• ソースの不一致: ウェブ対応 LLM は、人間の評価者が有益だと見なすソースと体系的に不一致を示す。
  • Grok-4.3とGPT-5-nanoは、誘導された際に、政府ドメインや権威あるニュースなど、人間によって検証されたソースへの検索を正常に再調整し、性能向上をもたらした。
  • Gemini-2.5-Flashは、人間の好むドメインへのソースエコシステムをシフトさせることができなかった。代わりに google.com や youtube.com などの一般的な検索エンドポイントに依存し、その結果、性能向上は得られなかった。
• 検索効率: 向上は、単に検索された量の多さではなく、どのソースが参照されたかによって引き起こされた。GPT-5-nano は、人間の引用密度に一致するように希薄な検索を拡張し、Grok-4.3 は高品質のソースに焦点を当てるために過剰に広範な検索を剪定した。

意義と主張

本論文は、COMMUNITYFACTを単なる評価ツールではなく、将来のシステムのためのトレーニングシグナルとして位置づけている。著者は以下を主張する：

• 静的ベンチマークは不十分であり、展開されたウェブ対応検証システムの信頼性を測定するには不適切である。
• ウェブアクセスは事実検証に不可欠であるが、決定的な違いはソース選択の質にある。
• コミュニティノートは、<主張、人間検証済みソース> ペアの継続的な多言語ストリームを提供する。これは、新しい主張に対して人間と整合したソースを提案する軽量検索事前分布である主張条件付きソース提案器のトレーニングに向けた将来の方向性を示唆している。これは、LLM の検索ポリシーと人間の検証基準の間のギャップを埋めるものである。

著者は、集計スコアが言語およびドメインスライス全体で著しい変動を隠蔽している一方で、このベンチマークは、検索ポリシーを人間によって検証されたソースと整合させることが、野外における誤情報検出を改善するための鍵となるメカニズムであることを明らかにしていると結論づけている。