Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution

技術要約：ディープリサーチにおけるソース属性特定のためのLLMベンチマーク・ルーブリック

問題提起
プログラムによる検証器（プログラマティック・ベリファイア）が存在しないタスク（例：医学的助言、科学的執筆）において、強化学習（RLVR: Reinforcement Learning with Verifiable Rewards）がポストトレーニングの主要なパラダイムとなるにつれ、コミュニティはプロンプト固有のルーブリックをスコアリングするためのLLMジャッジに依存するようになっています。これらのジャッジは実質的に報酬モデルとして機能するため、トレーニング用ルーブリックの設計は、運用される目標の設計と同義です。しかし、極めて重要な較正（キャリブレーション）の問題が残っています。すなわち、信頼できる報酬信号を提供するために、ジャッジはどの程度の能力を備えていなければならないのか、そしてその固有のバイアスがダウンストリームのトレーニングにどのように影響を与えるのかという点です。

ディープリサーチ・システムにおいて引用の質は主要なターゲットですが、既存の研究では、引用に特化したルーブリック・タスクにおける、オフザシェルフ（汎用）のLLMジャッジを系統的にベンチマークしたものは存在しません。従来のシステムは、単一の大型モデルまたは専用モデルが必要であると想定しているか、あるいは、情報の検索品質（レトリーバル・クオリティ）には焦点を当てているものの、関連性と事実的な裏付けを持つソースを判別するジャッジの能力については焦点を当てていません。安価で小規模なモデルが、フロンティアモデルと同様にループを確実に閉じることができるのか、また、その方向性バイアス（例：偽陽性 vs 偽陰性）が、スカラー精度の指標によって隠蔽されてしまう形でトレーニング信号をどのように形成してしまうのかについて、理解の空白が存在します。

手法
著者らは、引用の質の評価をストレステストするために設計された、敵対的な長文データセットであるDeep-Research Citation Benchmarkを導入しています。

• データセット構築: 本ベンチマークは、25の多様なドメイン（量子コンピューティング、歴史、生物学など）に及びます。まず、属性が付与されたクリーンな長文の要約から始まり、そのうち約60%が、事実誤認、無関係なソース、または妥当ではあるが根拠のない引用を導入するための19の戦略を用いて、敵対的に編集されています。これにより、624組の属性・引用ペアが生成されます。
• ゴールドラベル: 6つのLLMジャッジからなる評議会が、2つの次元、すなわちソースの関連性（トピックとしての適合性）と事実的裏付け（ソースに対する主張の真実性）に基づいて、各ペアを独立して評価しました。その後、人間によるレビュアーが、評議会が意見を分けた378のケースを裁定し、ゴールドスタンダードとなるデータセットを作成しました。
• 評価対象のジャッジ: 本研究では、3つのファミリー（Anthropic、Google、OpenAI）に属する8つのオフザシェルフLLMをベンチマークしており、低コストモデル（例：GPT-OSS-120B、Gemini 3.1 Flash Lite）からフロンティアモデル（例：Claude Opus 4.6、GPT-5-mini）まで多岐にわたります。
• 指標: 標準的な精度（Pass-class F1およびCohen's $\kappa$）に加え、RLVRにおいて極めて重要な方向性バイアスの指標、すなわちパス率のドリフト、偽陽性率（FPR）、および偽陰性率（FNR）を測定しています。これらの指標は、ジャッジが不適切な引用を過剰に報酬を与えているのか、あるいは適切な引用を過少に評価しているのかを決定します。

主な結果

1. コスト vs パフォーマンス: 安価なジャッジは、フロンティアモデルに匹敵する性能を示しました。
   • ソースの関連性: GPT-5-mini（3番目に安価なモデル）が最高のF1値（0.908）を達成し、Claude Opus 4.6（F1=0.866）のようなより高価なモデルを上回りました。
   • 事実的裏付け: 単一のモデルが統計的に圧倒するという結果は見られませんでした。Claude Opus 4.6は最も高い点推定値（F1=0.750）を示しましたが、その95%信頼区間は、最も低コストのGPT-OSS-120B（F1=0.649）を含む他のすべてのモデルと重なっていました。
2. 方向性バイアスがスカラー指標を隠蔽する: 同程度のF1スコアを持つモデル間でも、バイアスには大きな差が見られました。
   • ほとんどのジャッジは、ソースの関連性においてゴールドラベルよりも厳格であり、高い適合率（Precision）を示す一方で、中程度の再現率（Recall）となりました（系統的な過小評価）。
   • 事実的裏付けについては、偽陰性率が幅広く分散しており（0.183から0.470）、一部のジャッジは、実際に裏付けられている主張の大部分を拒絶していました。
   • 著者らは、スカラーF1値はこれらの非対称性を覆い隠してしまうと指摘しています。これは、高いFPRはモデルに寛容なジャッジを悪用することを学習させ、高いFNRはモデルに過度なヘッジング（回避行動）や引用の抑制を学習させるため、極めて重要です。
3. 不一致と困難なケース: 初期の評議会が意見を分けた378の「困難な」ケースにおいて、ランキングは大きく変動しました。単一のジャッジが、このサブセットにおいて人間の裁定ラベルに信頼性を持って一致することはありませんでした。これは、完全なセットでのF1値が、曖昧な引用に対する信頼性の不完全なプロキシであることを示唆しています。

意義と主張
本論文は、ジャッジの較正（キャリブレーション）は、引用ルーブリックをRLVRの報酬信号として使用するための前提条件であると論じています。著者らの主張は以下の通りです。

• フロンティアモデルは厳密には必要ではない: 利用可能な最も高価なモデルが性能を支配するわけではなく、より安価なモデルが特定の次元（例：ソースの関連性）において同等または優れた結果を達成できます。
• バイアスは生の精度よりも重要である: ジャッジの選択は、単にスカラーF1を最大化することではなく、トレーニングループに求められる特定の方向性バイアス（例：偽陰性を最小化するか、偽陽性を最小化するか）に基づいて行われるべきです。
• 人間の裁定は不可欠である: ジャッジのランキングは曖昧なケースにおいて変化し、単一のモデルが困難な事例に対して完全に信頼できるわけではないため、堅牢なゴールドラベルを確立するには人間のレビューが必要です。

本研究は、低コストのジャッジが効果的にループを閉じることができる一方で、ジャッジの選択は、「大型モデルの方が優れている」というデフォルトの仮定ではなく、次元ごとのルーブリックへの適合性とバイアスの特性に基づいた意図的な設計上の選択であると結論付けています。