技術要約：拒絶から豊かさへ：長文ハルシネーション強化学習のためのルーブリック報酬

1. 問題提起

大規模言語モデル（LLM）における長文生成は、2つの異なるタイプのハルシネーションに悩まされている。それは、事実的ハルシネーション（世界知識と矛盾する主張）と、忠実性ハルシネーション（提供されたコンテキストに裏付けられていない主張）である。グラウンディング報酬を用いた強化学習（RL）は、根拠のない主張を抑制できる一方で、決定的なトレードオフをもたらす。すなわち、モデルがペナルティを回避するために回答を「拒絶」したり、過度に簡潔な回答を提供したりすることで、豊かさ（情報の網羅性）を犠牲にしてしまう現象である。

豊かさを強制しようとする既存のアプローチは、回答の長さ、主張数、あるいはペアワイズな関連性といったグローバルなプロキシ（代理指標）に依存している。著者らは、これらが不十分である理由として以下を挙げている：

• 長さは、フィラー（埋め草）によって膨らませることが可能である。
• 主張数は、些細な事実や無関係な事実を含んでしまう可能性がある。
• 一般的な関連性の判断では、質問に依存した特定の欠落コンテンツを特定できない。
• 厳格なグラウンディング報酬（例：根拠のない文章に対するバイナリ・ペナルティ）は、安全性を最大化するために出力を最小化するようにモデルを誘導し、「拒絶による豊かさの崩壊（refusal-to-richness collapse）」、つまりハルシネーションを避けるために回答を減らす挙動を引き起こす。

2. 手法

コア概念：キーポイント・ルーブリック

グローバルなプロキシの代わりに、本論文ではサンプルごとのキーポイント・ルーブリックを使用することを提案している。ここでルーブリックとは、ゴールドスタンダードの回答ではなく、特定の質問に対して豊かな回答がカバーすべき必須情報および任意の情報を指定した構造化されたチェックリストとして定義される。

• 構築: 単一のジェネレーターによる欠落を避け、広範な網羅性を確保するために、マルチジェネレーター・ユニオン・パイプライン（GPT-5.4、Gemini-3-Flash-Preview、および GPT-OSS-120B）を用いてルーブリックを生成する。
• 機能: これらは、情報の網羅性を評価する指標と、RLにおける報酬信号の両方の目的を果たす。

報酬設計のバリエーション

本研究では、2つのモデルファミリー（Qwen3-4B および DeepSeek-R1-Distill-Llama-8B）に対して5つの報酬戦略を比較している：

1. FACT-ONLY: バイナリ・グラウンディング報酬 ($R = G(y)$)。根拠のない文章をすべてペナルティとする。
2. FACT-PROXY: グラウンディングと、一般的な詳細度（支持された主張数の対数）、およびペアワイズな関連性を組み合わせたもの。
3. RUBRIC-ONLY: 明示的なグラウンディング項なしに、ルーブリックのチェックリストの網羅性 ($C_{rub}$) に報酬を与える。
4. FACT-RUBRIC: グラウンディングとルーブリックの網羅性の加算的な組み合わせ。
5. FACT-RUBRIC-REL: グラウンディング ($0.5G$)、ルーブリックの網羅性 ($0.4C_{rub}$)、およびペアワイズな関連性 ($0.1R_{rel}$) を組み合わせたソフトな3成分報酬。決定的な違いは、グラウンディングの失敗が全体の報酬をゼロにする「ゲーティング（乗算）」を避けている点である。

トレーニング・プロトコル

• アルゴリズム: GRPO (Group Relative Policy Optimization)。
• データ: 根拠のあるプロンプト（コンテキスト付き）2,000件と、オープンプロンプト（コンテキストなし）2,000件からなる計4,000件のプロンプト訓練セット。
• 安全性メカニズム: 有意義なグラウンディング判定を行うには短すぎる回答に対してフォーマット・ペナルティを適用し、回答を切り詰めることで報酬をハックする（回答を極端に短くする）挙行為を防止する。

3. 主な結果

イン分布（In-Distribution）パフォーマンス（グラウンディング・ベンチマーク）

標準的なグラウンディング・ベンチマーク（FACTS Grounding, LongFact, FActScore）において：

• FACT-ONLY は最も高いグラウンディング精度を達成するが、ルーブリックの網羅性と主張数を著しく抑制する（例：Qwen3-4B の網羅性は 0.459 から 0.334 へ低下）。
• RUBRIC-ONLY は網羅性を最大化するが、グラウンディング精度が崩壊する（例：Qwen3-4B において 0.097 まで低下）。
• FACT-RUBRIC-REL はバランスの取れたトレードオフを提供し、ベースモデルと同等のグラウンディングを維持しつつ、高い網羅性を保持する。

アウトオブ分布（Out-of-Distribution, OOD）パフォーマンス

チェックリストの完了を求めるタスク（CL-bench）およびクリエイティブ・ライティング（Arena-Hard）において：

• 厳格なグラウンディング (FACT-ONLY/PROXY): これらの報酬は、OOD パフォーマンスを積極的に損なう。DeepSeek-R1-Distill-Llama-8B において、FACT-PROXY はクリエイティブ・ライティングの勝率をベースモデルのわずかな割合まで低下させる。
• RUBRIC-ONLY: 最も強力な OOD 結果をもたらす。これは、質問固有の網羅性シグナルが多様なタスクにうまく転移することを示している。
• FACT-RUBRIC-REL: イン分布のグラウンディングと OOD 行動の両方をベースモデルと比較して改善させた唯一のバリアントである。これは、ルーブリック報酬によるチェックリスト完了行動を保持しつつ、十分なグラウンディングを維持することに成功している。

モデルの感度

「拒絶から豊かさへ」のトレードオフは、Qwen3-4B と DeepSeek-R1-Distill-Llama-8B の両方で一貫して見られる。しかし、推論蒸留された DeepSeek モデルの方が厳格なグラウンディング報酬に対して敏感であり、Qwen よりも鋭い回答長の崩壊と深刻な OOD 低下を示す。

4. 主な貢献

1. 豊かさの定式化: 本論文は、長文回答における豊かさを、単なる一般的な詳細度ではなく、質問固有の情報網羅性として定義し、ハルシネーションの RL を事実的エラーと忠実性エラーの共同緩和として枠付けた。
2. ルーブリック・パイプライン: 4つのグラウンディング・ベンチマークと 4K の RL 訓練セットに適用される、パー・サンプル（サンプルごと）のキーポイント・ルーブリックのためのマルチジェネレーター・パイプラインの構築。
3. 報酬構成の分析: グラウンディングとルーブリックの網羅性のソフトな構成（特に FACT-RUBRIC-REL）が、イン分布の安全性と OOD の有用性の間で最適なパレート境界を提供することを実証した。

5. 意義と主張

著者らは、「拒絶から豊かさへ」の問題は、グラウンディングに過学習した報酬が、モデルに「少なく話す」ことを教えるために発生すると主張している。本研究の意義は、以下のことを示した点にある：

• グラウンディングだけでは不十分である: それはサポート（裏付け）は捉えるが、完全性は捉えない。
• ルーブリックは不可欠である: それは、何を出力を避けるべきかだけでなく、何を含むべきかという必要なシグナルを提供する。
• ソフトな構成が鍵となる: 乗法的ゲーティング（グラウンディングの失敗が網羅性報酬を無効化する仕組み）は有用な挙動を抑制する。ソフトな加算的結合により、軽微なグラウンディングの問題が存在する場合でも、モデルが要求事項をカバーしたことに対してクレジット（報酬）を受け取ることが可能になり、長文生成に必要な「チェックリスト形式」の挙動が維持される。

著者らは、パー・サンプル・ルーブリックはグラウンディングの代替ではなく、補完として最も効果的であり、提案された報酬構成（FACT-RUBERIC-REL）が、グラウンディングされた豊かな長文生成器を訓練するための堅牢なソリューションを提供すると結論付けている。

6. 限界

本研究は、2つの比較的小規模なオープンウェイトモデル（Qwen3-4B および DeepSeek-R1-Distill-Llama-8B）に限定されている。著者らは、より強力なプロプライエタリ・モデルや大規模なモデルでは、厳格なグラウンディング・ゲートに対する感度が異なる可能性があると述べている。また、FActScore のクローズドブック・パフォーマンスは 0 に近い値であったが、これは報酬設計ではなく、ベースモデルのパラメトリックな知識の限界に起因するとされている。