技術要約：BALTO – ハルシネーション抑制のためのバランスの取れたトークンレベルのポリシー最適化

1. 問題提起

大規模言語モデル（LLM）は、知識集約的な設定において、提供された根拠に事実的裏付けがない、あるいは矛盾する内容を生成してしまう「忠実性ハルシネーション（faithfulness hallucinations）」という重大な課題に直面しています。強化学習（RL）はこれらを軽減するための有望な手段ですが、既存のアプローチには**粒度の不一致（granularity mismatch）**という問題があります。

既存のRL手法の多くは、出力全体に対して単一のスカラー・スコアを割り当てるレスポンスレベルの報酬を採用しています。この粗い粒度の監督では、同一のレスポンス内にあるハルシネーション部分と忠実な内容を区別することができません。その結果、局所的なエラー（例：誤った日付やエンティティ）が、全トークンに対して一律の負のペナルティを引き起こし、正しい情報までも誤って抑制してしまいます。これにより、ペナルティを回避するためにモデルが短く保守的な回答を生成するといった「報酬ハッキング（reward hacking）」行動を誘発します。

最近の細粒度なアプローチ（クレームレベルやトークンレベルの報酬など）は検出には優れていますが、多くの場合、**クレジット割り当て（credit assignment）**の問題を解決できていません。不均衡なトークンレベルの報酬は、冗長性や長さへのバイアスを生じさせることがあり、またグローバルなレスポンスレベルのアドバンテージに紐付けられた手法は、依然としてグローバルな信号からのノイズを継承してしまいます。核心となる問題は、ハルシネーションしたトークンを正確に罰する一方で、同一レスポンス内の忠実なトークンを補償するメカニズムが欠如しており、単に生成を抑制するのではなく、真実性に向けて確率質量を再分配させる仕組みがないことです。

2. メソドロジー：BALTOフレームワーク

著者らは、ハルシネーションを局所化し、トークンレベルでバランスの取れたクレジットを割り当てるために設計された強化学習フレームワークである**BALTO（Balanced Token-Level Policy Optimization）**を提案しています。このフレームワークは、主に2つの段階で動作します。

A. 細粒度なハルシネーション・トークン検出

BALTOは、サンプリングされたレスポンスを処理するために、LLMベースの忠実性評価器を利用します。

1. クレーム抽出（Claim Extraction）: システムは、レスポンスから検証可能な事実的クレーム（例：エンティティ、数値、日付、関係性）を抽出します。
2. 検証（Verification）: 各クレームは、参照コンテキスト（検索された文書）と照らし合わされます。クレームは、**忠実なクレーム（$C^+$）とハルシネーションしたクレーム（$C^-$）**の集合に分割されます。
3. トークン投影（Token Projection）:
   • 忠実なクレーム内のトークンは、**忠実（Faithful, $F$）**とラベル付けされます。
   • ハルシネーションしたクレームについては、システムはエラーの原因となっている最小限の誤ったトークン部分集合（$e_{i,m}$）（例：文全体ではなく、誤った数値である「11.4%」のみ）を特定しようと試みます。分離が不可能な場合は、クレームの全スパンがペナルティの対象となります。これらのトークンは**ハルシネーション（Hallucinated, $H$）**とラベル付けされます。
   • 検証可能なクレームの外にあるトークン、またはハルシネーションしたクレーム内の忠実なトークン（エラーの特定ができなかった場合）は、**中立（Neutral, $N$）**とラベル付けされます。

B. バランスの取れたトークンレベルのクレジット割り当て

単一のアドバンテージをすべてのトークンに放送する標準的なGRPOとは異なり、BALTOはトークンラベルに基づいて特定のアドバンテージ（$A^{bal}_{i,t}$）を割り当てます。

• ハルシネーションしたトークン（$H$）: -1の負のアドバンテージを受け取ります。
• 忠実なトークン（$F$）: $N^-_i / N^+_i$の補償的な正のアドバンテージを受け取ります。ここで、$N^-$と$N^+$はそれぞれハルシネーションしたトークンと忠実なトークンの数です。
• 中立なトークン（$N$）: 0のアドバンテージを受け取ります。

主要メカニズム: この設計は、レスポンス内ゼロサム特性（$\sum A^{bal}_{i,t} = 0$）を保証します。ハルシネーションによる総負の信号は、忠実な内容による総正の信号によって正確に相殺されます。これにより、ポリシーがレスポンス全体を抑制するのではなく、ハルシネーションした内容から忠実な内容へと確率質量を再分配することを促します。

C. 最適化目的関数

BALTOは、GRPOに似たクリップされた目的関数を用いてポリシーを最適化しますが、これは事実的なトークン（$H \cup F$）に限定されます。目的関数は期待されるバランス・アドバンテージを最大化し、更新を事実的なトークンの数（$Z_i = \max(1, |H| + |F|)$）によって正規化します。

3. 理論的分析

本論文は、レスポンスレベルのGRPOに対するBALTOの優位性を実証する理論的証明を提供しています。

• 分散の低減（定理1）: レスポンスレベルのGRPOは、レスポンスの総長に比例してグラディエントの分散が増大します（$O(T)$）。対照的に、BALTOは分散をハルシネーションしたトークンの数のみにスケールさせます（$O(N^-)$）。ハルシネーションは疎（sparse）であるため、これによりグラディエントのノイズが大幅に減少し、学習が安定します。
• 最適化効率（定理2）:
  • コールドスタート（$p \to 0$）: レスポンスレベルのGRPOは、忠実なレスポンスが稀な場合、正規化係数が消失するため「グラディエント飢餓（gradient starvation）」に陥ります。BALTOは強力で有界なローカル信号（$O(1)$）を維持し、初期段階の探索を効率化します。
  • 収束（$p \to 1$）: レスポンスレベルのGRPOは、稀なエラーに対して無制限に発散するペナルティ（$A^- \to -\infty$）を引き起こし、終盤の収束を不安定にします。BALTOは厳密に有界なアドバンテージ（$[-1, 1]$）を維持し、安定かつ緩やかな収束を実現します。

4. 実験結果

実験は、ConFiQA（反事実的QA）、RAGTruth（RAGハルシネーション・コーパス）、およびFinLLM-Eval（金融ドメインQA）の3つのベンチマークで実施されました。使用されたモデルには、Qwen3-8BおよびQwen3-4Bが含まれます。

主な知見:

• 忠実性（Faithfulness）: BALTOは、6つのモデル・ベンチマーク設定すべてにおいて最高の忠実性スコアを達成し、レスポンスレベルのベースライン（GRPOB、GRPOD）およびトークンレベルのベースライン（FSPO）を上回りました。
• Q-Score: BALTOは一貫して最高のQ-Score（忠実性 $\times$ 情報量と定義）を達成し、正確性と情報の保持の優れたトレードオフを示しました。
  • 最も強力なポストトレーニング・ベースラインと比較して、BALTOは平均で2.7ポイント（最大4.9）、忠実性において3.1ポイント（最大6.7）Q-Scoreを向上させました。
• 学習ダイナミクス:
  • グラディエント・ノルム: BALTOは、レスポンスレベルの手法よりも桁違いに小さく、集中したグラディエント・ノルムを示し、分散の減少を裏付けました。
  • パラメータ更新: BALTOは、より少ないパラメータ更新（GRPOBの約17%に対し、BALTOは約12%）で高い忠実性を達成し、関連するパラメータに焦点を当てた効率的な学習が行われていることを示しました。
• アブレーション研究: 忠実なトークンに対する正の補償的アドバンテージを除去した場合（$PA=0$に設定）、忠実性と情報量の両方において大幅な低下が見られ、バランスの取れたクレジットメカニズムの必要性が検証されました。

5. 意義と主張

本論文は、BALTOがハルシネーション抑制における決定的なギャップ、すなわちバランスの取れた細粒度のクレジット割り当ての必要性に対処していると主張しています。

• 精度: エラーを特定のトークンに局所化し、報酬信号をバランスさせることで、BALTOはレスポンスレベルのRLによる「全か無か」のペナルティを回避し、レスポンスの情報量を維持します。
• 安定性: 理論的および経験的な証拠は、バランスの取れたトークンレベルの割り当てが、特に学習の初期段階および収束時において、より安定した学習軌道と高い最適化効率をもたらすことを示唆しています。
• トレードオフ: 結果は、過度に保守的または冗長な生成に陥ることなく、ハルシネーションを大幅に減少させ、従来のポストトレーニング手法よりも強力な忠実性・情報量のトレードオフを達成できることを示しています。

著者らは限界点についても言及しており、主にこの手法がクレームの抽出と検証のために外部のLLMベースの評価器に依存しているため、その性能は評価器の精度に制約されるという点です。また、本フレームワークは参照文書が利用可能な、検索に基づく設定（retrieval-grounded settings）向けに設計されています。