技術要約: SEVA – プロセス報酬を用いた自己進化型検証エージェント

1. 問題提起

大規模言語モデル（LLM）エージェントは、極めて重要な信頼性のボトルネックである「ハルシネーション（幻覚）」に直面している。事実属性の検証器（fact attribution verifiers）は、エージェントの主張がソース文書によって支持されているかを判断する安全層として機能するが、既存のソリューション（例：MiniCheck, ClearCheck）には根本的な限界がある。すなわち、それらは不透明なバイナリラベル（真/偽）のみを出力するという点である。

この不透明性は、高リスクなデプロイメントにおいて2つの明確な失敗を引き起こす：

1. 自己修正の欠如: 検証器が主張を不当と判定した場合、エージェントはその理由（例：数値が膨らまされたのか、エンティティが入れ替わったのか、あるいは修飾語が捏造されたのか）を特定できないため、自律的な修正が不可能になる。
2. 監査可能性のギャップ: ラベルの背後にある推論プロセスが不可視であるため、人間のオペレーターは意思決定を意味のある形で監査することができない。

さらに、標準的なバイナリ報酬を用いた強化学習（RL）によるこのような構造化された検証器の訓練は失敗する。マルチコンポーネントの出力（アライメント、推論、ラベルを含むJSONなど）に適用した場合、バイナリ報酬はグループ相対方策最適化（GRPO）における**アドバンテージ崩壊（advantage collapse）**を引き起こす。訓練グループ内のほとんどの応答が（パースエラーや単一のコンポーネントの誤りにより）報酬0を受け取るため、グループ内の分散が消失し、方策勾配が消滅して訓練が停滞してしまう。

2. 手法

2.1. 構造化検証スキーマ (SEVA)

SEVAは、単一のラベルではなく、構造化され監査可能な出力 $v = (A, C, y, \gamma, e, s)$ を生成するように設計されている：

• エビデンス・アライメント ($A$): クレームのスパンをソースのスパンにマッピングし、ステータス（一致、不一致、未発見）を付与するトリプル。
• 推論チェーン ($C$): ソースのエビデンスに対して論理を追跡するステップ・バイ・ステップの検証プロセス。
• ラベルと確信度 ($y, \gamma$): バイナリの属性ラベルと、較正された確信度。
• エラー診断 ($e, s$): クレームが属性不能である場合、モデルは6つのエラータイプ（数値の誇張、否定の反転、範囲の拡大、時間的シフト、エンティティの置換、捏造）のいずれかを特定し、修正案を提示する。

2.2. プロセス報酬メカニメント

バイナリ報酬によるアドバンテージ崩壊を克服するため、著者らは検証の質を5つの独立したコンポーネントと1つの較正項に分解するプロセス報酬関数 $R$ を導入している：
$$R = \underbrace{w_f R_f + w_a R_a + w_c R_c}_{\text{プロセス (70\%)}} + \underbrace{w_l R_l + w_d R_d}_{\text{アウトカム (30\%)}} + R_{cal}$$

• コンポーネント:
  • $R_f$: フォーマットの妥当性（JSONパース）。
  • $R_a$: アライメントの品質（グラウンディング）。
  • $R_c$: 推論チェーンの品質（ステップ・バイ・ステップの論理）。
  • $R_l$: ラベルの正しさ。
  • $R_d$: エラー診断の正確性。
  • $R_{cal}$: 非対称な較正項（正しい確信には報酬を与え、過剰な自信による誤りには罰則を与える）。
• 重み付け: プロセス成分（フォーマット、アライメント、推論）には70%の重みが置かれ、アウトカム成分（ラベル、診断）には30%の重みが置かれる。これにより、エージェントはアウトカムを最適化する前に、検証の振る舞いを習得することを強制される。
• 理論的正当性: 著者らは、マルチコンポーネント生成におけるバイナリ報酬がGRPOグループにおいてゼロ分散を招き（アドバンテージ崩壊）、プロセス報酬はコンポーネントのスコアを分離することで非ゼロの分散を維持し、消失しない勾配を確保することを証明している（命題1および2）。

2.3. 訓練パイプライン

1. 教師あり微調整 (SFT): GPT-4o-miniによってアノテーションされた4,992個の構造化サンプルを用いて、3Bモデル（Qwen2.5）を微調整する。
2. プロセス報酬を用いたGRPO: SFTモデルに対し、350ステップのGRPO訓練を行う。プロセス報酬が勾配を回復させ、モデルが構造的品質と正確性を同時に向上させることを可能にする。
3. 自己進化ループ: 検証→内省→探索→洗練 (Verify→Reflect→Probe→Refine) ループを実装する。
   • 内省 (Reflect): エラー診断を集計し、脆弱なカテゴリを特定する。
   • 探索 (Probe): これらの脆弱なカテゴリに対して、ターゲットを絞った敵対的データを生成する。
   • 洗練 (Refine): 新しいデータを用いてモデルを微調整する。
   • このループは、7Bモデルのバリアントに対して4回繰り返された。

3. 主な結果

3.1. パフォーマンスと構造的品質

• 正確性: プロセス報酬で訓練されたSEVA-3Bは、ClearFactsベンチマークにおいて69.0 F1を達成し、GPT-4o-mini（69.8 F1）に匹敵し、SFTベースライン（64.9 F1）を大幅に上回った。
• 構造的信頼性: プロセス報酬により、フォーマット遵守率は72%（SFT）から100%へ、アライメント品質は0.917から0.997へと向上した。
• 比較: MiniCheck-7Bのようなバイナリ検証器は、より高い生の正確性（81.2 F1）を達成するが、それはバイナリ出力によるものである。SEVAは、安全性重視のデプロイメントに必要な監査可能な基盤（アライメント、推論、修正案）を提供しつつ、大規模モデルの性能に匹敵する。

3.2. 訓練ダイナミクス：暗黙のカリキュラム

プロセス報酬は暗黙のカリキュラムを誘発する：

• フェーズ1 (ステップ 0–150): エージェントは検証の振る舞い（フォーマット、アライメント、推論チェーン）を習得する。
• フェーズ2 (ステップ 150–350): エージェントは検証のアウトカム（F1スコア）を洗練させる。
  これは明示的なスケジューリングなしに、70/30の報酬重み付けによって駆動される。

3.3. 自己進化と専門化

自己進化ループによる反復的な洗練は、構造的な発見をもたらした：それは汎用化ではなく専門化である。

• 各精緻化ラウンドは、厳密な意味でのより優れた汎用モデルではなく、ベンチマーク特化型モデルを生み出した。
• トレードオフ: ラウンド2–4では、HaluEvalの性能は向上したが（+14.9 pp）、TruthfulQAの性能は低下した（−12.4 pp）。
• この効果は、4倍の訓練データを用いても（ラウンド4）持続しており、これはデータ分布に起因する現象であり、オーバーフィッティングではないことを示唆している。構造化出力は、集約された正確度では隠されてしまうであろう、このカテゴリごとの動態を明らかにするために不可欠であった。

3.4. アブレーション研究

• バイナリ報酬の失敗: GRPOにおいてプロセス報酬をバイナリ報酬に置き換えると、F1は65未満となり、構造的な改善も見られなかった。これは、バイナリ報酬がアドバンテージ崩壊により訓練を停滞させることを裏付けている。
• 報酬の感度: 70/30（プロセス/アウトカム）の分割が最良のバランスをもたらした。アウトカムに偏りすぎると構造的品質が低下し、プロセスに偏りすぎるとラベルの正確性が低下した。

4. 意義と主張

本論文は主に3つの貢献を主張している：

1. SEVAエージェント: GPT-4o-miniの精度に匹敵しながら、人間による介入（human-in-the-loop）の信頼に不可なる監査可能な出力（アライメント、推論、エラー修正）を生成する構造化検証器。
2. プロセス報酬による解決策: マルチコンポーネント生成における「アドバンテージ崩壊」問題に対する形式的な解決策。著者らは、マルチコンポーネント生成を伴うあらゆるRLタスクにおいて、報酬の粒度は出力の粒度と一致しなければならないと主張している。
3. 自己改善に関する構造的洞察: ターゲットを絞った敵対的プローブによって駆動される反復的な自己精緻化ループは、汎用モデルではなく**専門家（スペシャリスト）**を生み出す傾向があるという発見。これは、Self-RefineやSTaRの文献で一般的な単調な改善の仮定に異議を唱えるものである。

著者らは、5つのコンポーネントへの分解は「二重用途の資産」であると結論づけている。それは、複数の勾配を抽出することを可能にし（学習を可能にする）、同時にカテゴリごとの動態を露出させる（専門化の発見を可能にする）ものである。彼らは、信頼できるエージェントのパイプラインは、汎用性を達成するために単に訓練ラウンドを追加するのではなく、アーキテクチャによる応答（例：ドメインごとのルーティング）を優先すべきであると示唆している。