技術的サマリー：検証器の厳格さの隠れたシグナル

問題定義

生成型検証器は、段階的な検証を次のトークン予測問題として扱うことで、大規模言語モデル（LLM）の推論における誤検出のための有望なパラダイムとして登場しました。しかし、これらの検証器はしばしば不適切な較正に悩まされ、誤ったステップを誤って受容する「過少批判（under-critical）」か、正しいステップを誤って拒絶する「過剰批判（over-critical）」のいずれかの傾向を示します。この現象は「検証器の厳格さ（verifier strictness）」と呼ばれ、表面的なスタイルの問題により、検証器が欠陥のある解決策を誤って検証したり、有効なものを拒絶したりするポジティブバイアスとして現れます。

専用のプロセス報酬モデル（PRM）を微調整することでこれを緩和できますが、これはリソース集約的であり、最先端モデルが進化するにつれて急速に陳腐化するという欠点があります。さらに、古いモデル世代で訓練された評価器は、新しい指示調整モデルに対して一般化性能が低い傾向があります。したがって、広範な微調整や自己一貫性サンプリングの計算オーバーヘッドなしに、一般的な指示調整モデルにおいて検証器の振る舞いを適応的に制御できる、訓練不要な手法が必要です。

手法

著者は、隠れ状態の操作（hidden-state steering）を通じて検証器の厳格さを制御する、訓練不要な手法「VerifySteer」を提案します。このアプローチは、2 つの主要な発見と、それに対応する適応的フレームワークに基づいています。

1. 検証固有の潜在シグナルの発見

実証的分析を通じて、著者は検証器が解決ステップを受容するか拒絶するかの傾向が、対応する検証段落の直前にある段落境界デリミタトークン（\n\n）の隠れ状態に符号化されていることを特定しました。

• シグナルの局在化: 意思決定シグナルは均一に分散しているのではなく、特定のトランスフォーマー層（例：Qwen3-8B の層 22）に局在しています。
• 操作ベクトルの構築: 検証セットを用いて、著者は真の拒絶（TR）セグメントと偽の受容（FA）セグメントの隠れ状態の平均差を計算することで対照的な操作ベクトルを構築します（厳格さを高める場合、$d_{strict}$）。また、真の受容（TA）セグメントと偽の拒絶（FR）セグメントの差を計算します（寛容さを高める場合、$d_{lenient}$）。
• 介入: 推論時に、これらのベクトルをデリミタトークンの隠れ状態に追加し、検証器の出力を調節します。

2. VerifySteer フレームワーク

著者は、均一な操作（すべてのサンプルに単一のベクトルを適用すること）がトレードオフを生むことを観察しました。すなわち、厳格さを高めると誤検出（真陰性率、TNR）は向上しますが、正しさの認証（真陽性率、TPR）は損なわれ、その逆もまた然りです。これを解決するため、VerifySteer はサンプルレベルおよびデリミタレベルの適応性を導入します。

• サンプルレベルのルーティング: 軽量な正しさプローブ（$f_\phi$）が、プロンプトの隠れ状態に基づいて候補解決策が完全に正しい可能性を予測します。
  • 解決策が誤っている可能性が高いと予測される場合（$q \le \tau_l$）、システムは厳格さを高めるベクトル（$d_{strict}$）を適用します。
  • 解決策が正しい可能性が高いと予測される場合（$q \ge \tau_h$）、システムは寛容さを高めるベクトル（$d_{lenient}$）を適用します。
  • それ以外の場合、操作は適用されません。
• デリミタレベルのゲーティング: 操作は、局所的な隠れ状態が選択された方向（コサイン類似度閾値 $\rho$ によって決定）と整合しないデリミタトークンのみに対して適用されます。これにより、すでに望ましい振る舞いと整合しているトークンに対する不要な介入を防ぎます。

主要な貢献

1. 潜在シグナルの同定: 本論文は、検証器の厳格さが段落境界トークンの隠れ状態に符号化されており、微調整なしに標的とした介入によって調節可能であることを実証しています。
2. VerifySteer アルゴリズム: 誤検出と正しさの認証のバランスを取るために、サンプルを動的にルーティングし、デリミタ境界で選択的に介入する条件付き操作手法を提案します。
3. 実証的検証: さまざまなモデル規模（17 億から 700 億パラメータ）およびアーキテクチャ（密結合型と MoE）におけるProcessBenchおよびHard2Verifyベンチマークでの広範な実験。

実験結果

実験は、Qwen3-1.7B、Qwen3-8B、FARE-20B などのモデルを用いて、ProcessBench（GSM8K、MATH、OlympiadBench、Omni-MATH）および Hard2Verify 上で実施されました。

• ベースラインとの性能比較: VerifySteer は、F1 スコアの点でプロンプト最適化、活性化操作ベースライン（CAA）、および自己一貫性（Cons@4/Cons@8）を上回ります。
  • Qwen3-1.7B を用いた ProcessBench において、VerifySteer は自己一貫性を3.7 F1 ポイント上回ります。
  • Qwen3-8B-thinking を用いた Hard2Verify において、VerifySteer は自己一貫性を2.2 F1 ポイント上回ります。
• 効率性: VerifySteer は、複数のサンプリングトレースに依存する自己一貫性手法と比較して、4〜7 倍少ない推論計算量（FLOPs）でこれらの向上を達成します。
• 互換性: この手法は検証器の微調整と直交します。微調整済みの FARE-20B 検証器の上に適用した場合、VerifySteer は追加の向上をもたらします（F1 を 41.5 から 51.1 に引き上げ）、操作と微調整が相補的であることを示しています。
• アブレーション研究: サンプルレベルの適応性を除去すると TPR が低下し、デリミタレベルの適応性を除去すると TNR が低下します。これは、厳格さのトレードオフをバランスさせるために両方のコンポーネントが必要であることを確認しています。

意義と主張

本論文は、LLM 検証器が制御可能な潜在振る舞いを反映しており、再訓練の重たいコストなしに操作可能であると主張しています。検証器の厳格さに対する特定の隠れ状態シグナルを明らかにすることで、著者は一般的な指示調整モデルにおける検証器の振る舞いを軽量かつ適応的に制御する道筋を提供します。

その意義は、高価な微調整と計算的に重い自己一貫性の両方に対する実用的な代替案を提供する点にあります。VerifySteer は、現在の世代のモデルが、古い世代に基づいて構築された専用の微調整済み評価器の性能に匹敵、あるいはそれを超えることを可能にしつつ、意味的な整合性を維持し、解釈可能なステップレベルの説明を提供します。この研究は、表現工学が数学的推論タスクにおける生成型検証器の信頼性を向上させるための実現可能かつ効率的な戦略であることを示唆しています。