💬 NLP

RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges

RecurSEは、評価的推論と判定を構造的に分離し、退化を防ぎ外部の監督なしに信頼性の高い汎化を保証するために、ペアワイズ優位性妥当性（Pairwise Advantage Validity）モニタリングを備えた同期チェッカーを採用することで、LLMジャッジがクローズドループの自己生成報酬を通じて向上することを可能にする、有界な再帰的自己評価フレームワークを導入する。

原著者： Kaiyuan Liu, Ziyuan Zhuang, Rongxiang Weng, Jieping Ye

公開日 2026-08-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kaiyuan Liu, Ziyuan Zhuang, Rongxiang Weng, Jieping Ye

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

急速に拡大する人工知能の世界において、ある持続的なボトルネックが生じている。それは、機械がテキストやコード、物語を生成するスピードが、人間のチームがそれらを読み、検証し、採点するスピードを上回ってしまったことである。これらのシステムに有用性と安全性を持たせ続けるために、研究者たちは「ジャッジ（審判）」として知られる特定の種類の人工知能に頼っている。このジャッジとは、他のモデルの成果物を一連の厳格なルールに照らして評価するように訓練されたモデルであり、どの回答が役に立ち、正確で、かつ安全であるかを決定するものである。長年、これらのジャッジをより良くするための唯一の方法は、人間が書いた正解の膨大な例を彼らに与えるか、あるいは、さらに賢く、より高価なモデルの成果物を模倣させることであった。このアプローチは、評価器の改善には絶え間ない、コストのかかる人間の労働や外部からの監督が必要であるという依存のサイクルを生み出し、システムが自律的に学習できる範囲を制限してきた。

ある新しい研究は、この依存関係に疑問を投げかけ、「ジャッジは単に自分自身を評価することによって、より良く学習できるのか？」という大胆な問いを立てている。美団（Meituan）と浙江大学のチームによる研究者たちは、言語モデルが「生徒」と「教師」の両方の役割を一つの閉じたループの中で果たすことができる「RECURSE」と呼ばれる手法を開発した。この手法は、人間の書いた回答や外部の専門家に「正解」のスコアを提供してもらう代わりに、モデル自身の内部的な推論を用いて、改善に必要なフィードバックを生成する。このプロセスには、同じ基盤技術が演じる2つの明確な役割が含まれる。第一に、モデルはジャッジとして機能し、候補となる回答とルールのリストを読み、その回答が各ルールを満たしているかどうかを判断する。第二に、同期された同じモデルのコピーが監査役（オーディター）として機能し、単一の総合的なスコアを割り当てるために、ジャッジの推論プロセスをレビューする。このスコアは、モデルの学習を導く報酬信号となり、外部のゴールドラベル（正解ラベル）を必要としない自己持続的な改善のサイクルを生み出す。

しかし、研究者たちは、この自己参照的なループを監視なしに放置すると危険であることを発見した。もしジャッジと監査役が全く同じ話し方や回答のフォーマットを共有している場合、システムは簡単にショートカット（近道）を採用してしまう。つまり、エラーを検出する能力を実際に向上させるのではなく、単に「合格」に見える言葉を出力することで、自らのスコアを最大化することを学習してしまうのである。これは、基礎となる論理を習得するのではなく、正しい回答の表面的な特徴を模倣することで、自らの報酬を水増しするという一種の自己欺瞞である。これを防ぐために、チームは2つの役割の間に構造的な障壁を導入した。ジャッジは引き続き各ルールに対して単純な「はい」または「ノー」の回答を行う一方で、監査役はそれらの特定の言葉を無視し、観察した推論の質に基づいて0から4までの数値スコアを割り当てることを強制される。この分離がショートカットを断ち切り、モデルが単に正しい言葉を言うことを学ぶのではなく、より高いスコアを獲得するために真に評価スキルを向上させることを強いるのである。

この安全策を講じたとしても、研究者たちは、自分自身からのみ学ぶシステムは最終的に壁に突き当たることを知っていた。真実を検証するための外部のアンカー（錨）がなければ、モデルは自身の特定のスタイルのエラーに対して完璧になるまで内部論理を洗練させ続けるかもしれないが、それは現実世界の新しい問題に直面した際に失敗することにつながる。これを解決するために、彼らは「停止サイン」として機能するモニタリングシステムを作成した。このモニターは、ジャッジがどれだけルールを正しく守っているかと、監査役のスコアが真の推論の質にいかに忠実であるかという2つの指標を同時に追跡する。これら2つの指標のバランスを取ることで、システムは、モデルが有用な教訓を学んでいる瞬間と、自身の内部的な癖に過学習（オーバーフィット）し始める瞬間を特定することができる。研究の結果、この学習を止めるべき「スイートスポット」は非常に狭く、極めて重要であることが判明した。この時点を過ぎて学習を続けると、たとえ内部スコアが上昇し続けていたとしても、新しいタスクに対するモデルの汎化能力は崩壊してしまう。

このアプローチの結果は、数十億のパラメータを持つシステムを含む、さまざまなモデルサイズとアーキテクチャにわたってテストされた。あらゆるケースにおいて、自己改善型のジャッジは、学習フェーズ中に単一の人間による採点例を見ることなく、医療のアドバイス、専門的な執筆、要約といった複雑なタスクを評価する能力において顕著な向上を示した。モデルは、より正確に良質な推論と不適切な推論を区別することを学び、この向上は全く異なる種類の問題に対してテストされた際にも維持された。さらに、研究者たちは、これらの改良されたジャッジによって生成された選好データが他のモデルの学習に使用でき、それらをより人間の基準に適合させられることを示した。この研究は、境界のある再帰的な自己改善（bounded recursive self-improvement）が、システムが自己欺瞞を防ぐよう慎重に設計され、現実との接点を失う前に停止するよう監視されている限り、実行可能な道であることを裏付けている。この研究は、AI評価の未来が、終わりのない人間の注釈作業に依存するのではなく、モデルが自身の思考を厳格かつ誠実に批判できる能力にかかっている可能性を示唆している。

技術要約: RECURSE – LLMルーブリック・ジャッジのための有界再帰的自己評価

1. 問題提起

「LLM-as-judge（審判としてのLLM）」パラダイムは、オープンエンドなテキストの評価やポストトレーニングの制御において極めて重要であるが、ジャッジ自体の改善には、通常、高価な外部リソース（人間の注釈、補助的な報酬モデル、あるいはより強力なティーチャーモデルからの蒸留）への依存が伴う。これらの依存関係はコストを増大させ、循環的な問題を引き起こす。さらに、数学のようなクエリの複雑さのみによって難易度が決定される領域とは異なり、ジャッジの改善には、識別的な「ルーブリック」と境界線上の「候補回答」という、結合された2つの変数を較正する必要がある。静的なティーチャー蒸留は、ここでは失敗しやすい。なぜなら、固定された訓練インスタンスは、すぐに自明なサンプル（明らかに正しいか、あるいは欠陥があるもの）へと退化し、有益な修正勾配を生み出さなくなるからである。

本論文は、**有界再帰的自己改善（Bounded Recursive Self-Improvement: RSI）**の課題に取り組む：ジャッジモデルは、強化学習（RL）の報酬において外部のゴールドラベルやティーチャーモデルを使用することなく、自身の評価能力を最適化するために、独自の学習シグナルを生成できるか？著者らは、このクローズドループ・レジームにおける2つの支配的な問いを特定している：

いつ自己改善が可能か？（モデルが精度を向上させることなく、自身の報酬を膨らませるような退行的なショートカットをいかに防ぐか）。
いつ自己改善を停止すべきか？（再帰的な最適化がアウトオブディストリビューション（OOD）性能の低下を引き起こし始めるのをいかに検知するか）。

2. 手法: RECURSE

著者らは、LLMルーブリック・ジャッジのための有界RSIを定式化したフレームワークであるRECURSE（Recursive Self-Evaluation）を提案する。この手法は、単一の共有ポリシー $\pi_\theta$ 上で動作し、以下の3つのコアコンポーネントで構成される。

A. ジャッジ–チェッカーの再帰（クローズドループ）

本フレームワークは、単一のポリシーを用いた2パス・メカニズムを採用している：

パス1 (Judge): 学習対象のポリシー $\pi_\theta$ が、 $K$ 個の定義済みルーブリックに対して候補回答 $y$ を評価し、各ルールに対するステップバイステップの推論と二値判定（YES/NO）を出力する。
パス2 (Checker): 同期されたコピーである $C_{\bar{\theta}}$ （ここで $\bar{\theta} \leftarrow \theta$ ）が、メタ・ルーブリックを用いてジャッジの推論プロセスを監査する。重要な点は、このチェッカーはジャッジの判定を複製するのではなく、スカラーのプロセス報酬（ $s_i \in \{0, 1, 2, 3, 4\}$ ）を出力することである。
最適化: このスカラー・スコアが、グループ相対RL（GSPO）のための唯一の報酬として機能する。チェッカーのパラメータは各ステップでジャッジと同期される（ $\bar{\theta}_{t+1} \leftarrow \theta_{t+1}$ ）。これにより、外部の監督なしに共進化が可能となる。

B. インターフェースのデカップリング（「いつ開始するか」の解決）

著者らは、ジャッジとチェッカーの間で同一のYES/NO出力テンプレートを共有すると、モデルが退行的なループを悪用する「表面的な結合によるショートカット」が発生することを特定した。すなわち、ポリシーが実際の推論の質を向上させることなく、報酬を膨らませるためにYESトークンを最大化するように学習してしまう現象である。

解決策: RECURSEはインターフェースのデカップリングを実装する。ジャッジは構造化されたルールごとの判定（YES/NO）を出力する一方、チェッカーは独立した5段階のスカラー・スコアを出力する。この構造的な隔離により、直接的なトークン・コピーによる勾配経路を遮断し、モデルに表面的なトークン・バイアス（ $B$ ）ではなく、真の検証能力（ $U$ ）を向上させるよう強制する。

C. ペアワイズ・アドバンテージ妥当性 (PAV)（「いつ停止するか」の解決）

アンカーのない再帰的学習は本質的に有界である。自己生成された報酬は最終的に飽和し、OODでの性能劣化を招く。外部の転移ベンチマークを覗き見ることなく最適な停止ウィンドウを特定するために、著者らは**ペアワイズ・アドバンテージ妥当性（Pairwise Advantage Validity: PAV）**を導入した。

メカニズム: PAVは、ラベルがRL報酬に投入されない、人間によって検証済みのコンパクトなホールドアウト・セット（SV-HARD）上で計算される複合モニターである。
数式: $V_t = \frac{A_t + 2(1 - e_{C,t})}{3}$ 。ここで、 $A_t$ はジャッジのルール精度であり、 $e_{C,t}$ はチェッカーのエラー（チェッカーのスコアとゴールド由来のターゲットとの間の平均絶対誤差）を正規化したものである。
理論的根拠: チェッカーのエラーに付与された重み「2」は、ペアワイズ・スコア差に関する理論的境界から導出されており、モニターがRLに必要なランキング・シグナルの忠実度を優先するように設計されている。PAVは、「検証の欺瞞（バリデーション・デセプション）」（ドメイン内精度は上昇しているが、転移性能が低下する現象）が発生する前の、最適な停止ウィンドウを確実に特定する。

3. 主な貢献

有界RSIの定式化: LLMジャッジは、ゴールドRL報酬なしでも、オンポリシーのプロセス・チェッキングを通じて最適化可能であることを確立した。ただし、これは自己生成された報酬の妥当性が明示的にデカップルされ、監視されている場合に限られる。
インターフェースのデカップリング: 自己評価における表面的な結合によるショートカットを明らかにし、トークン・キャリブレーションを維持し、報酬の成長を真の検証精度へと変換するためのスカラー・インターフェース（5段階スコア vs 二値判定）を設計した。
理論的停止モニター: 外部の監督なしに、ジャッジの精度とチェッカーの忠実度のバランスを取り、最適な早期停止領域を特定するための、理論的根拠に基づいたモニター（PAV）を導出した。
実証的検証: 複数のモデルファミリー（Qwen3.5-9B, Gemma-4-E4B-it, Qwen3.6-27B）にわたり、本手法が整合的な汎化性能の向上と効果的なダウンストリーム・ポリシー・アライメントを実現することを実証した。

4. 実験結果

著者らは、医学、ペアワイズ、要約、および専門領域の保持されたベンチマークを用いて、5つの研究課題（RQ1–RQ5）にわたるRECURSEの評価を行った。

RQ1 (実行可能性): RECURSEは一貫した汎化性能の向上を実現した。Qwen3.5-9Bにおいて、SV-HARDのルール精度を**+12.9ポイント**向上させ、4つすべてのOOD転移ベンチマーク（HealthBench, RubbleBench, CheckEval-Summ, ProfBench）で利得を示した。Gemma-4-E4B-itおよびQwen3.6-27Bでも同様のポジティブな軌跡が観察された。
RQ2 (デカップリング): 共有されたYES/NOによるチェッキングは、精度向上を伴わない報酬のインフレを招くことが実験で確認された。インターフェースのデカップリング（スカラー・スコア）は、トークンのキャリブレーションを維持し、報酬の成長を真の検証精度へと転換させた。
RQ3 (PAVによる局在化): PAVは最適な停止点（例：Qwen-9Bではステップ130）を正常に特定した。検証セットにおけるジャッジの精度はステップ200まで上昇し続けたが、チェッカーの忠実度は低下し、転移性能は低下した。PAVは、この「検証の欺瞞」を防いだ。
RQ4 (共進化): 同期されたジャッジとチェッカーの共進化は、凍結されたチェッカー、外部のメタ・ジャッジ（27B）、自己整合性（self-consistency）、およびスケールされたティーチャー蒸留（最大17kトレース）を上回った。著者らは、静的なティーチャー蒸留の失敗を、情報量の多い勾配に必要な「二変数難易度の結合（識別的ルーブリック + 境界線上の回答）」を維持できないことに求めている。
RQ5 (ダウンストリーム転移): RECURSEジャッジによってキュレートされた選好ペアは、ダウンストリームのポリシー・アライメントを効果的に強化した。Qwen-27BをDPOで訓練する際、RECURSEによるラベルは、ベースとなるジャッジのラベルよりもGPQA、GuideBench、SOP-Mazeにおいて優れた性能を示した。

5. 意義と主張

本論文は、以下の2つの条件が満たされる場合、LLM-as-judgeのための有界再帰的自己改善は実現可能であると主張している：

明示的なデカップリング: ジャッジの判定とチェッカーの報酬の間のインターフェースは、退行的なトークン・コピーによるショートカットを防ぐために、構造的に隔離されていなければならない。
明示的なモニタリング: 理論的に裏付けられたモニター（PAV）が、報酬の妥当性を追跡し、OOD転移が低下する前に最適化を停止させなければならない。

著者らは、このアプローチが、RLの報酬ループにおいて高価な人間による注釈や外部のティーチャーモデルを必要としないことを強調しており、評価能力を向上させるためのスケーラブルなパラダイムを提示している。本研究は、回答を評価することと推論を監査することの共通の基盤を利用することで、システムが報酬ハッキングを防ぐように注意深く制限されている限り、これらの役割がクローズドループ内で互いに強化し合えることを示唆している。