🤖 AI

From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement

本論文は、数学やコーディングといった従来の検証可能な領域を超えて、大規模言語モデルのスケール可能でバイアスのない自己改善を可能にするために、オープンエンドなタスクを検証可能なプロキシ環境へと変換するパラダイムである、自己検証可能報酬を用いた強化学習（RLSVR）を提案しており、その例として社会的推論ゲームに着想を得たSpyRL手法を挙げている。

原著者： Qinsi Wang, Jing Shi, Huazheng Wang, Kun Wan, Yiran Wu, Bo Liu, Qingyun Wu, Hai Helen Li, Yiran Chen, Handong Zhao, Wentian Zhao

公開日 2026-08-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qinsi Wang, Jing Shi, Huazheng Wang, Kun Wan, Yiran Wu, Bo Liu, Qingyun Wu, Hai Helen Li, Yiran Chen, Handong Zhao, Wentian Zhao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コンピューターが、明確な解答集がある数学の問題を解いたり、完璧な精度でコードを書いたりできる、極めて優秀な学生であるような世界を想像してみてください。もし彼らが答えを間違えたとしても、教師はすぐにそれを知り、その学生は間違いから学びます。今日の最もスマートなAIモデルの多くは、このように「正解」が明白で検証可能なタスクを用いて訓練されています。しかし、もし教師が詩や面白い物語、あるいは長いニュースレポートの要約を求めたらどうなるでしょうか？クリエイティビティには、たった一つの正解というものはありません。人間がすべての答案を採点することなく、コンピューターはどうやって自分の物語が「良い」かどうかを知るのでしょうか？これこそが、研究者たちが解決しようとしている大きなパズルです。つまり、人間の監視を毎回必要とせずに、オープンエンドでクリエイティブなタスクにおいてAIを向上させる方法です。

これから読む論文は、「自己教師あり学習（self-supervised learning）」と呼ばれる別の科学分野の手法を借りることで、この問題に取り組んでいます。これは、学生が先生からクイズを出されるのを待つのではなく、練習のために自分自身で小さなゲームを考案するようなものです。例えば、文章の中の単語を隠して、それが何であったかを推測するというゲームです。たとえそのゲームが最終試験ではなくても、その遊びを通じて言語をより深く学ぶことができます。この論文の研究者たちは、「AIに、正解がない状況でも、文章作成や推論の能力を高めるための同様のゲームをプレイさせることはできるだろうか？」と問いかけています。彼らは、RLSVR（Reinforcement Learning with Self-Verifiable Rewards：自己検証可能な報酬を用いた強化学習）と呼ばれる新しいAI訓練手法を提案しています。物語が「良い」かどうかを推測しようとする（それは難しく、主観的です）代わりに、AIが厳格で組み込まれたルールを用いて自分の成果物をチェックできるような、ゲームへとタスクを変換するのです。

スパイゲーム：AIがいかにして文章力を向上させるか

研究者たちは、このアイデアの特定バージョンの名称をSpyRLと名付けました。これを理解するために、5人の友人が円になって座り、「誰がスパイか？」というゲーム（人気のパーティーゲーム『人狼』などにインスパイれたもの）をしている場面を想像してみてください。

AIの世界におけるこのゲームの仕組みは以下の通りです：

セットアップ： グループに「ロボットが恋に落ちる物語を書け」といった執筆プロンプトが与えられます。4人のプレイヤー（「市民」）には、完全で詳細なプロンプトが与えられます。1人のプレイヤー（「スパイ」）には、壊れた、不完全なバージョンのプロンプトが与えられます。例えば、単語の半分が欠けていたり、バラバラになっていたりします。
パフォーマンス： 全員が見ている内容に基づいて物語を書かなければなりません。市民はすべての情報を持っているため、素晴らしく詳細な物語を書くことができます。しかし、スパイは情報が欠けています。見破られるのを避けるために、スраイは欠けている部分が何であったかを推測し、たとえ目隠し状態で書いているとしても、そのテーマに適合しているように見える物語を書かなければなりません。
検知： 全員が書き終えた後、グループはすべての物語を読み、誰がスパイだと思うかを投票します。
報酬： ここに魔法があります。ゲームを実行しているコンピューターは、誰がスパイであったかを正確に知っている（役割を割り当てた本人である）ため、投票結果を即座にチェックできます。
- グループが正しくスパイを特定した場合、投票したプレイヤーには報酬が与えられます。
- スパイが投票によって追放された場合、スパイには「罰」（低いスコア）が与えられます。
- 市民が間違って投票されてしまった場合、市民には低いスコアが与えられます。

これにより、完璧な自己チェックのループが生まれます。AIは、人間から「その物語は退屈だった」と言われる必要はありません。代わりに、ゲームのルールがフィードバックを提供します。もしスパイの物語があまりに漠然としていたり、テーマに合っていなかったりすれば、他のプレイヤーはそれを見抜き、投票して追放します。もし市民が混乱を招いたり的外れな物語を書いたりすれば、誤って投票されてしまう可能性があり、それが彼らに「より明確に書くこと」を教えることになります。

研究の結果

研究者たちは、この「スパイゲーム」を3つの非常に異なるタイプのタスクでテストしました。

長いレポートの要約（例：20ページの政府文書を短い要約にすること）。
クリエイティブ・ライティング（プロンプトに基づいた物語の作成）。
数学的推論（複雑な数学の問題を解くこと）。

結果は非常に驚くべきものでした。通常、クリエイティブな作品がどれほど優れているかを「推測」する方法（他のAIモデルを判定役として使う方法）は、あまり向上しない傾向にあります。しかし、SpyRLは、タスクを明確なルールを持つゲームに変えることで、AIに優れた物語や要約を書くことを教えることに成功しました。

実験において、SpyRLで訓練されたAIは、他の高度な自己改善手法を上回りました。例えば、クリエイティブ・ライティングのタスクでは、同じモデルの未訓練バージョンと比較して、SpyRLで訓練されたモデルは約**77.3%の確率で勝利しました。答えが通常チェック可能な数学の問題においても、SpyRLは依然としてスコアを大幅に改善し、一部の困難なベンチマークにおいてモデルの数学的正確さをほぼ9%**向上させました。

この論文は、このアプローチが機能する理由として、AIに自身の出力の質に注意を払わせるからだと示唆しています。ゲームに勝つ（あるいは少なくとも負けない）ためには、AIは一貫性があり、創造的で、論理的に妥当な物語を書かなければなりません。もし弱々しいものや混乱を招くものを書けば、ゲーム内の他のプレイヤーによって「見破られて」しまうのです。

なぜこれが重要なのか

最大の教訓は、AIにクリエイティビティを教えるために、人間の教師や完璧な解答集は必要ないということです。曖昧なタスク（「良い物語を書け」など）を、隠された役割と明確な勝ち負けの条件を持つ構造化されたゲームへと変換することで、AIは自律的に向上することを学べます。研究者たちは、この手法が数学（答えの確認が容易な分野）だけでなく、正解が意見の相違になりやすい文章作成や要約においても有効であることを示しました。

彼らは、ゲームに参加するプレイヤーが多いほど（ある一定の範囲までは）、訓練のシグナルがより強力になることを見出しました。これは、AIの「群衆」が議論し投票することが、悪いアイデアを排除するのに役立つことを示唆しています。この論文は、この手法がAIのあらゆる問題を解決すると主張しているわけではありませんが、一つの有望な道筋を提示しています。それは、人間の創造性という混沌とした主観的な世界を、コンピュータが自力でプレイし、勝ち、学び取ることができる「ゲーム」へと変えるという道です。

技術要約：RLVRからRLSVRへ

1. 問題提起

検証可能な報酬を用いた強化学習（RLVR）は、数学やコーディングといった決定論的な結果を持つドメインにおいて、推論指向の大規模言語モデル（LLM）に著しい進歩をもたらしてきました。これらの設定では、検証器 $V(x, y)$ が入力 $x$ に対する出力 $y$ の正誤を決定論的にチェックできるため、バイアスのない、無制限かつコストフリーな監督が可能になります。

しかし、RLVRはオープンエンドなタスク（例：クリエイティブ・ライティング、テキスト要約、一般的な推論）にはほとんど適用できません。なぜなら、そこでの「正しさ」は主観的であり、決定論的なグラウンドトゥルースが存在しないからです。このギャップを埋めるための現在の試みは、以下の手法に依存しています：

学習された選好信号（例：RLHF、DPO）：これらは高価な人間によるアノテーションを必要とします。
モデルベースのプロキシ（例：LLM-as-a-Judge、自己報酬メカニズム）：これらは評価バイアスを導入し、ジャッジの能力に制限され、多大な推論コストを発生させます。

核心となる課題は、これらの手法が、データ自体から検証可能な信号を構築するのではなく、検証不可能な品質目標 $Q(x, y)$ を直接近似しようとしている点にあります。

2. 手法：RLSVRとSpyRL

本論文は、自己検証可能な報酬を用いた強化学習（RLSVR）を提案しています。これは、自己教師あり学習の原則（自動生成されたラベルを用いたプリテキスト・タスクの構築）をRLVRの領域へと拡張したパラダイムです。RLSVRは、オープンエンドなタスクを、外部のジャッジではなく、環境の内部ルールと相互作用の結果から導かれる自己検証可能な報酬を持つプロキシ環境へと変換します。

2.1 RLSVRフレームワーク

RLSVRは、ターゲットタスク $(D, \tau)$ をプロキシ環境 $E$ へとマッピングするタスク変換 $\Phi$ を通じて動作します：

潜在変数の注入： 環境は入力 $x$ と潜在変数 $z$ （例：隠されたアイデンティティや摂動を加えた状態）をサンプリングし、 $z$ をグラウンドトゥルースとして記録します。
条件付きタスク実行： エージェントは、 $(x, z)$ から得られた観測に基づいてターゲットタスクを実行します。
検証可能な相互作用： 環境は、 $z$ に関する質問を投げかけ、その回答はタスクの出力の質に依存します。重要なのは、正解するかどうかはタスクの出力の質に依存するという点です。
ルールベースの報酬： 報酬は、相互作用の結果を記録された $z$ と照合することで計算されます。これには外部の検証器を必要としません。

2.2 SpyRL：情報の非対称性を伴う自己対戦によるインスタンス化

著者らは、社会脱出ゲームである『スパイを探せ！（Who Is the Spy?）』に着想を得たマルチエージェント・フレームワークであるSpyRL（Self-PlaY Reinforcement Learning）を用いて、RLSVRを具体化しています。

ゲームのメカニクス：

エージェント： $n$ 人のエージェントのグループは、 $n-1$ 人の「市民（Civilians）」と1人の「スパイ（Spy）」で構成されます。
情報の非対称性：
- 市民： 完全なタスク入力 $x$ を受け取ります。
- スパイ： 劣化したバージョン $g(x)$ （例：連続したテキスト範囲のマスキングまたは削除）を受け取り、情報の欠落が生じます。
実行ステージ： すべてのエージェントは、それぞれの観測に基づき、ターゲットタスク（要約、クリエイティブ・ライティング、数学的推論など）に対する出力 $y_i$ を生成します。
検知ステージ： エージェントはすべての出力を分析し、スパイを特定するために投票します。
報酬信号：
- 検知報酬 ( $R_D$ )： 決定論的に検証可能です。エージェントが正しいスパイのインデックス $u$ に投票した場合、正の報酬を受け取り、そうでない場合はゼロとなります。
- 実行報酬 ( $R_P$ )： 投票結果から導かれます。スパイは受け取った投票数（疑念）に比例して負の報酬を受け取り、市民はグループ平均に対するゼロサム制約に基づいて報酬を受け取ります。
- アライメント： 情報の欠落を隠しきれなかった出力（すなわち、品質が低い出力）は、より多くの票を集め、結果として低い報酬につながります。このように、検証不可能な「品質」が、検証可能な「アイデンティティ認識」の問題へと変換されます。

最適化戦略：
SpyRLは、実行ポリシー（ $\pi^P_\theta$ ）と検知ポリシー（ $\pi^D_\phi$ ）の間での交互最適化を採用しています。

ロール・アドバンテージ推定（RAE）： スパイが本質的に困難なタスクに直面するという構造的な不均衡に対処するため、RAEはロール固有のベースラインを差し引くことで報酬を較正し、勾配信号が絶対的な報酬量ではなく、ロールの難易度に対するパフォーマンスを反映するようにします。
交互更新： システムは、より優れた（より欺瞞的な）出力を生成するための実行者（performers）の最適化と、弱点をより良く特定するための検知者（detectors）の最適化を切り替えます。これにより、固定された自己対戦でよく見られるポリシーの停滞や局所平衡を防ぎます。

3. 主な貢献

RLSVRパラダイム： 自己教師あり学習の原則をRLVRに統合し、外部の検証器なしでオープンエンドなタスクのスケーラブルな学習を可能にする、自己検証可能な報酬を用いた強化学習の提案。
SpyRLフレームワーク： オープンエンドな生成をマルチエージェントの社会脱出ゲームへと再定式化し、ルールベースのアイデンティティ推論を通じて検証可能な報酬を生み出す、情報の非対称性を伴う自己対戦手法であるSpyRLの導入。
実証的検証： テキスト要約、クリエイティブ・ライティング、および数学的推論にわたる包括的な評価を行い、SpyRLが非検証的なタスクにおいて既存の自己改善手法（R-Zero, Absolute Zero）を凌駕し、検証可能な推論タスクにおいても性能を維持または向上させることを実証。
汎用性： 本手法がドメイン特化型の要約（科学論文）に汎用でき、タスク間で能力を転移できること（例：要約訓練されたモデルがクリエイティブ・ライティングを向上させる）を示す証拠。

4. 実験結果

著者らは、Qwen3-4BおよびQwen3-8Bモデルを用いて、3つのドメインでSpyRLを評価しました。

非検証的タスク（要約およびクリエイティブ・ライティング）：
- 要約： SpyRLは、5つのベンチマーク（GovReport, Multi-Newsなど）において最高のROUGE-Lスコアを達成しました。例えば、Qwen3-4Bを用いたGovReportでは、SpyRLはROUGE-Lを33.2（Absolute Zero）から36.7へと向上させました。ベースラインとのペア比較A/Bテストにおいて、SpyRLは過半数の勝利を収めました（例：GovReportでの勝率74.6%）。
- クリエイティブ・ライティング： SpyRLは、Novelty（新規性）、Emotion（感情）、Coherence（一貫性）といった次元において、GPT-4oによるペア比較評価でベースラインを大幅に上回りました。WritingPromptsにおいて、SpyRLは未学習のバックボーンに対して84.3%、R-Zeroに対して78.9%の勝率を記録しました。
- 相関： 分析により、受け取った疑念票の数と、GPT-4oによってランク付けされた出力品質の低さとの間に強い正の相関があることが示され、投票ベースの報酬が実際のタスクパフォーマンスと一致していることが検証されました。
検証的タスク（数学的推論）：
- SpyRLは、7つのベンチマーク（GSM8K, Math500, AIME 24/25, Minerva, MMLU-Pro, GPQA-D）において、一貫してベースラインを上回りました。
- Qwen3-8Bにおいて、SpyRLはMath500の精度を81.2%（R-Zeroの78.4%に対し）に、AIME 25を23.3%（R-Zeroの14.2%に対し）に向上させました。
コスト効率：
- 実験ごとに約200〜900ドルの検証器コストが発生するRubric-as-Reward (RaV) ベースラインとは異なり、SpyRLはゲームの内部ルールのみに依存するため、外部の検証器を必要としません。
アブレーション研究：
- 交互最適化： パフォーマンスに不可欠です。同時訓練を行うと性能が低下しました（例：Math500の精度が68.2%から53.1%に低下）。
- グループサイズ： プレイヤーを3人から5人に増やすことで最大の利得が得られました。それ以上のスケールアップでは収穫逓減が見られました。
- RAE： ロール・アドバンテージ推定を除去すると大幅な性能低下を招き、情報の非対称性に適応するための較正の必要性が確認されました。

5. 重要性と主張

本論文は、タスクの検証可能性はタスク固有の性質である必要はなく、タスク変換を通じて設計可能であると主張しています。オープンエンドな品質評価を検証可能なアイデンティティ認識問題へと変換することで、SpyRLは、汎用的なオープンエンド能力のための、スケーラブルで検証器を必要としない自己改善を可能にします。

著者らは、本アプローチがRLVRの非決定論的ドメインにおける根本的なボトルネックに対処していると述べています：

バイアスのある人間の選好や高価なLLMジャッジへの依存を排除します。
環境自体から導かれる、安定したルールベースの報酬信号を提供します。
自己対戦は、本質的に検証可能なドメイン（数学やコードなど）に限定されず、適切な環境設計を通じて、クリエイティブな生成タスクにも拡張できることを示しています。

これらの結果は、タスク変換によって、RLVRベースのスケーラブルな自己改善を現在の限界を超えて拡張できることを示唆しており、人間の監督なしにオープンエンドなLLM能力を訓練するための道筋を提示しています。