💬 NLP

RASPRef: Retrieval-Augmented Self-Supervised Prompt Refinement for Large Reasoning Models

この論文は、人間の注釈やタスク固有の教師信号を必要とせず、関連例の検索と自己教師ありフィードバックを活用してプロンプトを反復的に最適化する「RASPRef」というフレームワークを提案し、推論指向の大規模言語モデルの性能向上を実現する手法を提示しています。

原著者： Rahul Soni

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rahul Soni

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🍳 料理の例え：「最高のレシピ」を見つける方法

Imagine 想像してみてください。あなたは世界一のシェフ（AI モデル）を持っています。このシェフはどんな料理も作れますが、**「どんな指示を出せば、一番美味しい料理ができるか」**は、毎回試行錯誤する必要があります。

これまでの方法（手作業）：
「塩を少し入れてね」「野菜は細かく切ってね」と、人間が手作業でレシピ（指示）を何度も書き換えていました。でも、新しい料理（新しい問題）が出ると、またゼロから書き直す必要があり、大変で時間がかかります。
この論文の新しい方法（RASPRef）：
「過去の成功した料理の記録」と「シェフ自身による味見」を使って、レシピを自動で改良するシステムです。

🕵️‍♂️ RASPRef の仕組み：4 つのステップ

このシステムは、まるで優秀な探偵が事件を解決するプロセスのように動きます。

1. 過去の事例を探す（リトリーブ）

新しい問題（例：難しい数学の問題）が出たら、まずは「過去の成功事例」を探します。

例え： 「この料理は、先週成功した『トマトシチュー』に似ているな。あの時のレシピや、シェフがどう考えて作ったか（思考プロセス）をメモ帳から探そう！」
これにより、AI は「同じような問題でどう考えればよかったか」を参考にできます。

2. 最初の指示を作る

見つかった過去の成功事例を参考に、新しい指示（レシピ）を作ります。

例え： 「トマトシチューの時のように、まず具材を炒めてから煮込むこと、塩加減は味見しながら調整すること……」といった、成功のヒントを盛り込んだ指示書を作成します。

3. シェフに試作させて、自分で評価する（自己教師あり）

この指示でシェフに料理（答え）を作らせ、**「本当に美味しいか？」**を自分でチェックします。

例え：
- 複数回作ってもらう： 同じ指示で 5 回料理を作らせ、すべて同じ味なら「安定している」と判断。
- 味見係（ verifier）： 小さな味見係（別の AI）に「これは美味しい？」と点数をつけてもらう。
- シェフの自己批評： 「あ、ここが甘すぎたな」とシェフ自身が反省する。
これらのチェック結果を「評価点」として使います。

4. 指示を修正して繰り返す

評価点が低ければ、指示書を修正します。

例え： 「味見係が『塩が足りなかった』と言ったから、指示書を『塩を多めに入れて』に変更しよう。でも、前回の成功事例を見ると『煮込み時間は短く』だったな……よし、指示を『塩を多めにし、煮込み時間を短く』と書き直そう！」
この「作って→評価して→直す」を繰り返すことで、指示書がどんどん洗練されていきます。

🌟 なぜこれがすごいのか？

人間の手が不要：
人間が「もっとこうして」と教える必要がありません。AI 自身が過去のデータと自分の失敗・成功から学習して、指示書を良くしていきます。
ブラックボックスでも OK：
AI の中身（重み）をいじらなくても、ただ「指示書」を変えるだけで性能が向上します。これは、中身が公開されていない AI（API 版など）でも使えるため、実用的です。
実験結果：
小学生の算数問題（GSM8K）でテストしたところ、
- 普通の指示：正解率 85.6%
- この新しい方法：正解率 95.0%
  と、劇的に向上しました。

💡 まとめ

この論文が言いたいことは、**「AI を賢くするには、AI 自身に『過去の成功体験』を思い出させ、自分で『指示の書き方』を改善させること」**です。

まるで、**「失敗と成功の記録帳（リトリーブ）」と「自分自身への厳しいチェック（自己評価）」**を組み合わせることで、AI が「どう考えれば正解に近づくか」を自分で見つけ出し、指示書（プロンプト）を完璧なものに近づけていくプロセスです。

これにより、人間が毎回苦労して指示を考えなくても、AI が自動的に「賢い考え方のコツ」を身につけ、より良い答えを出せるようになるのです。

RASPRef: 推論モデルのための検索拡張自己教師ありプロンプト改善フレームワーク

1. 背景と課題 (Problem)

近年、DeepSeek R1 や OpenAI o1 などの「推論特化型大規模言語モデル（LRM）」は、GSM8K や MATH などの構造化された推論タスクで高い性能を示しています。しかし、これらのモデルの性能はプロンプトの構成（文言、構造、例の選択）に極めて敏感であり、効果的なプロンプトの設計は依然として人手に依存した反復的なプロセスに留まっています。

既存のプロンプト最適化手法には以下の課題があります：

ラベルデータへの依存: 多くの手法が教師ありデータや報酬モデルを必要とする。
スケーラビリティの欠如: 特定のタスクやドメインに特化しており、汎用的ではない。
ブラックボックスモデルへの非対応: 内部勾配や重みにアクセスできない API 経由のモデルでは適用が困難。
出力改善への偏重: 既存の自己改善手法は「モデルの出力」を改善することに焦点が当てられており、「プロンプト自体」を最適化するアプローチは不足している。

2. 提案手法：RASPRef (Methodology)

著者は、RASPRef (Retrieval-Augmented Self-Supervised Prompt Refinement) というフレームワークを提案しました。これは、人間の注釈やタスク固有の教師データなしで、プロンプトを自動的に改善するアプローチです。

2.1 核心的なアイデア

RASPRef は、プロンプトを固定された指示ではなく、蓄積された推論履歴（トラジェクトリ）に基づいて進化する適応的コンポーネントとして扱います。過去の成功した推論経路を検索し、自己教師ありなフィードバック信号を用いてプロンプトを反復的に洗練させます。

2.2 処理フロー (4 ステップ)

関連トラジェクトリの検索 (Retrieval):
- 新しい入力問題に対して、過去の類似タスクの「入力・プロンプト・推論過程・結果」からなるトラジェクトリをベクトル検索などで取得します。
初期プロンプトの構築 (Construction):
- 検索されたトラジェクトリから、高品質な推論パターンを抽出し、タスク指示、ガイドライン、代表例を含んだ初期プロンプトを生成します。
自己教師あり評価 (Self-Supervised Evaluation):
- 候補プロンプトを用いてモデルに複数の回答（推論経路）を生成させ、以下のラベルフリーな信号でプロンプトの品質を評価します：
  - サンプル間の一貫性 (Consistency): 複数サンプルの最終回答の一致度。
  - 検証器スコア (Verifier Score): 軽量な検証モデルによる妥当性・構造の評価。
  - 自己批評 (Self-Critique): モデル自身による推論の分析と評価。
  - 検索トラジェクトリとの整合性: 検索された成功事例の要素が再利用されているか。
反復的なプロンプト改善 (Iterative Refinement):
- モデルを「編集者」として機能させ、生成された回答と評価信号に基づき、プロンプトの明瞭さ、構造、誤り防止策を改善するよう指示します。このプロセスをプロンプトが安定するまで、または計算予算に達するまで繰り返します。

2.3 最適化の定式化

プロンプト改善は、離散空間における最適化問題として定式化されます。正解ラベルが存在しないため、以下の自己教師ありスコア $Q(p; x)$ を最大化するプロンプト $p$ を探索します：
$Q(p; x) = \alpha C_{cons} + \beta C_{ver} + \gamma C_{crit} + \delta C_{ret}$
ここで、各項はそれぞれ一貫性、検証器スコア、自己批評、検索トラジェクトリとの整合性を表します。

3. 主要な貢献 (Key Contributions)

プロンプトを最適化対象とした新しいフレームワーク: モデル出力ではなく、プロンプト自体を反復的に改善する初の検索拡張アプローチの一つです。
完全な自己教師ありアプローチ: 人間の注釈や外部の教師データ、モデルの内部重みへのアクセスを一切必要としません。
検索と自己改善の統合: 過去の推論履歴（外部メモリ）と、モデル自身の評価信号（自己批判、一貫性チェック）を組み合わせることで、推論の安定性と正確性を向上させます。
解釈可能性の維持: 埋め込みレベルの微調整とは異なり、改善されたプロンプトは自然言語で表現されるため、どのような改善が行われたか（例：「段階的推論の構造を明確化」など）が透明性を持って可視化されます。

4. 実験結果 (Results)

GSM8K（小学校レベルの数学文章題）の推論タスクを用いたプロトタイプ評価を行いました。

設定:
- モデル：gpt-4o-mini (API 経由、凍結)
- データセット：GSM8K テストセット 500 問、検索用インデックスにトレーニングセット 200 問を使用。
- ベースライン：静的な Chain-of-Thought (CoT) プロンプト。
結果:
- 静的プロンプト: 正解率 85.6%
- 検索拡張プロンプト (RASPRef): 正解率 95.0%
考察:
- 検索された推論トラジェクトリが、モデルに対して中間推論ステップをより効果的に構成するための文脈的ガイダンスを提供し、推論エラーを減少させたことが示されました。

5. 意義と将来展望 (Significance)

実用性とスケーラビリティ: 大規模なラベル付けコストやモデルの再学習なしに、推論モデルの性能を向上させる実用的な戦略を提供します。
長尾ケースへの適応: 検索メカニズムにより、表面的な類似性ではなく、深い推論パターンに基づいて稀なタスクや構造的に特殊な入力に対しても適応可能です。
透明性: 改善されたプロンプトがどのように推論を支援しているかを人間が理解できるため、モデルの挙動解析にも寄与します。

結論:
RASPRef は、推論指向の言語モデルにおいて、プロンプト設計が依然として重要なボトルネックであることを示しつつ、検索と自己改善を組み合わせることで、この課題を解決する有望な方向性を提示しました。今後の研究では、より広範な推論ドメインや、多段階の質問応答、プログラム合成などへの適用が期待されます。