$p1$: Better Prompt Optimization with Fewer Prompts

この論文は、タスクごとのシステムプロンプトの品質差を明確に識別できる少数のユーザープロンプトを選択するフィルタリング手法「$p1$」を提案し、これによりプロンプト最適化の成功率を高め、AIME 24 のわずか 2 つのプロンプトから他の推論ベンチマークでも高性能なシステムプロンプトを生成できることを示しています。

要約

🧠 論文の解説：「もっと少ない質問で、AI をもっと賢くする」方法

この論文は、**「AI（大規模言語モデル）を、中身を変えずに、ただ『指示文（システムプロンプト）』を工夫するだけで、劇的に賢くできるか？」**という問いに答えています。

実は、この方法は「魔法の杖」ではなく、**「どんな問題に使うか」によって、成功したり失敗したりするのです。著者たちは、なぜそうなるのかを解明し、「少ない質問で、より良い指示文を見つける」**という新しい方法（p1）を提案しました。

---

🎯 1. 問題：なぜ AI の指示文は、ある時は効いて、ある時は効かないのか？

AI に「数学の問題を解いて」と指示する際、指示文を工夫すると性能が上がることは知られています。しかし、ある課題（例：指示に従うタスク）では劇的に良くなるのに、別の課題（例：複雑な数学問題）では、どんなに頑張っても性能が上がりません。

なぜでしょうか？

🎲 アナロジー：「サイコロ」と「将棋」

• 指示従順タスク（IFBench）： これは**「将棋」**に似ています。

  • 指示文（システムプロンプト）が「良い指し方」を教えてくれれば、AI は正解します。
  • 指示文が悪ければ、AI は迷います。
  • つまり、「指示文の質」が結果に直結します。ここは optimization（最適化）が得意な分野です。

• 複雑な数学タスク（AIME）： これは**「サイコロ」**に似ています。

  • 数学の問題は難しすぎて、AI が「たまたま」正解するか「たまたま」間違えるかの**偶然（ノイズ）**が非常に大きいです。
  • 「良い指示文」を使っても、AI がたまたま間違えてしまうことが多く、「指示文の良し悪し」が結果に埋もれて見えなくなります。
  • 結果として、AI を最適化しようとしても、「どこが良くて、どこが悪いか」がわからないため、進歩しません。

---

📉 2. 意外な発見：「データを増やす」ことが、逆効果になる！？

通常、機械学習では「データを増やせば、もっと賢くなる」と考えがちです。しかし、この論文は**「数学のような複雑なタスクでは、データを増やすと、逆に AI の指示文を最適化できなくなる」**という驚くべき事実を見つけました。

🌊 アナロジー：「混雑したプール」と「静かな池」

• データが少ない（特定の 1 つの問題）：

  • **「静かな池」**のような状態です。
  • 「この指示文なら正解しやすい」という傾向がはっきり見えます。AI は「あ、この指示文がいいんだ！」と学習できます。

• データが多い（30 問も全部使う）：

  • **「混雑したプール」**のような状態です。
  • 問題によって「正解するための指示文」が異なります。
    • A 問題には「慎重に考えろ」という指示が合う。
    • B 問題には「大胆に推測しろ」という指示が合う。
  • 30 問全部を混ぜて平均を取ると、「慎重に考えろ」と「大胆に推測しろ」が打ち消し合い、結果として「どの指示文も同じくらい効果がない」ように見えてしまいます。
  • AI は「どれが正解か」を見失い、学習が止まってしまいます。

---

✨ 3. 解決策：p1（ピーワン）という「厳選フィルター」

この発見に基づいて、著者たちは**「p1」**という新しい方法を提案しました。

🔍 p1 の仕組み：「ノイズの多いプール」から「静かな池」を選ぶ

p1 は、**「すべてのデータを使うのではなく、あえて『少数の、最も効果的な問題』だけを選んで学習させる」**という方法です。

1. 選別： 30 問ある数学問題の中から、「指示文を変えると、AI の正解率が大きく変動する（＝指示文の効果がはっきり出る）」ような問題だけを 2〜4 問選びます。
2. 学習： その「厳選された 2〜4 問」だけで、AI の指示文を最適化します。
3. 結果： 混雑したプール（全データ）ではなく、静かな池（厳選データ）で学習することで、AI は「良い指示文」を鮮明に認識し、劇的に性能が上がります。

🌟 驚きの成果

• AIME 2024（難問数学大会）の 30 問中、たった 2 問だけで学習させた指示文は、他の 28 問や、全く別の数学大会（HMMT など）の問題でも通用するほど強力になりました。
• 従来の方法（全データで学習）は性能が上がりませんでしたが、p1 は**「少ないデータで、より汎用的な賢さ」**を生み出しました。

---

🏆 4. 結論：「量より質」の時代

この論文が伝えたいメッセージはシンプルです。

「AI を指示文で賢くしたいなら、すべてのデータを使おうとせず、AI が『指示文の違い』を最も敏感に感じ取れる『厳選された少量のデータ』で教えてあげなさい。」

• 従来の考え方： データは多いほうがいい（量重視）。
• p1 の考え方： 学習信号（指示文の良し悪し）がはっきり見えるデータを選ぶ（質重視）。

まるで、**「30 人の生徒に同時に教えて混乱させるより、2 人の生徒に集中して教えれば、先生（AI）の指導法が磨かれる」**ようなものです。

この「p1」という手法は、AI の性能を底上げするだけでなく、**「なぜ AI が学習できるのか、できないのか」**という根本的な仕組みを解き明かした画期的な研究と言えます。

技術概要

論文「Better Prompt Optimization with Fewer Prompts (p1)」の技術的サマリー

この論文は、大規模言語モデル（LLM）の重みを更新することなく、システムプロンプトを最適化してタスク性能を向上させる「プロンプト最適化」の課題に焦点を当てています。著者らは、なぜプロンプト最適化が一部のタスクでは劇的に成功し、他のタスク（特に複雑な推論タスク）では失敗するのかを分析し、その原因が「報酬の分散構造」にあることを発見しました。これに基づき、p1という新しい手法を提案し、少量のユーザープロンプトを選択的に使用することで、従来のフルデータセット学習よりも優れた性能を達成することを示しました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題設定と背景

背景

システムプロンプトの設計は、LLM の推論スタイルや指示への従順性を制御し、モデルの重みを変更せずに性能を向上させる有効な手段です。近年、進化アルゴリズムや強化学習（RL）を用いた自動プロンプト最適化の研究が進んでいますが、その効果はタスクによって大きく異なります。

核心的な問題

• 一貫性の欠如: 指示従順タスク（IFBench など）では最適化が成功する一方、複雑な数学的推論タスク（AIME など）では、計算資源を大量に投入しても性能が向上しない、あるいはベースラインと変わらない結果に留まることが多い。
• データ量のパラドックス: 直感的には学習データを増やすほど最適化がうまくいくはずだが、異質なタスク（例：多様な数学問題）では、データセットを大きくすると逆に最適化のシグナルが弱まり、性能が低下する現象が観察された。

2. 理論的洞察：報酬分散の分解

著者らは、異なるシステムプロンプト間での報酬（正解率）の分散を分析し、それを以下の 2 つの成分に分解できることを示しました。

$$\text{E}[\text{Var}(\hat{r})] = \underbrace{\text{Variance}_{\text{among responses}}}_{\text{生成の確率性（ノイズ）}} + \underbrace{\text{Variance}_{\text{among system prompts}}}_{\text{プロンプトの質の差（シグナル）}}$$

1. 回答間の分散 (Variance among responses): 固定されたシステムプロンプト下でのモデル生成の確率的な揺らぎ（ノイズ）。
2. システムプロンプト間の分散 (Variance among system prompts): 異なるシステムプロンプトが持つ真の期待報酬の差（シグナル）。

重要な発見

• 最適化の成否: プロンプト最適化が成功するのは、システムプロンプト間の分散が十分に大きい場合に限られます。
• データ量増加の逆効果: 異質なデータセット（例：AIME）では、異なるユーザープロンプト（問題）が異なるシステムプロンプトを好む傾向があります。データセットサイズ $K$ を増やすと、これらの好みが相殺され、システムプロンプト間の真の分散が減少します。結果として、ノイズ（回答間の分散）がシグナルを埋め尽くし、最適化が困難になります。
• 同質データとの対比: 指示従順タスク（IFBench）のような同質的なタスクでは、良いプロンプトが多くの問題で一貫して機能するため、データを増やしても分散が減少せず、最適化は有効です。

3. 提案手法：p1 (Prompt Filtering)

この洞察に基づき、著者らはp1という単純かつ効果的なユーザープロンプトフィルタリング手法を提案しました。

手法の概要

1. 分散の推定: 候補となるシステムプロンプト群に対して、各ユーザープロンプトにおける報酬の分散を推定します。
2. ノイズの除去: 回答間の分散（ノイズ）を推定し、システムプロンプト間の分散から差し引くことで、真の「プロンプトの質の差」を反映したスコアを算出します。
3. 高分散プロンプトの選択: このスコアが最大となるような、ユーザープロンプトの小さな部分集合（デフォルトでは 2 問程度）を選択します。
4. 最適化の実行: 選択された少量のプロンプト subset のみを用いて、強化学習（RL）によるシステムプロンプトの最適化を行います。

利点

• シグナルの強化: 異なるシステムプロンプトを明確に区別できる（分散が大きい）問題に焦点を当てることで、学習信号を強化します。
• 計算効率: 学習データ量を大幅に削減できるため、計算コストを下げつつ、より良いプロンプトを探索できます。

4. 実験結果

評価設定

• モデル: Qwen3-4B-Instruct-2507, Qwen3-1.7B, Qwen3-30B-A3B-Instruct-2507
• データセット: 推論タスク（AIME 2024/25/26, HMMT 2025/26）、指示従順タスク（IFBench）
• ベースライン: ベースモデル、GEPA（進化ベース）、フルデータセットでの RL 最適化

主要な結果

1. 推論タスク（AIME, HMMT）での劇的な改善:

   • フルデータセット（30 問）での RL 最適化や GEPA は、ベースラインと同等かそれ以下の性能しか示せませんでした。
   • 一方、p1は AIME 2024 の 2 問（[1, 23]）のみで学習したプロンプトを用いて、AIME 2025 で**54.01%**の正解率を達成しました（ベースライン 47.03%、フル RL 47.24%）。
   • 学習データが 2 問しかないにもかかわらず、AIME 2026 や HMMT などの未学習タスクにも汎化し、高い性能を維持しました。
   • 学習済みのプロンプトは、より大きなモデル（Qwen3-30B）にも転移し、性能向上をもたらしました。

2. 指示従順タスク（IFBench）での挙動:

   • IFBench は同質的なタスクであるため、フルデータセットでの最適化（RL や GEPA）が既に高い性能を発揮します。
   • p1 は IFBench ではフルデータセットに劣る結果となりました。これは、同質データでは分散が小さく、少量データに絞ると過学習（Overfitting）を起こしやすいためです。

3. プロンプトの質の分析:

   • GEPA: 特定の訓練データに特化した、ドメイン固有の知識やパターンを暗記したようなプロンプトを生成する傾向がありました。
   • p1: 数学的推論の一般的な振る舞い（構造化された思考、ステップバイステップの推論）を促す、より汎用的で抽象度の高いプロンプトを生成しました。これが汎化性能の向上につながっています。

5. 主要な貢献と意義

1. プロンプト最適化の限界の解明: プロンプト最適化が失敗する根本的な原因が、「システムプロンプト間の分散が回答間のノイズに埋もれてしまうこと」にあることを理論的に示しました。
2. データ量と性能の逆説の解明: 異質なタスクにおいて、データ量を増やすことが逆に最適化を阻害するメカニズムを明らかにしました。
3. p1 の提案と実証: 少量の「高分散」プロンプトを選択的に学習データとして用いることで、推論タスクにおけるプロンプト最適化の性能を劇的に向上させる手法を提案し、実証しました。
4. 実用的なインパクト: 非常に少ないデータ（例：AIME 2024 の 2 問）から学習したプロンプトが、未見の複雑な推論タスクやより大規模なモデルにも汎化することを示し、LLM の適応コストを大幅に削減する可能性を提示しました。

結論

この論文は、プロンプト最適化が「データ量」ではなく「データの質（分散構造）」に依存することを明らかにしました。特に複雑な推論タスクにおいては、ノイズの多いフルデータセット全体を使うのではなく、**学習信号が明確な少数のサンプルに焦点を当てる（p1）**ことが、より強力なプロンプトを獲得するための鍵となります。これは、LLM の効率的な適応と、リソース制約下での高性能化に向けた重要な指針を提供しています。