FAPO: Fully Autonomous Prompt Optimization of Multi-Step LLM Pipelines
FAPOは、プロンプトと連鎖構造の両方を反復的に評価、診断、および洗練させることでマルチステップのLLMパイプラインを最適化する完全自律型フレームワークであり、GEPAベースラインを凌駕することで、汎用およびセキュリティに特化したベンチマークにおいて最先端の性能を達成しています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、複雑なパズルを解くために協力して働くロボットのチームを率いています。各ロボットには特定の役割があります。一人は手がかりを見つけ、もう一人はそれについて考え、三人目は最終的な答えを書き留めます。時々、チーム全体が失敗することがありますが、どのロボットがミスをしたのかを判断するのは困難です。最初のロボットが手がかりを見逃したのでしょうか？二番目のロボットが混乱したのでしょうか？それとも、三番目のロボットが間違った形式で答えを書いてしまったのでしょうか？
これが、マルチステップLLMパイプライン（複雑なAIタスクの連鎖）が抱える問題です。従来の手法では、指示を与えられている「ボス」ロボットへの指示（プロンプト）を書き換えるだけで、チーム全体を修正しようとします。しかし、もし問題が「ステップが足りない」ことや「ロボット同士の会話の相手が間違っている」ことにある場合、単に指示を変更するだけでは解決しません。
そこで登場するのが、FAPO（Fully Autonomous Prompt Optimization）です。FAPOを、単に指示を書き換えるだけでなく、チームの働き方を観察し、正確なボトルネックを見つけ出し、それを修正する超スマートで自律的なプロジェクトマネージャー（Claude CodeというAIによって駆動）だと考えてください。
FAPOの仕組みを、簡単な比喩を用いて説明します。
1. 探偵フェーズ（検査）
推測する代わりに、FAPOはチームが練習用のパズルを解く様子を観察します。それはあらゆる動き、見つかったあらゆる手がかり、そしてあらゆる思考プロセスを記録します。もしチームが正解に辿り着けなかった場合、FAPOは探偵のように動きます。
- 「正しい手がかりを見つけられなかったために失敗したのか？」（検索の失敗）
- 「手がかりは見つけたが、それを誤解したのか？」（推論の失敗）
- 「理解はしていたが、答えを間違った形式で書いてしまったのか？」（フォーマットの失敗）
2. 「まずは修正」ルール（プロンプト編集）
FAPOは厳格なルールに従います。それは、小さく始めることです。
もし探偵が「チームにはもっと明確な指示が必要だ」と判断した場合、FAPOはプロンプト（指示）を書き換えます。これは、ロボットに対して「おい、青い箱ではなく、赤い箱を探せ」と伝えるようなものです。これが最も簡単な修正であるため、FAPOはまずこれを試みます。
3. 「再設計」フェーズ（構造的変更）
もしFAPOが指示の書き換えを何度も試しても、チームが依然として（例えば、計算をダブルチェックするための四人目のロボットが必要であるといった理由で）失敗し続ける場合、FAPOはチームの構造を変更する許可を得ます。
- チームに新しいロボットを追加する。
- ロボット同士が会話する順番を変更する。
- 最終回答を書く前に、チームに特定のルールに従わせるための「安全確認」ステップを追加する。
これが重要な違いです。FAPOは、言葉（プロンプト）を変えるだけでは不十分であると証明された場合にのみ、パイプラインの構造を変更します。
4. 安全検査官（ガードレール）
FAPOが変更を行う前に、「安全検査官」（別のAIエージェント）がその計画をチェックします。これにより、FAPOが誤って重要なルールを削除したり、プライベートなデータを漏洩させたり、スコアリングシステムを壊したりしないようにします。これは、建設作業員が着工する前に、建築検査官がリノベーション計画をチェックするようなものです。
結果：どれほど上手くいったのか？
論文では、FAPFを、指示の書き換えのみを行う非常に優れたエディターであるGEPAと比較し、数学の問題からセキュリティタスクまで、6つの異なる種類の課題でテストを行いました。
- スコアボード： FAPOは18回中15回勝利しました。
- 大きな勝利： 最も困難なタスク（複雑な物語のファクトチェックや、厳格なフォーマットに従うタスクなど）において、FAPOは単に指示を微調整するのではなく、チームに新しい構造が必要であることに気づきました。これらのケースでは、FAPOのスコアは競合に対して劇的な上昇（最大**+33.8パーセントポイント**）を見せました。
- セキュリティタスク： FAPOは、AIモデルがセキュリティ上の脆弱性（ソフトウェアのバグとその原因のマッピングなど）を特定する能力も向上させ、真剣で責任の重い仕事にも通用することを証明しました。
たった一つの例外
数学のコンペティション（AIME）では、FAPOが勝利できなかったケースがありました。著者らは、数学の問題があまりに難解であり、サンプルサイズが小さかったため、AIが数学をより良く学習したのではなく、「混乱」したか、あるいは練習問題に「過学習（オーバーフィット）」してしまった可能性があると示唆しています。
まとめ
FAPOは、単にワーカーに向かって「もっとうまくやれ」と怒鳴るだけのマネージャーではありません。代わりに、ワークフローを観察し、プロセスのどこで問題が発生しているかを正確に診断し、まず指示を修正し、それでも失敗する場合にのみ、チームがより効果的に機能するようにワークフロー全体を再設計するスマートなマネージャーです。それは、乱雑で失敗続きのAIステップの連鎖を、信頼性の高い高性能な機械へと変貌させるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。