あなたは、スーパーインテリジェントなロボットに、物語を書いたり、数学の問題を解いたり、ニュース記事を要約したりする方法を教えようとしていると想像してください。あなたはこのロボットに、一連の指示を与えます。科学者たちはこれを「プロンプト」と呼んでいます。プロンプトはレシピのようなものだと考えてください。もし指示が曖昧だったり、めちゃくちゃだったりすると、ロボットはチョコレートの代わりに石鹸味のケーキを焼いてしまうかもしれません。長い間、研究者たちは、ロボットがミスをするたびにレシピ全体を書き直すことで、これらを修正しようとしてきました。それは、フロスティング（飾り）が少しおかしいというだけでケーキ全体を捨ててしまい、次の試みが完璧になることを期待するようなものでした。この手法は「モノリシック（一塊の）」最適化として知られており、一つのタスクにはうまく機能しても、別の部分を誤って台無しにしてしまい、ロボットを混乱させ、結果を不安定にさせてしまうことがよくありました。

これから読む論文は、SAPO（Segment-level Automatic Prompt Optimization：セグメントレベル自動プロンプト最適化）と呼ばれる新しいアプローチで、この問題に取り組んでいます。SAPOは、レシピ全体を投げ捨てるのではなく、まるで熟練のシェフのように、ケーキを慎重に味わい、どの材料が間違っているのか（例えば、塩が多すぎるのか、砂糖が足りないのか）を正確に特定し、完璧な部分はそのままにして、その部分だけを修正するようなものです。著者らは、読解問題への回答から複雑な数学の問題の解決まで、5つの異なるタイプのタスクでこの方法をテストし、2種類のロボットの脳（GPT-3.5-TurboとGPT-4o-mini）を使用しました。彼らは、指示を小さく管理しやすい断片に分解し、弱い部分だけを修正することで、以前の手法よりもはるかに良い結果が得られ、一部のタスクではパフォーマンスが最大7.25%向上することを発見しました。

より優れたロボットのためのレシピ

どのように機能するかを見ていきましょう。想像してみてください、あなたはロボットに非常に長く複雑な取扱説明書を与えています。以前は、もしロボットが答えを間違えたら、自動最適化システムは一度に取扱説明書全体を書き換えようとしていました。それは、壊れた車のエンジンを直すために、車ごと交換しようとするようなものです。時として、この新しい車は運転には素晴らしいですが、駐車には最悪ということもあります。従来の手法は、ロボットをある分野では賢くしますが、別の分野では下手にしてしまうことがあり、著者らはこれを「プロンプト・ドリフト」と呼んでいます。

この論文の著者であるNikita Kulin氏とそのチームは、よりスマートな方法を提案しています。彼らは、優れた取扱説明書は単なる一つの大きなテキストの塊ではなく、本の章のように、異なるセクションで構成されていることに気づきました。彼らはプロンプトを以下の4つの特定の「セグメント（断片）」に分解しています。

1. 役割 (Role): ロボットは何者であるべきか？（例：「あなたは親切な歴史家です。」）
2. 文脈 (Context): 背景となるストーリーや状況は何か？（例：「あなたは学生と話しています。」）
3. タスク (Tasks): ロボットは何を具体的に行う必要があるか？（例：「この文章を3文で要約してください。」）
4. 出力形式 (Output Format): 回答はどのような見た目であるべきか？（例：「箇条書きのリストで提示してください。」）

SAPO探偵ゲーム

新しい手法であるSAPOは、これら4つのセグメントを探偵ゲームのヒントのように扱います。以下が、彼らが用いるステップ・バイ・ステップのプロセスです。

まず、システムは多くの例題を用いてロボットのトレーニングセッションを実行します。システムは結果を確認し、トップ5の最良の例（ロボットが正解したもの）と、ワースト5の最悪の例（ロボットが失敗したもの）を選び出します。

次に、システムは探偵の役割を果たします。システムは、2番目のより賢いロボット（判定役として機能）に対し、トップ5とワースト5の例を見て、なぜロボットが成功したのか、あるいは失敗したのかを判断するよう求めます。 「役割」のセクションがロボットを混乱させたのか？ 「タスク」が曖昧すぎたのか？ この判定役は、どのセグメントが「強い（成功例においてうまく機能している）」セグメントであり、どのセグメントが「弱い（失敗例において問題を引き起こしている）」セグメントであるかを特定します。

次に、魔法の部分がやってきます：制約付き合成 (Constrained Synthesis)。説明書全体を書き換える代わりに、システムは、強いセグメントを正確にそのまま維持し、弱いセグメントのみを変更する新しいバージョンのプロンプトを生成します。これは、完璧なチョコレートケーキの生地はそのままに、焦げたフロスティングを新しいバッチに交換するようなものです。これにより、すでにうまく機能している指示の部分が、誤って壊されるのを防ぎます。

最後に、システムはこれらの部分的に改訂されたプロンプトを、別の問題セット（検証セット）でテストします。もし新しいプロンプトの方が成績が良ければ、それは採用されます。もしそうでなければ、システムは古いプロンプトを保持します。これが、ロボットが最高に賢くなるまで何度も繰り返されます。

結果：明確な勝者

チームはこの方法を、5つの非常に異なる課題でテストしました。

• SQuADv2: 読解文章に基づいた質問への回答。
• TweetEval: ツイートの感情分類。
• XSUM: ニュース記事の要約。
• CommonGen: 単語リストからの文章作成。
• GSM8K: 小学校レベルの算数の文章題の解決。

彼らはこれらを、GPT-3.5-TurboとGPT-4o-miniという2つの異なるロボットモデルで実行しました。結果は非常に印象的でした。プロンプト全体を一度に書き換える他の人気のある手法（APE、OPRO、EvoPromptなど）と比較して、SAPOは一貫して高いスコアを記録しました。

GPT-3.5-Turboモデルにおいて、SAPOは次点の優れた手法と比較して平均スコアを**5.13%向上させました。より高度なGPT-4o-miniにおいては、その向上はさらに大きく、競合に対して7.25%**も跳ね上がりました。最大の勝利は、数学の問題（GSM8K）や読解（SQuAD2）のように、非常に厳格な回答が求められるタスクで見られました。そこでは、指示におけるわずかなミスが、完全に間違った答えにつながるからです。

なぜこれが重要なのか

著者らは、この成功の理由として、SAPOが一度にすべてを変更する際に起こる「破壊的な干渉」を防いでいるからだと示唆しています。変更をプロンプトの弱い部分だけに限定することで、システムはすでに完璧に機能している部分を保存できるのです。これは、ロボットを教えるための、より慎重で外科的なアプローチです。

しかし、論文はいくつかの制限についても述べています。現在のメソッドは、固定された4つのセグメントを使用しています。これは多くのタスクにはうまく機能しますが、あらゆる種類の問題に対して詳細すぎる可能性があります。著者らは、将来のバージョンでは、単にこれら4つに固執するのではなく、必要に応じてロボットが新しい種類のセグメントを自動的に発見できるようにできる可能性があると示唆しています。

要約すると、SAPOは、スーパーインテリジェントなロボットを教えたいとき、間違いを直す最善の方法は、最初からやり直すことではなく、何が間違っていたのかを正確に特定し、その部分だけを直すことである、ということを示しています。これは「すべてを書き換える」から「壊れているところを直す」への転換であり、今のところ、それが勝利の戦略となっているようです。