あなたは、ロボットシェフに対して非常に具体的な指示を書いたと想像してください。あなたはロボットにこう伝えます。「この文章を受け取り、『apple』という単語を見つけ、それが名詞か動詞かを教えてください。ただし、ここでの注意点は、のみ『noun（名詞）』または『verb（動詞）』という言葉を返すことです。余計なチャット（お喋り）は一切加えないでください。『答えはこれです』といった言葉も、説明も不要です。」

ソフトウェアの世界では、このような指示のことをプロンプトと呼びます。コードと同様に、プロンプトはアプリケーションを構築するために使用されます。しかし、従来のコードが特定のコンピュータ上で毎回同じように動作するのとは異なり、プロンプトは「大規模言語モデル（LLM）」、つまり「異なる個性を持つさまざまなシェフ」によって実行されます。あるシェフ（モデルA）はあなたの指示を完璧に守るかもしれません。別のシェフ（モデルB）は混乱して、「答えは：名詞です。なぜなら、リンゴは果物だからです」と言ってしまうかもしれません。

この違いが、開発者に頭痛をもたらします。もし彼らがシェフを変更したり（モデルを切り替えたり）、指示を少し微調整したりすると、ロボットが誤った形式を出力し始め、アプリケーション全体が壊れてしまう可能性があるからです。

PromptPex：「プロンプト・インスペクター（指示の検査官）」

この論文では、PromptPexと呼ばれるツールを紹介しています。PromptPexは、新しいシェフを雇う前に、あなたの指示をテストするための、非常にスマートで自動化された品質管理検査官だと考えてください。

その仕組みを、簡単な比喩を使って説明します。

1. 「ルールブック」の抽出

まず、PromptPexは、あなたの乱雑な自然言語による指示を読み取り、厳格な箇条書きのルールブックへと翻訳します。

• あなたのプロンプト： 「タグのみを返してください。できない場合は『Unknown』と言ってください。」
• PromptPexのルールブック：
  1. 出力はタグのみであること（余計な言葉は含めない）。
  2. 単語がタグ付けできない場合は、出力は「Unknown」という言葉であること。

これは、非常に高度なAIにプロンプトを読み取らせ、「ここにある厳格なルールは何？」と問いかけることで行われます。これにより、開発者は自分の指示が実際に明確であるか、あるいは（前述の「名詞 vs 説明」の混乱のように）曖昧であるかどうかを確認できます。

2. 「ストレス・テスト」の生成

ルールブックを作成したら、次はPromptPexが、いたずら好きなテストエンジニアに変身します。単にロボットシェフに普通の料理を作らせるのではなく、シェフがルールを破るように仕向けるのです。

• 「通常」のテスト： 標準的な文章を要求します。
• 「逆転」のテスト： これが巧妙な部分です。PromptPexは、頭の中で「逆のルール」を作成します。もしルールが「タグのみを出すこと」であれば、逆のルールは「タグに加えて長い説明を出すこと」になります。そして、シェフが誤って「間違った方のルール」に従ってしまうかどうかを確認するために設計されたテストケースを生成します。

これによって、入力自体は依然として有効なもの（例：実際の文章）でありながら、弱点を露呈させるように設計された、何百ものトリッキーなシナリオを作り出します。

3. 「判定員（ジャッジ）」

最後に、PromptPexはこれらのテストを異なるAIモデル（異なるシェフたち）に対して実行します。そして、別のAIを「判定員」として使い、結果をチェックします。

• シェフはルールブックに従ったか？
• 余計なチャットを加えていないか？
• 「Unknown」と言うべき時に言えなかったのではないか？

目的は、シェフが「賢い」かどうかを見ることではありません。目的は、シェフがルールを遵守したかどうかを見ることです。もしシェフがテストに失敗した場合、PromptPexはそれをフラグ立てします。

なぜこれが重要なのか？

論文では、このツールを4つの異なるAIモデルを用いて、22種類のプロンプトでテストしました。彼らは、厳格なルールブックを持たずに、ただ「良いテスト」を推測しようとする標準的なAIと比較を行いました。

結果：

• PromptPexは間違いを見つける能力に長けていました。 PromptPexは、標準的なツールよりも、AIモデルがルールを破ってしまうようなテストをより多く生成しました。
• モデル間の違いを明らかにしました。 特定のモデルが厳格な指示に従うのが得意である一方で、別のモデルは頻繁に失敗することなど、モデルごとの違いを明確に示しました。例えば、あるモデルは「品詞特定」のタスクには優れていますが、別のモデルはそこでるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるるる