Optimization before Evaluation: Evaluation with Unoptimised Prompts Can be Misleading
本論文は、静的プロンプトに依存する現在のLLM評価フレームワークは誤解を招くものであり、プロンプト最適化がモデルのランキングを大幅に変化させるため、特定のタスクに最適なモデルを正確に特定するにはモデルごとのプロンプト最適化が必要であると主張する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
以下は、論文「Optimization before Evaluation: Evaluation with Unoptimized Prompts Can Be Misleading（評価前に最適化：最適化されていないプロンプトを用いた評価は誤解を招く可能性がある）」を、平易な言葉と日常的な比喩を用いて解説したものです。
大きなアイデア：「すべてに通用する」罠
あなたがレストランの最高のシェフを探そうとしている採用担当者だと想像してください。あなたは 5 人の異なるシェフ（モデル A、B、C、D、E と呼びましょう）を持っています。彼らをテストするために、全員に全く同じレシピカードを与えます。「シチューを作ってください。塩、コショウ、玉ねぎを使用してください。」
彼らが調理する様子を見て、シチューを味わい、順位付けを行います。シェフ B が優勝しました。あなたはシェフ B を雇います。
問題点： シェフ B はその特定のレシピに従うのが得意ですが、実はシェフ D が天才で、レシピを少し書き換えるだけで輝く必要があるだけかもしれません。シェフ D が最高のパフォーマンスを発揮するには、指示を「まず玉ねぎを煮込み、その後塩を加えてください」とする必要があるかもしれません。
この論文は、現在の AI モデル（大規模言語モデル）のテスト方法が、そのような採用担当者と同じだと主張しています。彼らはすべての AI に全く同じ静的なプロンプト（レシピカード）を与え、その特定のカードで最もよくできた者を基準に順位付けを行います。
著者たちは、これは誤解を招くと言います。現実世界では、AI を雇う場合、汎用的なプロンプトを与えるだけでなく、その特定の AI から最高のパフォーマンスを引き出すために指示を微調整するはずです。この論文はそのプロセスを**プロンプト最適化（PO）**と呼んでいます。
実験：レシピを微調整すると、勝者が変わる
研究者たちは 5 つの人気の AI モデルを取り上げ、数学の問題解決、ビジネス質問への回答、データ抽出などのさまざまなタスクでテストを行いました。
- ラウンド 1（旧来の方法）： 全モデルに同じ「ベース」プロンプトを与え、順位付けを行いました。
- ラウンド 2（新しい方法）： 自動ツールを使用して、各モデル個別にプロンプトを「チューニング」しました。「あなたにとって最も理解しやすいように、指示をどのように書き換えればよいでしょうか？」と AI に問いかけ、その後テストを再実行しました。
結果： 順位が完全に変わりました。
- 場合によっては、ラウンド 1 で最下位だったモデルが、ラウンド 2 で首位に躍り出ました。
- 旧来のテストで「最高」とされたモデルは、その脳に特化した指示を与えられた場合、必ずしも最高ではありませんでした。
比喩： トラックでランナーをテストするようなものです。
- 旧来の方法： 全員に重いブーツを履かせて走らせます。重いブーツに慣れているランナー A が勝ちます。
- 新しい方法： ランナー A には軽量のスニーカーを、ランナー B にはカスタム製の矯正器具を与えます。すると、ランナー B が勝ちます。
- 結論： 重いブーツだけでテストしただけでは、マラソンにふさわしくないランナーを雇ってしまうことになります。
研究からの主要な教訓
1. 「最高」のモデルはプロンプトに依存する
この論文では、コンペティションの「勝者」は指示の書き方によって変わることがわかりました。特定の業務に最適な AI を選びたい場合は、まずその特定の AI 向けに指示を最適化しなければなりません。そうしなければ、実際にはあなたのニーズに対して中程度の性能しかないモデルを選んでしまう可能性があります。
2. 異なるモデルは異なる反応を示す
人々と同じように、異なる AI には異なる「個性」や感受性があります。
- 一部のモデル（研究内のモデル B など）はプロンプトの変更に対して非常に敏感でした。わずかな微調整で、はるかに良いパフォーマンスを発揮しました。
- 他のモデルは、特定のタスク（単純なルーティングなど）においてすでに非常に優れていたため、プロンプトを微調整してもあまり役立たず、場合によっては混乱させることさえありました。
3. 「批評家」が混乱することがある
研究者たちは、他のモデルのプロンプトを書き換えるために「批評家」AI（GPT-4o）を使用しました。通常、これは非常にうまく機能しました。しかし、時々批評家が賢くなりすぎたり、指示が複雑になりすぎたりして、モデルが失敗することがありました。
- 例： あるケースでは、最適化されたプロンプトが AI に「段階的に考えてください」と指示しすぎたため、実際のテスト問題ではなく、プロンプト内の例題に答え始めてしまいました。これは、試験を受ける代わりに練習問題の答えを声に出して読んでいる学生のようなものです。
あなた（実務者）にとっての意味
顧客のメールへの対応や文書の分析など、特定の業務を行う AI を選ぼうとしている企業の場合、単に標準的なベンチマークを実行するだけではいけません。
この論文は結論として、特定のタスクに対する真の最高のモデルを見つけるためには、以下の手順を踏む必要があると述べています。
- タスクを定義する。
- 異なるモデルを試す。
- 各モデル個別にプロンプトを最適化し、彼らが本当に何ができるかを確認する。
- その後、勝者を選ぶ。
ステップ 3 をスキップして汎用的なプロンプトを使用するだけでは、誤解を招くテストに基づいて悪い採用判断を下すことになります。
まとめ
この論文は警告です：魚を木登りの能力で判断してはならず、AI を汎用的なプロンプトに従う能力で判断してはいけません。 誰が本当に最高なのかを知るためには、彼らの言語で話す必要があります。各モデルのプロンプトを最適化しなければ、評価結果は誤っている可能性が高く、間違ったツールを選んでしまうことになります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。