💻 computer science

Predicting Performance of Symbolic and Prompt Programs with Examples

本論文は、検索された類似タスクとプロンプトプログラムを活用して近似事前分布を構築する性能予測フレームワーク「RAP」を提案し、シンボリックプログラムの「すべてか無か」の性質とLLMプロンプティングの拡散的な性能分布を区別することで、LLMプロンプティングの信頼性のなさを効果的に解決する。

原著者： Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

新入社員が大きな仕事をこなす準備ができているかどうかを判断する採用担当者を想像してください。あなたには2種類の候補者がいます。「ロボット」（Pythonコードのような記号プログラム）と**「クリエイティブなフリーランサー」**（AIにタスクを実行させるよう指示するプロンプトプログラム）です。

この論文が問いかけるのは、シンプルな疑問です：もし両方の候補者がいくつかの小さな練習テストに合格した場合、彼らを本番の仕事に任せても信頼できるでしょうか？

著者たちは答えます：ロボットについては「はい」ですが、フリーランサーについては「おそらくいいえ」です。 その理由を、論文独自の論理とアナロジーを用いて説明します。

1. 2種類の「プログラム」

ロボット（記号プログラム）： これは厳格な電卓のようなものです。「2 + 2」と指示すれば、必ず「4」と答えます。厳格なルールに従います。テストに合格したなら、それはルールを完璧に守ったからです。
フリーランサー（プロンプトプログラム）： これは、少し予測不能な賢い芸術家に「猫を描いて」と頼むようなものです。あなたは芸術家にプロンプト（指示）を与えます。芸術家は素晴らしい猫を描くかもしれませんが、奇妙な猫を描くかもしれませんし、犬を描くかもしれません。たとえいくつかの練習テストに合格したとしても、それは単に運が良かっただけか、あるいは指示が現実世界には少し合っていないだけかもしれません。

2. 「コイン投げ」モデル

著者たちは、プログラムがテストを実行するたびに、それはコインを投げるようなものだと想像します。

表：プログラムが正解する。
裏：プログラムが誤る。

目標は、そのコインがどの程度「偏っている」かを推測することです。公平なコイン（50/50）でしょうか？それとも常に表が出るトリックコイン（100% 成功）でしょうか？

3. 大きな発見：過去の「形状」

テスト結果を見る以前に、著者たちは数千ものこれらのプログラムの歴史を調べ、その「コインの偏り」が通常どのような形をしているかを確認しました。彼らは2つの非常に異なる形状を見つけました。

ロボットの歴史（全か無か）：
すべてのロボットプログラムのヒストグラムを想像してください。それは両端に2つの高いピークがあるように見えます。
- ピーク1： ほとんどのロボットは完璧です（100% 成功）。
- ピーク2： ほとんどのロボットは破損しています（0% 成功）。
- 中間： ほとんど何もありません。ロボットは「まあまあ」なことはめったにありません。完璧か、完全に失敗かのどちらかです。
- アナロジー： それは電気のスイッチのようです。ON か OFF のどちらかです。
フリーランサーの歴史（拡散した雲）：
すべてのフリーランサープログラムのヒストグラムを想像してください。それは中央に広がる、平らな雲のように見えます。
- 「ほぼ正解」のプログラム（70%、80%、90%）が多数あります。
- 完璧なものは非常に少なく、完全な失敗も非常に少ないです。
- アナロジー： それは調光スイッチのようです。ほとんどのフリーランサーは中間 somewhere にあり、明るさが異なります。

4. なぜ数回のテストがあなたを欺くのか

この違いが、なぜ数回の合格テストがフリーランサーにとっては誤解を招く一方で、ロボットにとっては安心材料となるのかを説明します。

ロボットの場合： 3回のテストに合格するのを見れば、それは「完璧」なピークのいずれかである可能性が高いとわかります。「中間地帯」（単にまあまあである可能性）が存在しないため、数回のテストに合格することは、それが今後も機能し続けるという強力な保証となります。
フリーランサーの場合： 3回のテストに合格しても、それは単に「ほぼ正解」のプログラムの一つで、運が良かっただけかもしれません。「ほぼ正解」のプログラムの巨大な雲が存在するため、数回のテストに合格しても、それが後で完璧になることを証明するものではありません。次のテストでは簡単に失敗する可能性があります。

5. 解決策：RAP（「類似検索」ツール）

フリーランサーについては数回のテストを信頼できないため、著者たちはRAP（Retrieved Approximate Prior：取得近似事前分布）と呼ばれるツールを構築しました。

RAP を賢い図書館司書だと考えてください。

問題： あなたには新しいフリーランサー用プロンプトと、いくつかのテスト結果があります。それが良いものかどうかはわかりません。
図書館： RAP には、過去に試された他のプロンプトやタスクの膨大な図書館があります。
検索： RAP はあなたの新しいプロンプトを見て、「図書館の中で誰があなたに最も似ているか？」と尋ねます。それは類似した問題を解決した他のプロンプトを見つけ出します。
予測： 一般的なルールに基づいて推測するのではなく、RAP はそれらの類似したプロンプトが過去にどのようにパフォーマンスを発揮したかを見ています。それはあなたのプロンプトに特化したカスタム「推測マップ」（事前分布）を作成します。
更新： より多くのテストを実行するにつれて、RAP はその推測を更新します。

結果： RAP は、単に推測したり、一度に図書館全体を見たりするよりも、フリーランサーが成功するかどうかを予測する能力がはるかに優れています。それはあなたが行っている特定の種類のタスクに適応します。

まとめ

ロボット（コード） は二元的です：彼らは完璧か破損かのどちらかです。数回のテストは、彼らが完璧であることを証明します。
フリーランサー（プロンプト） は可変的です：彼らはしばしば「ほぼ良い」状態にあります。数回のテストは、彼らが信頼できることを証明しません。
RAP は、単に数回の幸運なテスト実行に頼るのではなく、新しいプロンプトがどの程度機能するかについてより賢い推測を行うために、過去の類似例を調べることでこれを修正します。

技術的概要：記号プログラムとプロンプトプログラムの性能を例を用いて予測する

問題定義

大規模言語モデル（LLM）によるプロンプティングは、自然言語で記述されたタスクに対して広く採用されているが、信頼性に欠けるという問題を抱えている。プロンプトは数個のテストケースを通過しても、展開時に予測不可能な失敗を招くことがある。対照的に、記号プログラム（Python、正規表現など）は、いくつかの代表的なテストケースを通過すれば、信頼できるとみなされることが多い。本論文は、以下の根本的な問いを検証する：なぜ数個の合格テストが記号プログラムを認証できるのか、しかしプロンプトプログラムではそうではないのか？

著者らはこれを性能予測問題として枠組み化している。すなわち、あるプログラム（記号プログラムまたは LLM によって実行されるプロンプト）と、ドメイン内の少量の実行結果（合格/不合格）が与えられたとき、同一ドメインからの未見タスクにおけるそのプログラムの真の性能（ $\theta$ ）を予測する。目的は、プログラムの成功率に関する事後分布を推論し、展開可能性と信頼度レベルを決定することである。

手法

1. 理論的枠組み：コイン投げモデル

著者らはベイズ的アプローチを採用し、テストケースに対する各プログラム実行を独立したベルヌーイ確率変数（「コイン投げ」）としてモデル化する。

観測値（ $O$ ）： $a$ 個の合格と $b$ 個の不合格の集合。
尤度： $P(O|\theta) \propto \theta^a (1-\theta)^b$ 。
事後分布： $P(\theta|O) \propto P(\theta) \cdot \theta^a (1-\theta)^b$ 。

重要な洞察は、尤度は容易に計算できるが、性能事前分布 $P(\theta)$ は未知であり、事後分布を決定づける点にある。本論文は、記号プログラムとプロンプトプログラムの予測可能性の差は、それぞれの事前分布の形状に完全に起因すると主張する。

2. 実証的性能事前分布

事前分布を理解するために、著者らは多様なドメイン（正規表現、HumanEval、ARC、リスト規則など）にわたる 700 個の記号プログラム（sp）と 700 個のプロンプトプログラム（pp）のコーパスを編纂した。各プログラムを 100 個のサンプリングされたインスタンスで評価し、真の性能を推定した。

記号プログラム（sp）： 「全か無か（all-or-nothing）」の事前分布を示す。分布は鋭く二峰性であり、 $\theta=0.0$ （完全に誤り）と $\theta=1.0$ （完全）の付近に集中している。
プロンプトプログラム（pp）： 拡散的な事前分布を示す。中間的な性能値に相当な質量が存在し、いくつかのテストを偶然で合格するが、他のテストでは失敗する「ほぼ正しい」プログラムを表している。

示唆： 記号プログラムの場合、数回の成功が事後分布の質量を急速に 1.0 へシフトさせ、高い信頼性を提供する。一方、プロンプトプログラムの場合、同じ成功は拡散的な事前分布をわずかにシフトさせるのみであり、真の性能は不確かなままとなる。

3. RAP（検索に基づく近似事前分布）

プロンプトプログラムの性能予測の難しさを解決するため、著者らはRAPを提案する。これはタスク固有の事前分布を構築するための検索ベースの手法である。

入力： 対象プロンプトプログラム（ $p_{target}$ ）、観測されたドメイン内例の集合（ $D$ ）、タスクとプロンプトのコーパス（ $M$ ）。
検索：
1. 類似タスク： テキスト埋め込みを用いて、観測された例に類似したコーパス内の上位 $n$ 個のタスクを検索する。
2. 類似プロンプト： 検索されたタスクにおいて、 $p_{target}$ と類似した挙動（正解性における一致）を示すコーパス内の上位 $K$ 個のプロンプトプログラムを検索する。
事前分布の構築： 検索されたプロンプトの検索されたタスクにおける性能を用いて、近似事前分布としてベータ分布の混合を構築する。
更新： 観測結果（ $O$ ）が共役性を通じてこの混合事前分布を更新する。
精緻化： RAP にはコンポーネントごとの事前分布強度調整が含まれる。これは、検索されたコンポーネントとドメイン内観測のみから導出された事前分布との間の地球移動距離（EMD）に基づき、各ベータコンポーネントのパラメータをスケーリングする。これにより、ドメイン内データが不足している場合でも、無関係なコーパスデータが事後分布を歪めることを防いでいる。

主要な貢献

形式化： 本論文は、単純なコイン投げモデルの下でのベイズ推論として性能予測を形式化し、尤度（観測データ）と事前分布（プログラムタイプの特性）を明示的に分離した。
実証的発見： 記号プログラムが「全か無か」の性能事前分布を持ち、プロンプトプログラムが中間的な性能に相当な質量を持つ拡散的な事前分布を持つという、初の実証的証拠を提供した。これは、両者のプログラムタイプ間の認証ギャップを説明する。
アルゴリズム的解決策： コーパスから近似ドメイン固有の事前分布を構築する検索ベースの手法RAPの導入。RAP は、コーパスを使用しない場合や、コーパス全体を単純に使用するベースラインを上回る性能を示した。

結果

著者らは、**真の値における確率密度（SC）と絶対誤差（AE）**という指標を用いて、ドメイン内およびドメイン外の様々な設定における 60 個のプロンプトプログラムに対して RAP を評価した。

優位性： RAP は、ドメイン内およびドメイン外の両方の設定において、ベースライン（コーパス不使用および全コーパス使用）を一貫して上回った。
ドメイン内での利点： コーパス内のドメイン内例を使用することは、特に観測されたテストケースの数が少ない場合に、予測精度を著しく向上させる。
収束： ドメイン内観測の数が増加するにつれて、RAP は実証的事後分布へと滑らかに収束し、最終的に尤度項が事前分布を支配することを保証する。
頑健性： この手法は、異なるハイパーパラメータの選択、コーパスサイズ、LLM のバックボーンに対して頑健である。

意義と主張

本論文は、統一されたベイズ枠組みを用いて記号プログラムとプロンプトプログラムの両方の性能予測を研究した最初の作業であると主張する。その主な意義は以下の点にある。

直感の定量化： 数個のテストケースが記号コードを認証するがプロンプトを認証しない理由を数学的に説明し、その原因を性能事前分布の構造的差異に帰着させた。
実用的展開： 限られたテストデータしか利用できない場合のプロンプトプログラム展開の信頼性を推定する手法（RAP）を提供する。これは、80% の性能が価値あるが不確実性を管理する必要がある非クリティカルな設定において、重要なニーズである。
限界： 著者らは謙虚に、RAP は「最初の攻撃手段」であると述べている。コーパスが成長するにつれて、上位 $K$ 個の関連ペアを検索することが計算コスト高になることを認め、タスク - プロンプト・コーパスの能動的クエリや低ランク近似に関する将来の作業を提案している。