💻 computer science

Predicting Performance of Symbolic and Prompt Programs with Examples

Dieser Artikel stellt RAP vor, ein Framework zur Leistungsvorhersage, das abgerufene ähnliche Aufgaben und Prompt-Programme nutzt, um eine approximative Priorverteilung zu konstruieren und damit die Unzuverlässigkeit des LLM-Promptings wirksam adressiert, indem es dessen diffuse Leistungsverteilung von der „Alles-oder-Nichts"-Natur symbolischer Programme unterscheidet.

Ursprüngliche Autoren: Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chengqi Zheng, Keya Hu, Shuzhi Liu, Tao Wu, Kevin Ellis, Yewen Pu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Personalmanager, der entscheiden muss, ob ein neuer Mitarbeiter für eine große Aufgabe bereit ist. Sie haben zwei Arten von Kandidaten: Der Roboter (ein symbolisches Programm, wie Python-Code) und Der kreative Freelancer (ein Prompt-Programm, das eine Anweisung an eine KI ist, eine Aufgabe zu erledigen).

Die Arbeit stellt eine einfache Frage: Wenn beide Kandidaten ein paar kleine Übungstests bestehen, können wir ihnen dann zutrauen, die eigentliche Aufgabe zu erledigen?

Die Autoren sagen: Ja für den Roboter, aber vielleicht nicht für den Freelancer. Hier ist der Grund, unter Verwendung der eigenen Logik und Analogien der Arbeit.

1. Die zwei Arten von „Programmen"

Der Roboter (Symbolisches Programm): Dies ist wie ein strenger Rechner. Wenn Sie ihm „2 + 2" sagen, muss er „4" sagen. Er befolgt starre Regeln. Wenn er einen Test besteht, liegt das daran, dass er die Regeln perfekt befolgt hat.
Der Freelancer (Prompt-Programm): Dies ist wie die Bitte an einen klugen, aber leicht unberechenbaren Künstler, „eine Katze zu zeichnen". Sie geben dem Künstler einen Prompt (Anweisungen). Der Künstler könnte eine großartige Katze zeichnen, eine seltsame Katze oder einen Hund. Selbst wenn er ein paar Übungstests besteht, könnte er einfach nur Glück gehabt haben, oder die Anweisungen könnten für die reale Welt leicht unpassend sein.

2. Das „Münzwurf"-Modell

Die Autoren stellen sich vor, dass jedes Mal, wenn das Programm einen Test ausführt, es wie ein Münzwurf ist.

Kopf: Das Programm bekommt es richtig.
Zahl: Das Programm bekommt es falsch.

Das Ziel ist es, zu erraten, wie „beschwert" die Münze ist. Ist es eine faire Münze (50/50)? Oder ist es eine gezinkte Münze, die immer auf Kopf landet (100 % Erfolg)?

3. Die große Entdeckung: Die „Form" der Vergangenheit

Bevor wir uns überhaupt die Testergebnisse ansehen, haben die Autoren die Geschichte von Tausenden dieser Programme untersucht, um zu sehen, wie ihre „Münzgewichte" normalerweise aussehen. Sie fanden zwei sehr unterschiedliche Formen:

Die Geschichte des Roboters (Alles-oder-Nichts):
Stellen Sie sich ein Histogramm aller Roboter-Programme vor. Es sieht aus wie zwei hohe Spitzen ganz am Ende.
- Spitze 1: Die meisten Roboter sind perfekt (100 % Erfolg).
- Spitze 2: Die meisten Roboter sind defekt (0 % Erfolg).
- Die Mitte: Fast nichts. Roboter sind selten „okay". Sie sind entweder perfekt oder sie versagen vollständig.
- Analogie: Es ist wie ein Lichtschalter. Er ist entweder AN oder AUS.
Die Geschichte des Freelancers (Die diffuse Wolke):
Stellen Sie sich ein Histogramm aller Freelancer-Programme vor. Es sieht aus wie eine breite, flache Wolke in der Mitte.
- Es gibt viele Programme, die „fast richtig" sind (70 %, 80 %, 90 %).
- Es gibt sehr wenige, die perfekt sind, und sehr wenige, die totale Misserfolge sind.
- Analogie: Es ist wie ein Dimmer. Die meisten Freelancer sind irgendwo in der Mitte und variieren in ihrer Helligkeit.

4. Warum ein paar Tests Sie täuschen

Dieser Unterschied erklärt, warum ein paar bestandene Tests für den Freelancer irreführend, aber für den Roboter beruhigend sind.

Für den Roboter: Wenn Sie sehen, dass er 3 Tests besteht, wissen Sie, dass er wahrscheinlich eine dieser „perfekten" Spitzen ist. Da der „Mittelweg" (wo er vielleicht nur okay wäre) nicht existiert, ist das Bestehen einiger Tests eine starke Garantie, dass er weiter funktionieren wird.
Für den Freelancer: Wenn Sie sehen, dass er 3 Tests besteht, könnte er einfach nur eines dieser „fast richtigen" Programme sein, das Glück hatte. Da es eine riesige Wolke von „fast richtigen" Programmen gibt, beweist das Bestehen einiger Tests nicht, dass er später perfekt sein wird. Er könnte beim nächsten leicht versagen.

5. Die Lösung: RAP (Das „Ähnlichkeitssuche"-Werkzeug)

Da wir ein paar Tests für den Freelancer nicht vertrauen können, haben die Autoren ein Werkzeug namens RAP (Retrieved Approximate Prior) entwickelt.

Stellen Sie sich RAP als eine kluge Bibliothekarin vor.

Das Problem: Sie haben einen neuen Freelancer-Prompt und ein paar Testergebnisse. Sie wissen nicht, ob er gut ist.
Die Bibliothek: RAP hat eine riesige Bibliothek mit anderen Prompts und Aufgaben, die zuvor ausprobiert wurden.
Die Suche: RAP betrachtet Ihren neuen Prompt und fragt: „Wer in der Bibliothek ist Ihnen am ähnlichsten?" Es findet andere Prompts, die ähnliche Probleme gelöst haben.
Die Vorhersage: Anstatt auf Basis einer generischen Regel zu raten, betrachtet RAP, wie diese ähnlichen Prompts in der Vergangenheit abgeschnitten haben. Es erstellt eine maßgeschneiderte „Ratemap" (einen Prior) speziell für Ihren Prompt.
Die Aktualisierung: Während Sie weitere Tests durchführen, aktualisiert RAP seine Schätzung.

Das Ergebnis: RAP ist viel besser darin vorherzusagen, ob ein Freelancer erfolgreich sein wird, als nur zu raten oder die gesamte Bibliothek auf einmal zu betrachten. Es passt sich an die spezifische Art der Aufgabe an, die Sie durchführen.

Zusammenfassung

Roboter (Code) sind binär: Sie sind entweder perfekt oder defekt. Ein paar Tests beweisen, dass sie perfekt sind.
Freelancer (Prompts) sind variabel: Sie sind oft „fast gut". Ein paar Tests beweisen nicht, dass sie zuverlässig sind.
RAP behebt dies, indem es nach ähnlichen vergangenen Beispielen sucht, um eine intelligentere Schätzung darüber zu treffen, wie gut ein neuer Prompt funktionieren wird, anstatt sich nur auf ein paar glückliche Testläufe zu verlassen.

Technische Zusammenfassung: Vorhersage der Leistung von symbolischen und Prompt-Programmen mit Beispielen

Problemstellung

Das Prompting von Large Language Models (LLMs) wird zwar weit verbreitet für natürlich formulierte Aufgaben eingesetzt, leidet jedoch unter mangelnder Zuverlässigkeit; ein Prompt kann einige Testfälle bestehen, versagt aber bei der Bereitstellung unvorhersehbar. Im Gegensatz dazu gelten symbolische Programme (z. B. Python, Regex) oft als vertrauenswürdig, sobald sie einige repräsentative Testfälle bestehen. Dieser Beitrag untersucht die grundlegende Frage: Warum zertifizieren wenige bestandene Tests symbolische Programme, aber keine Prompt-Programme?

Die Autoren fassen dies als Leistungs-Vorhersageproblem zusammen: Gegeben ein Programm (entweder symbolisch oder ein von einem LLM ausgeführter Prompt) und eine kleine Menge von Ergebnissen der Ausführung im In-Domain (Bestanden/Nicht bestanden), soll dessen wahre Leistung ( $\theta$ ) bei ungesichteten Aufgaben aus demselben Bereich vorhergesagt werden. Das Ziel ist es, eine Posterior-Verteilung über die Erfolgsrate des Programms abzuleiten, um die Einsatzfähigkeit und Konfidenzniveaus zu bestimmen.

Methodik

1. Theoretischer Rahmen: Das Münzwurf-Modell

Die Autoren verfolgen einen bayesschen Ansatz und modellieren jede Programmausführung auf einem Testfall als unabhängige Bernoulli-Zufallsvariable (ein „Münzwurf").

Beobachtung ( $O$ ): Eine Menge von $a$ Bestanden und $b$ Nicht bestanden.
Likelihood: $P(O|\theta) \propto \theta^a (1-\theta)^b$ .
Posterior: $P(\theta|O) \propto P(\theta) \cdot \theta^a (1-\theta)^b$ .

Der entscheidende Erkenntnisgewinn besteht darin, dass zwar die Likelihood leicht berechnet werden kann, die Leistungs-Prior $P(\theta)$ jedoch unbekannt ist und die Posterior-Verteilung bestimmt. Der Beitrag argumentiert, dass der Unterschied in der Vorhersagbarkeit zwischen symbolischen und Prompt-Programmen ausschließlich auf der Form ihrer jeweiligen Priors beruht.

2. Empirische Leistungspriors

Um die Priors zu verstehen, haben die Autoren ein Korpus aus 700 symbolischen Programmen (sp) und 700 Prompt-Programmen (pp) über diverse Domänen hinweg zusammengestellt (z. B. Regex, HumanEval, ARC, List Rules). Sie bewerteten jedes Programm an 100 Stichprobeninstanzen, um dessen wahre Leistung zu schätzen.

Symbolische Programme (sp): Zeigen einen „Alles-oder-Nichts"-Prior. Die Verteilung ist scharf bimodal, konzentriert nahe $\theta=0.0$ (vollständig falsch) und $\theta=1.0$ (perfekt).
Prompt-Programme (pp): Zeigen einen diffusen Prior. Es gibt erhebliche Masse bei intermediären Leistungswerten, was „nahezu-korrekte" Programme darstellt, die einige Tests durch Zufall bestehen, aber bei anderen versagen.

Implikation: Bei symbolischen Programmen verschieben wenige Erfolge die Posterior-Masse schnell in Richtung 1.0 und liefern hohe Konfidenz. Bei Prompt-Programmen verschieben dieselben Erfolge den diffusen Prior nur geringfügig, sodass die wahre Leistung unsicher bleibt.

3. RAP (Retrieved Approximate Prior)

Um die Schwierigkeit der Vorhersage der Leistung von Prompt-Programmen zu adressieren, schlagen die Autoren RAP vor, eine auf Retrieval basierende Methode zur Konstruktion eines aufgaben spezifischen Priors.

Eingabe: Ein Ziel-Prompt-Programm ( $p_{target}$ ), eine Menge beobachteter In-Domain-Beispiele ( $D$ ) und ein Korpus von Aufgaben und Prompts ( $M$ ).
Retrieval:
1. Ähnliche Aufgaben: Retrieval der top- $n$ Aufgaben aus dem Korpus, die den beobachteten Beispielen mittels textueller Embeddings ähnlich sind.
2. Ähnliche Prompts: Retrieval der top- $K$ Prompt-Programme aus dem Korpus, die auf den retriwerten Aufgaben ein ähnliches Verhalten (Übereinstimmung in der Korrektheit) zu $p_{target}$ zeigen.
Prior-Konstruktion: Die Leistung der retriwerten Prompts auf den retriwerten Aufgaben wird verwendet, um eine Mischung von Beta-Verteilungen als approximierten Prior zu konstruieren.
Update: Die beobachteten Ergebnisse ( $O$ ) aktualisieren diese Mischungs-Prior über Konjugiertheit.
Verfeinerung: RAP beinhaltet eine Komponentenweise Prior-Stärke-Anpassung. Sie skaliert die Parameter jeder Beta-Komponente basierend auf der Earth Mover's Distance (EMD) zwischen der retriwerten Komponente und dem Prior, der ausschließlich aus In-Domain-Beobachtungen abgeleitet wurde. Dies verhindert, dass irrelevante Korpusdaten die Posterior-Verteilung verzerren, wenn In-Domain-Daten knapp sind.

Hauptbeiträge

Formalisierung: Der Beitrag formalisiert die Leistungsvorhersage als bayessche Inferenz unter einem einfachen Münzwurf-Modell und trennt explizit die Likelihood (beobachtete Daten) vom Prior (Programmtyp-Charakteristika).
Empirische Entdeckung: Er liefert den ersten empirischen Nachweis, dass symbolische Programme einen „Alles-oder-Nichts"-Leistungsprior haben, während Prompt-Programme einen diffusen Prior mit erheblicher Masse bei intermediären Leistungen aufweisen. Dies erklärt die Zertifizierungslücke zwischen den beiden Programmtypen.
Algorithmische Lösung: Die Einführung von RAP, einer auf Retrieval basierenden Methode, die einen approximierten domänenspezifischen Prior aus einem Korpus konstruiert. RAP übertrifft Baselines, die entweder kein Korpus oder das gesamte Korpus naiv verwenden.

Ergebnisse

Die Autoren bewerteten RAP an 60 Prompt-Programmen in verschiedenen Settings (In-Domain und Out-of-Domain) unter Verwendung der Metriken Probability Density at Ground Truth (SC) und Absolute Error (AE).

Überlegenheit: RAP schneidet in In-Domain- und Out-of-Domain-Szenarien konsistent besser ab als Baselines (kein Korpus und gesamtes Korpus).
In-Domain-Vorteil: Die Verwendung von In-Domain-Beispielen im Korpus verbessert die Vorhersagegenauigkeit erheblich, insbesondere wenn die Anzahl der beobachteten Testfälle gering ist.
Konvergenz: Mit zunehmender Anzahl von In-Domain-Beobachtungen konvergiert RAP elegant zum empirischen Posterior, wodurch sichergestellt wird, dass der Likelihood-Term den Prior schließlich dominiert.
Robustheit: Die Methode bleibt über verschiedene Hyperparameter-Wahlmöglichkeiten, Korpusgrößen und LLM-Backbones hinweg robust.

Bedeutung und Behauptungen

Der Beitrag beansprucht, die erste Arbeit zu sein, die die Leistungsvorhersage für sowohl symbolische als auch Prompt-Programme unter Verwendung eines einheitlichen bayesschen Rahmens untersucht. Seine primäre Bedeutung liegt in:

Quantifizierung von Intuition: Bereitstellung einer mathematischen Erklärung dafür, warum wenige Testfälle symbolischen Code zertifizieren, aber keine Prompts, und Zuweisung dieses Phänomens zu strukturellen Unterschieden in ihren Leistungspriors.
Praktischer Einsatz: Angebot einer Methode (RAP) zur Schätzung der Konfidenz beim Einsatz eines Prompt-Programms, wenn nur begrenzte Testdaten verfügbar sind – ein kritisches Bedürfnis für nicht-kritische Settings, in denen eine Leistung von 80 % wertvoll ist, aber Unsicherheit gemanagt werden muss.
Limitationen: Die Autoren vermerken bescheiden, dass RAP eine „erste Angriffslinie" ist. Sie erkennen an, dass das Retrieval der top- $K$ relevanten Paare mit wachsendem Korpus rechnerisch teuer wird, und schlagen zukünftige Arbeiten zu aktivem Abfragen und Niedrigrang-Näherungen des Task-Prompt-Korpus vor.