$p1$: Better Prompt Optimization with Fewer Prompts

Die Arbeit stellt $p1$ vor, eine Methode zur Filterung von Benutzerprompts, die durch die Auswahl einer kleinen Teilmenge mit hoher Varianz zwischen Systemprompt-Kandidaten die Prompt-Optimierung effizienter macht und deren Erfolg auf Aufgaben mit heterogenen Daten verbessert.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber etwas störrischen Koch (das ist die Künstliche Intelligenz). Dieser Koch kann fantastische Gerichte zubereiten, aber er braucht eine sehr genaue Anleitung, damit er genau das macht, was du willst. Diese Anleitung nennen wir im Englischen „System Prompt".

Das Problem ist: Manchmal funktioniert die Anleitung perfekt, manchmal katastrophal. Die Forscher dieses Papers haben sich gefragt: Warum klappt das Optimieren dieser Anleitung bei manchen Aufgaben super und bei anderen gar nicht? Und noch wichtiger: Wie können wir die Anleitung so verbessern, dass sie auch bei den schwierigen Aufgaben funktioniert?

Hier ist die einfache Erklärung ihrer Entdeckungen und ihrer Lösung, genannt p1:

1. Das Problem: Der Lärm im Signal

Stell dir vor, du willst herausfinden, welche Anleitung für den Koch am besten ist. Du gibst ihm 30 verschiedene Rezepte (die „User Prompts") und testest, wie gut er sie mit verschiedenen Anleitungen (den „System Prompts") umsetzt.

• Der gute Fall (z. B. Befolgen von Regeln): Wenn du dem Koch sagst „Schreibe nur in Großbuchstaben", ist das Ergebnis sehr klar. Entweder er tut es oder er tut es nicht. Hier ist der Unterschied zwischen einer guten und einer schlechten Anleitung riesig und leicht zu erkennen.
• Der schlechte Fall (z. B. komplexe Matheaufgaben): Hier wird es chaotisch. Selbst mit der besten Anleitung macht der Koch manchmal Fehler, weil Mathe einfach schwer ist. Manchmal ist er mit einer schlechten Anleitung zufällig erfolgreich, manchmal mit einer guten.
  • Die Analogie: Stell dir vor, du versuchst, den besten Dirigenten für ein Orchester zu finden, aber das Orchester spielt so laut und chaotisch (das ist der „Rausch" oder die Zufälligkeit), dass du gar nicht hören kannst, ob der Dirigent eigentlich gut oder schlecht dirigiert. Das Signal (die Qualität der Anleitung) geht im Lärm unter.

2. Die überraschende Entdeckung: Mehr ist nicht immer besser!

Normalerweise denkt man: „Wenn ich mehr Rezepte teste, finde ich sicher die beste Anleitung."
Die Forscher haben aber etwas Überraschendes herausgefunden: Bei schwierigen, gemischten Aufgaben (wie Mathe) macht eine große Menge an Test-Rezepten die Sache sogar schlimmer!

• Warum? Stell dir vor, du hast 30 verschiedene Matheaufgaben.
  • Aufgabe A braucht einen strengen, logischen Koch.
  • Aufgabe B braucht einen kreativen, chaotischen Koch.
  • Wenn du den Koch auf alle 30 Aufgaben gleichzeitig trainierst, verwirrt sich der Optimierer. Die Anleitung, die für Aufgabe A perfekt ist, ist für Aufgabe B vielleicht schlecht. Wenn man alles mittelt, heben sich die Vorteile und Nachteile auf. Der Unterschied zwischen „guter" und „schlechter" Anleitung verschwindet im Durchschnitt. Es ist, als würdest du versuchen, einen einzigen Koch für Sushi, Pizza und Steak zu finden, indem du alle drei Gerichte gleichzeitig kochen lässt – am Ende wird keiner perfekt.

3. Die Lösung: p1 (Die „Koch-Filter"-Methode)

Anstatt den Koch auf alle 30 Rezepte gleichzeitig zu trainieren, sagt die Methode p1: „Halt! Wir brauchen nur die besten Rezepte für den Test."

• Wie funktioniert das?
  Die Forscher suchen sich nur eine winzige Auswahl an Aufgaben aus (z. B. nur 2 oder 4 Rezepte). Aber nicht irgendeine Auswahl! Sie wählen diejenigen aus, bei denen die Unterschiede zwischen den Anleitungen am größten sind.

  • Das sind die Aufgaben, bei denen man sofort sieht: „Mit Anleitung A ist das Gericht ein Meisterwerk, mit Anleitung B ist es ein Haufen Asche."
  • Bei diesen wenigen, ausgewählten Aufgaben ist das Signal (die Qualität der Anleitung) laut und klar, ohne den störenden Lärm der anderen Aufgaben.

• Der Trick: Indem sie nur auf diesen kleinen, „lauten" Teil des Datensatzes trainieren, lernen sie viel schneller, was eine gute Anleitung ist. Es ist, als würde man einem Koch nur die zwei Rezepte geben, bei denen er am meisten scheitert oder glänzt, statt ihn mit 30 verschiedenen Gerichten zu überfluten.

4. Das Ergebnis: Weniger ist mehr

Das Erstaunliche an dieser Methode ist:

• Sie braucht viel weniger Rechenleistung (weniger Trainingsdaten).
• Sie funktioniert besser als Methoden, die versuchen, alles auf einmal zu lernen.
• Die Anleitung, die sie nur mit zwei Matheaufgaben gelernt haben, funktioniert danach auch auf neuen, noch nie gesehenen Mathe-Wettbewerben hervorragend!

Zusammenfassung in einem Satz:
Um einen KI-Koch bei schwierigen Aufgaben zu verbessern, solltest du ihn nicht mit einem riesigen, chaotischen Buffet füttern, sondern ihm nur ein paar wenige, sehr klare Aufgaben geben, bei denen der Unterschied zwischen „gut" und „schlecht" sofort sichtbar ist. So lernt er schneller und wird besser.

Technische Zusammenfassung

1. Problemstellung

Prompt-Optimierung zielt darauf ab, die Leistung von Large Language Models (LLMs) zu verbessern, ohne deren Gewichte zu aktualisieren, indem ein besserer System-Prompt gesucht wird. Obwohl dieser Ansatz vielversprechend ist, zeigt sich in der Praxis eine stark schwankende Effektivität: Bei einigen Aufgaben (z. B. Instruktionsbefolgung) führt die Optimierung zu deutlichen Gewinnen, während sie bei komplexen Aufgaben (z. B. mathematisches Reasoning) oft scheitert, selbst bei hohem Rechenaufwand.

Die Autoren untersuchen die zugrundeliegenden Mechanismen dieser Inkonsistenz. Das zentrale Problem ist, dass die Varianz der Belohnung (Reward) über verschiedene System-Prompts hinweg oft von der stochastischen Varianz der Modellantworten überlagert wird. Wenn die Varianz innerhalb der Antworten eines einzelnen Prompts (durch die inhärente Stochastik des LLMs) größer ist als die Varianz zwischen den verschiedenen Prompts, wird das Optimierungssignal für Reinforcement Learning (RL) unbrauchbar.

Ein besonders kontraintuitiver Befund der Arbeit ist, dass die Vergrößerung des Trainingsdatensatzes die Optimierung verschlechtern kann. Auf heterogenen Datensätzen (wie mathematischen Wettbewerbsaufgaben) bevorzugen verschiedene Benutzerfragen unterschiedliche System-Prompts. Das Mitteln über einen großen, heterogenen Datensatz führt dazu, dass sich diese Präferenzen gegenseitig aufheben, wodurch die Unterschiede zwischen guten und schlechten System-Prompts statistisch verwischt werden („Signal-Rausch-Verhältnis" verschlechtert sich).

2. Methodik: p1 (Prompt Filtering)

Motiviert durch die Erkenntnis, dass eine hohe Varianz zwischen System-Prompts für das Lernen notwendig ist, schlagen die Autoren p1 vor. Dies ist eine einfache, aber effektive Methode zur Filterung von Benutzer-Prompts (User Prompts).

Kernprinzipien:

• Varianz-Decomposition: Die Autoren zerlegen die erwartete Varianz der Belohnung in zwei Komponenten:
  1. Varianz zwischen Antworten (Among Responses): Rauschen durch die Stochastik des LLMs.
  2. Varianz zwischen System-Prompts (Among System Prompts): Das echte Signal, das die Qualität eines Prompts widerspiegelt.
• Filterstrategie: Anstatt auf dem gesamten Datensatz zu trainieren, wählt p1 eine kleine Teilmenge von Benutzer-Prompts aus, die eine hohe Varianz der Belohnung über die Kandidaten-System-Prompts hinweg aufweisen.
• Berechnung: Für eine gegebene Teilmenge wird die Varianz zwischen den System-Prompts geschätzt, indem die geschätzte Varianz zwischen den Antworten von der Gesamtvarianz subtrahiert wird. Die Teilmenge mit dem höchsten Wert für diese „reine" System-Prompt-Varianz wird ausgewählt.
• Optimierung: Das RL-Training (basierend auf GRPO) erfolgt ausschließlich auf dieser gefilterten, kleinen Teilmenge. Dies konzentriert das Optimierungssignal auf die Beispiele, die am besten zwischen starken und schwachen System-Prompts unterscheiden können.

3. Wichtige Beiträge

• Theoretische Analyse der Lernbarkeit: Die Arbeit liefert eine mathematische Zerlegung der Reward-Varianz und zeigt, dass Prompt-Optimierung nur dann erfolgreich ist, wenn die Varianz zwischen den System-Prompts signifikant größer ist als die Varianz innerhalb der Antworten.
• Entdeckung des „Scaling-Paradoxons": Die Autoren zeigen, dass das Hinzufügen von mehr Daten auf heterogenen Aufgaben die Varianz zwischen System-Prompts verringert und somit die Optimierung behindert. Dies erklärt, warum Standard-Methoden auf großen Datensätzen wie AIME oft versagen.
• p1-Algorithmus: Einführung einer datenselektiven Methode, die das Signal-Rausch-Verhältnis durch gezielte Auswahl von „informativen" Prompts verbessert, anstatt auf mehr Daten zu setzen.
• Generalisierungsfähigkeit: Die durch p1 gelernten Prompts zeigen eine bemerkenswerte Generalisierungsfähigkeit über verschiedene Modelle und Benchmarks hinweg.

4. Ergebnisse

Die Methode wurde auf Benchmarks für Instruktionsbefolgung (IFBench) und mathematisches Reasoning (AIME, HMMT) getestet.

• Reasoning-Benchmarks (AIME/HMMT):
  • Standard-RL-Optimierung auf dem gesamten Datensatz (30 Fragen aus AIME 24) führte zu keiner signifikanten Verbesserung gegenüber dem Baseline-Modell.
  • p1 erzielte erhebliche Verbesserungen. Besonders bemerkenswert: Das Training auf nur zwei gefilterten Prompts aus AIME 24 führte zu einem System-Prompt, der auf AIME 25, AIME 26 und HMMT-Benchmarks (2025/2026) die besten Ergebnisse erzielte.
  • p1 übertraf starke Baselines wie GEPA (evolutionäre Suche) und Standard-RL deutlich.
  • Die gelernten Prompts transferierten sich erfolgreich auf größere Modelle (z. B. von Qwen3-4B auf Qwen3-30B).
• Instruktionsbefolgung (IFBench):
  • Auf homogenen Datensätzen wie IFBench, wo ein guter Prompt konsistent hilft, funktioniert Standard-RL bereits gut. Hier war p1 weniger vorteilhaft und neigte bei zu kleiner Auswahl zu Overfitting. Dies bestätigt die Hypothese, dass p1 speziell für heterogene, schwierige Aufgaben konzipiert ist.
• Qualitative Analyse:
  • Von p1 gelernte Prompts förderten allgemeine Reasoning-Fähigkeiten (z. B. „unfilterte Gedankenströme", strukturiertes Problemlösen).
  • Im Gegensatz dazu neigten Prompts von GEPA dazu, spezifische Muster des Trainingsdatensatzes zu memorieren (Overfitting auf Trainingsbeispiele), was die Generalisierung einschränkte.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen theoretischen und praktischen Durchbruch im Verständnis der Prompt-Optimierung. Es widerlegt die intuitive Annahme, dass „mehr Daten immer besser" für das Training von Prompts sind. Stattdessen zeigt es, dass die Qualität und Varianzstruktur der Trainingsdaten entscheidend ist.

Die Methode p1 demonstriert, dass durch die gezielte Auswahl einer winzigen, hoch-varianz-behafteten Teilmenge von Daten (z. B. nur 2 Prompts) überlegene System-Prompts gelernt werden können, die robust generalisieren. Dies bietet einen effizienten Weg, um LLMs auf komplexe Reasoning-Aufgaben vorzubereiten, ohne den Rechenaufwand für das Training auf riesigen Datensätzen oder das Fine-Tuning der Modellgewichte zu benötigen. Die Ergebnisse unterstreichen, dass für heterogene Aufgaben die Reduktion des Datensatzes auf die „schwierigsten" oder „unterscheidbarsten" Beispiele der Schlüssel zum Erfolg ist.