📊 statistics

Why is prompting hard? Understanding prompts on binary sequence predictors

Dieser Beitrag untersucht die Herausforderungen des Promptings, indem er es als Suche nach optimalen Konditionierungssequenzen für Sequenzvorhersagemodelle formuliert, und zeigt durch kontrollierte Experimente und Analysen von Frontier-Modellen auf, dass optimale Prompts oft unintuitiv sind, selbst bei erschöpfender Suche schwer zu identifizieren und bei Verwendung herkömmlicher, auf Demonstrationen basierender Methoden häufig suboptimal.

Ursprüngliche Autoren: Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein

Veröffentlicht 2026-05-12

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Li Kevin Wenliang, Anian Ruoss, Jordi Grau-Moya, Marcus Hutter, Tim Genewein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superintelligenten, hochtrainierten Papagei. Dieser Papagei hat Millionen von Büchern gelesen, unzählige Filme gesehen und jede je produzierte Radiosendung gehört. Er weiß, wie man das nächste Wort in einem Satz besser vorhersagt als jeder andere. Dies ist Ihr KI-Modell.

Nun möchten Sie, dass dieser Papagei einen bestimmten Trick vorführt: einen Witz erzählt, ein trauriges Gedicht schreibt oder ein Matheproblem löst. Dies tun Sie, indem Sie ihm einen Prompt geben – ein paar instruktive Worte oder ein Beispiel, um ihn in Gang zu bringen.

Diese Arbeit stellt eine einfache, aber tiefgründige Frage: Warum ist es so schwierig, die perfekten Worte zu finden, um dem Papagei zu geben? Manchmal sehen die Anweisungen, die am besten funktionieren, für einen Menschen völlig seltsam, unsinnig oder sogar „falsch" aus. Warum funktioniert ein Prompt, der wie Kauderwelsch aussieht, besser als eine klare, logische Anweisung?

Die Autoren beschlossen, das Raten einzustellen und mit dem Testen zu beginnen. Sie schufen eine winzige, kontrollierte Welt, um zu verstehen, was wirklich im Gehirn des Papageis vor sich geht.

Das Experiment: Der Münzwurf-Papagei

Anstatt eine echte, komplexe KI zu verwenden, erschufen sie einen einfachen „Papagei", der nur Kopf und Zahl versteht (wie bei einem Münzwurf).

Das Training: Sie lehrten diesen Papagei, indem sie ihm Tausende von Münzwürfen zeigten. Aber hier liegt der Haken: Sie zeigten ihm nicht nur faire Münzen. Sie zeigten ihm Münzen, die auf unterschiedliche Weise verzerrt waren. Einige Münzen fielen zu 20 % auf Kopf, andere zu 90 %, und einige waren eine Mischung aus beidem. Der Papagei lernte, den nächsten Wurf basierend auf dem Muster zu erraten, das er während des Trainings sah.
Die Aufgabe: Nun wollten sie, dass der Papagei wie eine spezifische Münze agiert, die zu 70 % auf Kopf fällt. Sie fragten: „Was ist die beste Sequenz aus Kopf und Zahl, um dem Papagei zu zeigen, damit er beginnt, zu 70 % Kopf zu erraten?"

Die große Überraschung: „Falsche" Prompts funktionieren am besten

Man könnte denken, der beste Weg, dem Papagei beizubringen, zu 70 % Kopf zu erraten, besteht darin, ihm eine lange Liste mit 70 % Kopf und 30 % Zahl zu zeigen. Das scheint logisch, oder?

Die Arbeit ergab, dass dies oft falsch ist.

In vielen Fällen war der optimale Prompt (derjenige, der tatsächlich am besten funktioniert) eine Sequenz, die der Aufgabe überhaupt nicht ähnelte.

Die Analogie: Stellen Sie sich vor, Sie möchten einen Schüler, der es gewohnt ist, in einer ruhigen Bibliothek zu lernen, darin unterrichten, in einem lauten Cafeteria zu lernen. Man könnte denken, ihm eine Aufnahme eines lauten Cafeterias zu zeigen, sei der beste Weg, ihn vorzubereiten. Doch die Arbeit ergab, dass es manchmal am besten ist, ihn ready zu machen, indem man ihm eine Sequenz aus Stille zeigt, die sein Gehirn subtil dazu bringt, Lärm zu erwarten.
Die Realität: Der „beste" Prompt hängt vollständig davon ab, wie der Papagei trainiert wurde (seine Vorab-Trainingsverteilung). Wenn der Papagei auf einer spezifischen Mischung von Münzverzerrungen trainiert wurde, könnten die „magischen Worte", um ihn zu einem bestimmten Verhalten zu bringen, eine Sequenz aus nur Kopf sein oder eine seltsame Mischung aus 10 Kopf und 2 Zahl. Für einen Menschen, der nur die Aufgabe betrachtet, sieht dies wie ein Fehler aus. Aber für den Papagei ist es der perfekte Schlüssel, der das richtige Verhalten freischaltet.

Warum ist es so schwierig, dies herauszufinden?

Die Arbeit hebt drei Hauptgründe hervor, warum das Finden dieser „magischen Worte" ein Albtraum ist:

1. Das Problem des „versteckten Rezepts"
Das Verhalten des Papageis wird von einem geheimen „Rezept" (der Vorab-Trainingsverteilung) geprägt, das wir normalerweise nicht kennen.

Analogie: Stellen Sie sich vor, Sie versuchen, ein Radio auf einen bestimmten Sender abzustimmen. Sie wissen nicht, wie der Sender klingt, und Sie wissen nicht, wie das Radio gebaut wurde. Sie drehen einfach am Regler. Manchmal bringt das Drehen an die „offensichtliche" Stelle nur Rauschen. Sie müssen ihn an eine seltsame, zufällige Stelle drehen, um klaren Sound zu erhalten. Ohne die interne Verkabelung des Radios zu kennen, können Sie nicht erklären, warum diese seltsame Stelle funktioniert.

2. Das Problem der „flachen Landschaft"
Die Autoren visualisierten die Suche nach dem besten Prompt wie das Wandern auf einer hügeligen Landschaft.

Analogie: Sie suchen den höchsten Gipfel (den besten Prompt). In einer perfekten Welt gäbe es einen scharfen Berggipfel, und es wäre leicht, ihn zu finden. Doch in den Experimenten dieser Arbeit ist die „Landschaft" oft eine flache Hochebene. Es gibt Hunderte verschiedener Prompts, die fast gleich gut sind.
Die Konsequenz: Wenn Sie versuchen, den besten Prompt mit einer kleinen Datenmenge zu finden (wie einem kleinen Testbatch), wählen Sie möglicherweise versehentlich einen „gut genug" Prompt aus, der sich tatsächlich vom wahren besten unterscheidet. Wenn Sie den Test mit einem leicht anderen Batch wiederholen, wählen Sie möglicherweise einen anderen „gut genug" Prompt aus. Dies macht die Ergebnisse unzuverlässig und schwer zu interpretieren.

3. Die „Experten-Demo"-Falle
Eine beliebte Methode, KI zu unterrichten, besteht darin, ihr Beispiele eines Experten zu zeigen, der die Aufgabe ausführt (z. B. „So spielt ein Schachgroßmeister").

Die Erkenntnis: Die Arbeit zeigte, dass das Zeigen von Expertenbeispielen oft weniger effektiv ist als die Verwendung eines seltsamen, optimierten Prompts.
Analogie: Stellen Sie sich vor, Sie möchten, dass ein Roboter Schach perfekt spielt. Sie könnten ihm 100 Partien zeigen, die von einem Großmeister gespielt wurden. Oder Sie könnten ihm einen seltsamen, kurzen Code geben, der sein Gehirn in den „Großmeister-Modus" zwingt. Die Arbeit ergab, dass der seltsame Code oft besser funktioniert als die 100 Partien. Die Expertenbeispiele sind zu „typisch" und berücksichtigen nicht die spezifischen Trainingsverzerrungen des Roboters.

Was ist mit echter KI (wie Chatbots)?

Die Autoren testeten diese Ideen an echten Large Language Models (wie GPT-2 und Gemma) unter Verwendung von Filmkritiken.

Sie fanden die gleichen Muster: Die besten Prompts, um eine „positive" Rezension zu generieren, waren nicht immer worte, die positiv klangen. Manchmal waren es kurze, seltsame oder sogar negativ klingende Worte, die irgendwie die richtige Reaktion auslösten.
Sie stellten auch fest, dass man, um den besten Prompt zuverlässig zu finden, eine riesige Datenmenge (Tausende von Beispielen) benötigt, nicht nur die kleinen Batches (um die 200), die Menschen normalerweise verwenden. Mit kleinen Batches raten Sie lediglich.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass Prompting schwierig ist, weil wir versuchen, eine Maschine zu steuern, ohne ihre gesamte Geschichte zu kennen.

Der „beste" Prompt ist relativ: Es gibt keinen universellen „besten" Prompt. Der beste Prompt hängt von den spezifischen, versteckten Verzerrungen der Trainingsdaten der KI ab.
Intuition versagt: Was für einen Menschen logisch erscheint (der KI zu zeigen, was man will), scheitert oft, weil es die interne „Mathematik" der KI nicht berücksichtigt.
Die Zuverlässigkeit ist gering: Es sei denn, man sucht erschöpfend und verwendet massive Datensätze, sind die Prompts, die man findet, möglicherweise glückliche Zufälle, die nicht konsistent funktionieren.

Kurz gesagt schlägt die Arbeit vor, dass die „Magie" des Promptings nicht nur darin besteht, gute Anweisungen zu schreiben; es geht darum, die versteckten statistischen Verzerrungen der KI auf Weise zu hacken, die uns oft völlig kontraintuitiv erscheinen.

Technische Zusammenfassung: Verständnis von Prompts bei Binärsequenz-Prädiktoren

Problemstellung

Frontier-Modelle, wie Large Language Models (LLMs), können über Prompts so konditioniert werden, dass sie diverse Aufgaben erfüllen. Das Finden effektiver Prompts ist jedoch schwierig, und selbst wenn leistungsstarke Prompts gefunden werden, sind sie oft unintuitiv oder „exzentrisch". Das Kernproblem besteht im mangelnden fundamentalen Verständnis dafür, warum optimale Prompts kontraintuitiv verhalten, warum sie schwer zuverlässig zu identifizieren sind und warum gängige Heuristiken (wie die Verwendung von Expertendemonstrationen) oft versagen.

Die Arbeit geht davon aus, dass Prompting im Wesentlichen ein Problem der Suche nach der besten Konditionierungssequenz auf einem nahezu optimalen Sequenzprädiktor ist. Die Schwierigkeit ergibt sich daraus, dass der optimale Prompt stark von der Pretraining-Verteilung (der Meta-Verteilung der Daten, mit denen das Modell trainiert wurde) abhängt, die dem Benutzer typischerweise unbekannt ist. Folglich können Prompts, die für eine spezifische Aufgabe optimal sind, betrachtet man sie ausschließlich durch die Linse der Aufgabenverteilung, atypisch oder suboptimal erscheinen.

Methodik

Die Autoren schlagen ein rigoroses, kontrolliertes empirisches Rahmenwerk vor, um Prompting aus einer Bayesschen Meta-Learning-Perspektive zu untersuchen.

Synthetische Datengeneratoren (DGs): Anstatt sich auf komplexe natürliche Sprachdaten zu verlassen, bei denen die Grundwahrheit schwer fassbar ist, entwerfen die Autoren synthetische Binärsequenz-Datengeneratoren. Dazu gehören:
- Bedingt unabhängige Bernoulli-DGs (CIB-DGs): Modelle, bei denen Sequenzen basierend auf einer latenten Verzerrung $\tau$ generiert werden, die aus einer Prior-Verteilung $p_\tau$ gezogen wird.
- Komplexe DGs: Einschließlich Schaltprozesse, hierarchischer Modelle und Topic-Modelle zur Simulation von nicht-i.i.d.-Strukturen.
- Bandit-Entscheidungsagent: Eine Zwei-Arm-Bernoulli-Bandit-Aufgabe, bei der das Ziel darin besteht, einem Agenten ein spezifisches „Fertigkeitsniveau" ( $\tau$ ) zu induzieren, um die Erträge zu maximieren.
Prädiktoren: Das Rahmenwerk bewertet zwei Arten von Prädiktoren:
- Bayes-Prädiktoren: Theoretisch optimale Prädiktoren, die analytisch für die synthetischen DGs abgeleitet wurden.
- Neuronale Prädiktoren: Autoregressive Modelle (RNNs, LSTMs, Transformer), die via Meta-Learning auf Stichproben aus den Pretraining-DGs trainiert wurden, um den Bayes-Prädiktor zu approximieren.
Prompt-Suche:
- Theoretisch optimale Prompts ( $s^*$ ): Gefunden durch erschöpfende Suche über den Prompt-Raum, um den erwarteten Log-Verlust unter der Aufgabenverteilung $q$ zu minimieren. Dies liefert eine numerisch garantierte Grundwahrheit.
- Empirisch optimale Prompts ( $\hat{s}$ ): Gefunden durch Optimierung von Prompts auf endlichen Datensätzen, die aus $q$ gezogen wurden, um reale Einschränkungen des Prompt-Engineerings zu simulieren.
Metriken: Die Studie analysiert den „Anteil der Korrektheit" (Zuverlässigkeit beim Finden von $s^*$ ), die „Verlustlandschaft" (Flachheit um das Optimum herum) und die Interpretierbarkeit von Prompts im Verhältnis zur Aufgaben- und Pretraining-Verteilung.

Hauptbeiträge

Rigoroses Rahmenwerk: Etablierung eines formalen Rahmens zur Analyse optimaler Konditionierungssequenzen, der Definitionen von Optimalität, experimentelle Designs und Visualisierungstechniken umfasst.
Ergebnisse der erschöpfenden Suche: Sammlung von über 250.000 numerisch garantierten optimalen Prompts. Die Studie zeigt, dass optimale Prompts oft atypisch für die Aufgabe sind; sie ähneln möglicherweise nicht Stichproben aus der Aufgabenverteilung, sondern sind stattdessen darauf zugeschnitten, Verzerrungen in der unbekannten Pretraining-Verteilung auszunutzen.
Zuverlässigkeitsanalyse: Es wurde demonstriert, dass die Identifizierung optimaler Prompts selbst mit endlichen Datensätzen unzuverlässig ist. Eine Vergrößerung des Datensatzes ( $N$ ) verbessert die Zuverlässigkeit nicht immer; in einigen Fällen führt dies zu inkonsistenten Ergebnissen aufgrund flacher Verlustlandschaften, in denen viele suboptimale Prompts eine ähnliche Leistung aufweisen.
In-Context-Learning vs. Optimal Prompts: Es wurde gezeigt, dass Prompting via Expertendemonstrationen (eine gängige In-Context-Learning-Strategie) oft suboptimal ist im Vergleich zu theoretisch optimalen Prompts. In einer Bandit-Aufgabe erzielten Expertendemonstrationen geringere Erträge als Prompts, die spezifische latente Fertigkeitstufen durch kontraintuitive Belohnungsmuster induzierten.
LLM-Validierung: Anpassung des Rahmenwerks an reale LLMs (GPT-2, Gemma-3, Gemini 2.5 Pro) unter Verwendung von IMDB-Filmrezensionen. Die Erkenntnisse zu Binärsequenzen (z. B. die Schwierigkeit, optimale Prompts mit kleinen Batch-Größen zu identifizieren und die Prävalenz kurzer, nicht-intuitiver Prompts) waren konsistent mit den Ergebnissen an realen Modellen.

Hauptergebnisse

Atypizität optimaler Prompts: In einem Szenario, in dem ein Modell auf einer Mischung von Münzverzerrungen vortrainiert wurde und die Aufgabe hat, 70 % Kopf zu generieren, war der optimale Prompt keine Sequenz von 70 % Kopf. Stattdessen war es oft eine Sequenz aus lauter Einsen (oder anderen extremen Zählungen), die die posteriori-Überzeugung auf die Zielverzerrung am schnellsten konzentrierte, gegeben die spezifische Pretraining-Mischung.
Länge und Suchraum: Entgegen der Intuition, dass längere Prompts immer besser sind, ergab die Studie, dass die Länge des optimalen Prompts nicht monoton mit der Länge der Aufgabensequenz zunimmt. Kürzere Prompts erscheinen oft optimal, weil der Suchraum für längere Prompts riesig ist und eine erschöpfende Suche in der Praxis selten durchgeführt wird.
Die Rolle der Pretraining-Verteilung: Die Interpretierbarkeit eines Prompts hängt davon ab, die Pretraining-Verteilung zu kennen. Ohne dieses Wissen erscheinen optimale Prompts als „Kauderwelsch" oder exzentrische Sequenzen.
Expertendemonstrationen sind suboptimal: Im Bandit-Experiment schnitten Prompts, die aus Expertendemonstrationen abgeleitet wurden (Thompson Sampling), schlechter ab als optimale Prompts. Die optimalen Prompts nutzten spezifische Belohnungsmuster (z. B. ein einzelnes Versagen gefolgt von einer Serie von Erfolgen), um hohe Fertigkeitstufen effektiver zu signalisieren als typische Expertentrajektorien.
Zuverlässigkeit und Batch-Größe: Die empirische Optimierung ist hochgradig sensitiv gegenüber der Datensatzgröße. Kleine Batch-Größen (z. B. $N=200$ , in der Literatur üblich) liefern unzuverlässige Prompts. Ein viel größeres $N$ (z. B. $N \approx 1700$ für LLMs) ist erforderlich, um eine 50%ige Chance zu erreichen, den optimalen Prompt zu identifizieren.

Bedeutung und Behauptungen

Die Arbeit beansprucht, einen ersten Schritt hin zum Verständnis optimaler Prompts aus statistischer und empirischer Perspektive zu tun. Sie argumentiert, dass die unintuitive Natur des Promptings nicht merely ein Mangel aktueller Architekturen ist, sondern eine fundamentale Konsequenz des Bayesschen Meta-Learnings auf unbekannten Pretraining-Verteilungen.

Fundamentale Einsicht: Die Schwierigkeit beim Prompting entsteht, weil der optimale Prompt die Pretraining-Priors „hacken" muss, um das Modell zu steuern, anstatt einfach die Aufgabenverteilung nachzuahmen.
Einschränkungen: Die Autoren sind bescheiden in ihren Behauptungen und stellen fest, dass Binär-Tokens drastische Vereinfachungen der natürlichen Sprache sind. Während die Erkenntnisse grundlegende Einsichten bieten, sagen sie das genaue Verhalten von vollskaligen Frontier-Modellen nicht definitiv voraus. Die Studie konzentriert sich auf die Pretraining-Phase und berücksichtigt post-training-Effekte (z. B. RLHF) oder spezifische architektonische Nuancen nicht vollständig.
Implikation: Die Arbeit legt nahe, dass aktuelle heuristische Ansätze des Prompt-Engineerings (die auf Intuition oder Suchen im kleinen Maßstab setzen) wahrscheinlich die wahren optimalen Lösungen verpassen, die oft im komplexen Zusammenspiel zwischen Aufgabe und der versteckten Pretraining-Verteilung verborgen sind.

Zusammenfassend bietet die Arbeit eine theoretische und empirische Grundlage dafür, warum „gute" Prompts schwer zu finden sind und warum sie oft seltsam aussehen, und führt diese Phänomene auf die statistische Notwendigkeit zurück, sich mit einer unbekannten Pretraining-Meta-Verteilung in Einklang zu bringen.