Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, eine Geschichte zu schreiben, ein mathematisches Problem zu lösen oder einen Nachrichtenartikel zusammenzufassen. Sie tun dies, indem Sie ihm eine Reihe von Anweisungen geben, die Wissenschaftler als „Prompt“ bezeichnen. Betrachten Sie einen Prompt wie ein Rezept: Wenn die Anweisungen vage oder unordentlich sind, könnte der Roboter einen Kuchen backen, der nach Seife schmeckt statt nach Schokolade. Lange Zeit versuchten Forscher, diese Rezepte zu verbessern, indem sie das gesamte Rezept jedes Mal von Grund auf neu schrieben, wenn der Roboter einen Fehler machte. Es war, als würde man einen ganzen Kuchen wegwerfen, weil die Glasur etwas daneben war, in der Hoffnung, dass der nächste Versuch perfekt sein würde. Diese Methode, bekannt als „monolithische“ Optimierung, funktionierte oft gut für einen Teil der Aufgabe, ruinierte aber versehentlich einen anderen Teil, was den Roboter verwirrte und die Ergebnisse inkonsistent machte.

Das Papier, das Sie gleich lesen werden, widmet sich diesem Problem mit einem neuen Ansatz namens SAPO (Segment-level Automatic Prompt Optimization). Anstatt das ganze Rezept wegzuwerfen, agiert SAPO wie ein Chefkoch, der den Kuchen sorgfältig probiert, genau identifiziert, welche Zutat falsch ist (vielleicht zu viel Salz oder zu wenig Zucker) und nur diesen Teil korrigiert, während er die perfekten Teile unberührt lässt. Die Autoren testeten diese Methode bei fünf verschiedenen Arten von Aufgaben, von der Beantwortung von Fragen zum Leseverständnis bis hin zur Lösung komplexer mathematischer Probleme, unter Verwendung zweier verschiedener Roboter-Gehirne (GPT-3.5-Turbo und GPT-4o-mini). Sie fanden heraus, dass sie durch das Aufteilen der Anweisungen in kleinere, handhabbare Stücke und das gezielte Reparieren der Schwachstellen deutlich bessere Ergebnisse als mit bisherigen Methoden erzielen konnten, wobei die Leistung bei einigen Aufgaben um bis zu 7,25 % gesteigert wurde.

Das Rezept für einen besseren Roboter

Tauchen wir ein in die Funktionsweise. Stellen Sie sich vor, Sie geben einem Roboter eine sehr lange, komplizierte Bedienungsanleitung. In der Vergangenheit, wenn der Roboter die Antwort falsch gab, versuchte ein automatischer Optimierer, die gesamte Anleitung in einem Rutsch neu zu schreiben. Es ist, als würde man versuchen, einen kaputten Automotor zu reparieren, indem man das ganze Auto ersetzt. Manchmal funktionierte dieses neue Auto zwar super zum Fahren, aber schrecklich beim Parken. Die alte Methode machte den Roboter oft besser in einer Sache, aber schlechter in einer anderen – ein Problem, das die Autoren als „Prompt-Drift“ bezeichnen.

Die Autoren dieses Papiers, Nikita Kulin und sein Team, schlagen einen klügeren Weg vor. Sie erkannten, dass eine gute Bedienungsanleitung nicht nur ein einziger großer Textblock ist, sondern aus verschiedenen Abschnitten besteht, ähnlich wie Kapitel in einem Buch. Sie unterteilen den Prompt in vier spezifische „Segmente“:

1. Rolle: Wer soll der Roboter sein? (z. B. „Du bist ein hilfreicher Historiker.“)
2. Kontext: Was ist der Hintergrund der Geschichte oder die Situation? (z. B. „Du sprichst mit einem Schüler.“)
3. Aufgaben: Was genau muss der Roboter tun? (z. B. „Fasse diesen Text in drei Sätzen zusammen.“)
4. Ausgabeformat: Wie soll die Antwort aussehen? (z. B. „Gib mir eine Aufzählung mit Stichpunkten.“)

Das SAPO-Detektivspiel

Die neue Methode, SAPO, behandelt diese vier Segmente wie Hinweise in einem Detektivspiel. Hier ist der schrittweise Prozess, den sie verwenden:

Zuer Sie läuft das System eine Trainingssession mit einer Reihe von Beispielen durch den Roboter. Es analysiert die Ergebnisse und wählt die Top 5 der besten Beispiele (bei denen der Roboter es richtig gemacht hat) und die Bottom 5 der schlechtesten Beispiele (bei denen der Roboter versagt hat) aus.

Als Nächstes spielt das System Detektiv. Es bittet einen zweiten, klügeren Roboter (der als Richter fungiert), sich die Top-5- und Bottom-5-Beispiele anzusehen und herauszufinden, warum der Roboter erfolgreich war oder gescheitert ist. Hat der Abschnitt „Rolle“ den Roboter verwirrt? War die „Aufgabe“ zu vage? Der Richter identifiziert, welche Segmente „stark“ waren (in den guten Beispielen gut funktionierten) und welche „schwach“ waren (Probleme in den schlechten Beispielen verursachten).

Dann kommt der magische Teil: Constrained Synthesis (Eingeschränkte Synthese). Anstatt die gesamte Anleitung neu zu schreiben, generiert das System neue Versionen des Prompts, die die starken Segmente exakt so beibehalten, wie sie sind, und nur die schwachen Segmente ändern. Es ist, als würde man den perfekten Schokoladenteig behalten, aber die verbrannte Glasur gegen eine frische Charge austauschen. Dies stellt sicher, dass die Teile der Anweisung, die bereits gut funktionierten, nicht versehentlich beschädigt werden.

Schließlich testet das System diese neu überarbeiteten Prompts an einem separaten Satz von Fragen (dem Validierungsset). Wenn der neue Prompt besser abschneidet, wird er akzeptiert. Wenn nicht, behält das System den alten bei. Dies geschieht immer und immer wieder, bis der Roboter so gut ist, wie er sein kann.

Das Ergebnis: Ein klarer Sieger

Das Team testete diese Methode bei fünf sehr unterschiedlichen Herausforderungen:

• SQuADv2: Beantwortung von Fragen basierend auf einem Lesetext.
• TweetEval: Klassifizierung der Stimmung von Tweets.
• XSUM: Zusammenfassung von Nachrichtenartikeln.
• CommonGen: Erstellung von Sätzen aus einer Liste von Wörtern.
• GSM8K: Lösen von mathematischen Textaufgaben für die Grundschule.

Sie führten diese Tests auf zwei verschiedenen Robotermodellen durch: GPT-3.5-Turbo und GPT-4o-mini. Die Ergebnisse waren äußerst beeindruckend. Im Vergleich zu anderen populären Methoden, die den gesamten Prompt auf einmal umschreiben (wie APE, OPRO und EvoPrompt), erzielte SAPO konsistent höhere Punktzahlen im Durchschnitt.

Auf dem GPT-3.5-Turbo-Modell verbesserte SAPO die durchschnittliche Punktzahl um 5,13 % gegenüber der nächstbesten Methode. Beim fortschrittlicheren GPT-4o-mini war die Verbesserung sogar noch größer und lag 7,25 % höher als die Konkurrenz. Die größten Erfolge gab es bei Aufgaben, die sehr strikte Antworten erfordern, wie etwa bei den mathematischen Problemen (GSM8k) und dem Leseverständnis (SQuAD2), wo schon ein winziger Fehler in den Anweisungen zu einer völlig falschen Antwort führen kann.

Warum das wichtig ist

Die Autoren legen nahe, dass dieser Erfolg darauf zurückzuführen ist, dass SAPO die „destruktive Interferenz“ verhindert, die auftritt, wenn man alles gleichzeitig ändert. Indem die Änderungen auf nur die schwachen Teile des Prompts lokalisiert werden, bewahrt das System die Teile, die bereits perfekt funktionieren. Es ist ein vorsichtigerer, chirurgischerer Ansatz, um Roboter zu lehren.

Das Papier weist jedoch auch auf einige Einschränkungen hin. Die aktuelle Methode verwendet einen festen Satz von vier Segmenten. Obwohl dies für viele Aufgaben gut funktioniert, könnte es für jeden einzelnen Typ von Problem nicht detailliert genug sein. Die Autoren schlagen vor, dass zukünftige Versionen dem Roboter erlauben könnten, automatisch neue Arten von Segmenten zu entdecken, falls nötig, anstatt nur an diesen vier festzuhalten.

Kurz gesagt zeigt SAPO, dass es, wenn man einen superintelligenten Roboter lehren will, manchmal der beste Weg, einen Fehler zu beheben, nicht ist, ganz von vorne anzufangen, sondern genau zu identifizieren, was schiefgelaufen ist, und nur dieses eine Stück zu reparieren. Es ist ein Wechsel von „alles umschreiben“ zu „repariere, was kaputt ist“, und vorerst scheint dies die Gewinnstrategie zu sein.