Die Kunst des perfekten Prompts: Eine Kontrolltheorie-Geschichte

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber unglaublich eigensinnigen Roboter beizubringen, ein Rätsel zu lösen. Dieser Roboter ist eine KI, und sie ist „eingefroren“, was bedeutet, dass ihr Gehirn in Stein gemeißelt ist; Sie können ihre Neuronen nicht neu verdrahten oder ihr neue Fakten beibringen. Sie weiß viel, aber sie weiß nicht, wie sie dieses Wissen für Ihr spezifisches Rätsel anwendet, sofern Sie ihr nicht die richtigen Anweisungen geben. In der Welt der Künstlichen Intelligenz wird dieses Setup als „Agent“ bezeichnet. Lange Zeit haben Forscher versucht herauszufinden, wie man diese Agenten zuverlässig macht, indem man sie wie Maschinen behandelt, die gesteuert werden müssen. Sie nutzen Ideen aus der „Kontrolltheorie“, was im Grunde die Wissenschaft davon ist, Dinge stabil und auf Kurs zu halten – so wie ein Tempomat in einem Auto ständig das Gaspedal anpasst, um die Geschwindigkeit konstant zu halten, oder wie ein Thermostat die Heizung regelt, um ein Zimmer angenehm warm zu halten.

Die große Frage, die dieses Paper behandelt, lautet: Was genau sollten wir steuern? Die meisten Menschen haben versucht, zu kontrollieren, was der Roboter als Nächstes tut (wie welches Werkzeug er aufheben soll) oder mit wem er spricht. Aber dieses Paper legt nahe, dass die wahre Magie geschieht, noch bevor der Roboter sich überhaupt bewegt. Es geht darum, den „Kontext“ zu kontrollieren – die spezifischen Anweisungen, die Beispiele, die Sie ihm zeigen, und die Menge an Hintergrundinformationen, die Sie ihm füttern. Denken Sie an einen Koch, der das Rezeptbuch nicht ändern kann (die eingefrorene KI), aber die Zutaten, die Beleuchtung in der Küche und die Notizen auf dem Tresen ändern kann, um das perfekte Gericht zu zaubern. Die Autoren wollen wissen, ob wir ein intelligentes System bauen können, das automatisch die beste Art und Weise findet, diese Anweisungen im laufenden Betrieb festzulegen, und ob dieses System stabil genug ist, um ihm zu vertrauen.

Die große Idee des Papers: Die Einrichtung steuern, nicht den Roboter

Dieses Paper, geschrieben von Debjyoti Paul im Juli 2026, schlägt eine neue Sichtweise auf KI-Agenten vor. Anstatt zu versuchen, die Handlungen des Roboters direkt zu kontrollieren, schlagen die Autoren vor, die Kontext-Assemblierung (Context Assembly) zu kontrollieren. Auf einfache Sprache ausgedrückt bedeutet dies, das „Setup“ des Prompts zu kontrollieren: welchen Template man verwendet, welche wenigen Beispiele man der KI zeigt, wie viele Informationen man aus einer Datenbank abruft und wie oft die KI ihre eigene Arbeit überprüfen sollte.

Die Autoren stellen sich ein zweiteiliges System vor. Der erste Teil ist der „eingefrorene“ KI-Agent – der Roboter, der tatsächlich die Arbeit erledigt. Der zweite Teil ist ein „Harness“ oder Controller, der außerhalb des Roboters sitzt. Dieser Controller ist ein intelligenter Lernender (unter Verwendung von Methoden wie einem „Contextual Bandit“ oder einer „REINFORCE“-Policy), der ständig mit verschiedenen Setups experimentiert, um zu sehen, welches die besten Ergebnisse liefert. Es ist wie ein Inspizient, der die Zeilen des Schauspielers nicht ändern kann (weil der Schauspieler eingefroren ist), aber Licht, Requisiten und Skriptnotizen ändern kann, um dem Schauspieler zu einer besseren Leistung zu verhelfen.

Was sie herausgefunden haben: Ein Realitätscheck

Die Autoren haben diese Idee nicht nur erdacht; sie haben sie getestet, um zu sehen, ob sie tatsächlich funktioniert und ob sie stabil ist. Sie führten Experimente mit einem spezifischen Setup durch, bei dem der Controller aus 729 verschiedenen möglichen Konfigurationen wählen musste (eine Kombination aus verschiedenen Prompt-Stilen, Werkzeugen, Speicher-Policies und Verifizierungsschritten). Sie führten diese Tests über 60 Episoden (Versuche) pro Durchgang durch, was insgesamt 240 Episoden über verschiedene Seeds hinweg ergab.

Hier ist die ehrliche Wahrheit über das, was sie herausgefunden haben:

1. Der Stabilitätstest (Wird es besser?)
Die Autoren wollten sehen, ob der Controller lernt, mit der Zeit besser zu werden, ein Konzept, das sie „Stabilität“ nennen. In einer perfekten Welt sollte die Leistung des Controllers steigen oder gleich bleiben, während er lernt. Ihre Daten zeigten jedoch etwas anderes. Über die 60 Episoden, die sie getestet haben, neigte die Leistung tatsächlich leicht nach unten oder blieb für die meisten Durchläufe flach. Drei von vier Testdurchläufen zeigten eine leicht negative Steigung.

Die Autoren erklären, dass dies nicht unbedingt ein Versagen ihrer Idee ist, sondern eine Einschränkung der Testgröße. Sie argumenten, dass es bei 729 möglichen Optionen nicht ausreicht, um die Grundlagen zu lernen, wenn man nur 60 Episoden hat. Es ist, als würde man versuchen, eine riesige Bibliothek von 72s9 verschiedenen Sprachen in nur wenigen Tagen zu lernen; man hatte nicht genug Zeit, um genug zu üben, um gut zu werden. Sie merken an, dass selbst mit 300 Episoden (fünfmal mehr als ihr Stabilitätstest) ihr Begleitpaper fand, dass das System immer noch ein statisches, voreingestelltes Baseline-Modell nicht schlagen konnte. Die Schlussfolgerung ist, dass sich das System derzeit in einem „untererfassten“ (under-sampled) Regime befindet – es ist zu kleine Stichprobe, um die langfristige Theorie zu beweisen, obwohl die Theorie selbst Sinn ergibt.

2. Der Konfidenztest (Weiß es, wann es rät?)
Das zweite, was sie prüften, war die „Unsicherheit-Kalibrierung“ (Uncertainty Calibration). Dies fragt: Weiß der Controller, wann er sich sicher ist und wann er unsicher ist? In einem realen Szenario sollte der Controller, wenn er unsicher ist, einen Menschen zur Hilfe rufen.

Die Ergebnisse hier waren ziemlich überraschend und etwas chaotisch. Der „Konfidenz“-Score des Controllers (basierend darauf, wie wahrscheinlich er seine Wahl einschätzte) war extrem niedrig – etwa 0,0014 – während die tatsächliche Erfolgsrate der Aufgaben viel höher lag, nämlich etwa 0,64 (64 %) und 0,58 (58 %). Dies ist eine riesige Lücke, etwa zwei Größenordnungen.

Die Autoren erklären, dass dies kein Fehler im Lernen ist, sondern ein mathematisches Problem. Da es 729 Optionen gibt, ist die Wahrscheinlichkeit, eine einzelne davon zu wählen, von Natur aus winzig (etwa 1/729, oder 0,0014). Daher wirkt der Controller ständig „unzuversichtlich“, selbst wenn er die richtige Antwort wählt. Das bedeutet, dass man diesen rohen Konfidenzwert nicht verwenden könnte, um zu entscheiden, wann man einen Menschen um Hilfe bittet – man würde für jede Aufgabe einen Menschen rufen, selbst bei den einfachen. Das Paper schlägt vor, dass man zur Behebung des Problems das Konfidenzsignal rekalibrieren müsste (vielleicht indem man die Lücke zwischen den Top-zwei-Optionen betrachtet, statt der Rohwahrscheinlichkeit), gibt aber zu, dass sie diesen Fix noch nicht getestet haben.

Das Fazit

Dieses Paper behauptet nicht, das Problem der KI-Steuerung gelöst zu haben. Stattdessen bietet es einen sehr spezifischen, ehrlichen Blick auf eine neue Denkweise: die Kontrolle des Kontexts statt der Aktion. Es argumentet, dass dies zwar eine vielversprechende und eigenständige Idee ist, die aktuellen Experimente jedoch zeigen, dass wir an eine Wand stoßen, weil der Raum der Möglichkeiten (729 Konfigurationen) zu groß ist für die Menge an Daten, die wir in einem Tag realistisch sammeln können.

Die Autoren sind vorsichtig, dies nicht als Durchbruch zu bezeichnen. Sie stellen explizit fest, dass ihre Stabilitätsergebnisse „rauschdominiert“ sind und ihre Konfidenzsignale ohne zusätzliche Korrekturen derzeit „nicht informativ“ sind. Sie sagen im Wesentlichen: „Hier ist ein neuer Hebel, an dem man ziehen kann, aber im Moment haben wir nicht genug Übungsschwünge gemacht, um zu wissen, ob er perfekt funktioniert, und unsere aktuelle Art, Konfidenz zu messen, ist fehlerhaft.“ Es ist ein Aufruf zu mehr Daten und besseren Kalibrierungsmethoden, anstatt eine Proklamation des Sieges.