In-Context Prompting Obsoletes Agent Orchestration for Procedural Tasks
Dieser Artikel argumentiert, dass für prozedurale Mehrschritt-Aufgaben ein einfacheres In-Context-Prompting, bei dem das Modell die Orchestrierung selbst übernimmt, komplexe externe Agenten-Orchestrierungs-Frameworks übertrifft und letztere für Frontier-Modelle obsolet macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine komplexe Aufgabe zu erledigen, wie etwa die Buchung eines komplizierten Familienurlaubs, die Reparatur eines defekten Zoom-Anrufs oder die Einreichung eines Versicherungsfalls. In der Welt der Künstlichen Intelligenz (KI) gibt es zwei Hauptmethoden, einem intelligenten Computer mitzuteilen, wie er dies tun soll.
Dieser Artikel argumentiert, dass der „schicke, komplizierte" Weg die Dinge tatsächlich verschlimmert, während der „einfache, direkte" Weg viel besser ist.
Hier ist die Aufschlüsselung mit einfachen Analogien:
Die zwei Ansätze
1. Der „Manager"-Ansatz (Agenten-Orchestrierung)
Stellen Sie sich dies wie einen strengen Fabrikboden vor. Sie haben einen sehr klugen Arbeiter (die KI), aber Sie haben auch einen Manager, der ihm über die Schulter schaut.
- Der Manager hat einen Flussdiagramm (eine Karte der Schritte).
- Der Manager sagt dem Arbeiter genau, was er für Schritt 1 sagen soll.
- Sobald der Arbeiter Schritt 1 abgeschlossen hat, prüft der Manager die Arbeit, entscheidet, ob er zu Schritt 2 oder Schritt 3 übergehen soll, und flüstert dann die Anweisungen für den nächsten Schritt.
- Der Arbeiter sieht nie die gesamte Karte; er sieht nur die winzige Anweisung für den Moment.
- Das Problem: Der Manager ist langsam, macht Fehler bei der Entscheidung für den nächsten Schritt und vergisst manchmal, was der Arbeiter vor drei Schritten gesagt hat, weil er sich nur auf die aktuelle Anweisung konzentriert.
2. Der „Selbstgeführte" Ansatz (In-Context-Prompting)
Stellen Sie sich dies vor, als würden Sie demselben klugen Arbeiter vor Beginn ein vollständiges Anleitungsbuch und eine Karte der gesamten Reise geben.
- Der Arbeiter liest das gesamte Handbuch.
- Er weiß genau, wo er ist, wohin er muss und was als Nächstes zu tun ist.
- Er braucht keinen Manager, der ihm sagt, was zu tun ist; er führt sich selbst.
- Der Vorteil: Er sieht das große Ganze, erinnert sich an das gesamte Gespräch und fließt natürlich, ohne an jeder Ecke anzuhalten, um um Erlaubnis zu bitten.
Was die Forscher taten
Die Autoren testeten diese beiden Ansätze mit einer sehr intelligenten KI (namens „Claude Sonnet") in drei verschiedenen realen Szenarien:
- Reisebuchung: Planung einer Reise für eine Gruppe mit einem bestimmten Budget und bestimmten Interessen.
- Technischer Support: Behebung eines Zoom-Audio-Problems.
- Versicherungsansprüche: Einreichung eines Schadensfalls nach einem Zusammenstoß mit einem Hirsch mit dem Auto.
Sie führten für jedes Szenario 200 Simulationen durch, sowohl im „Manager"-Stil als auch im „Selbstgeführten"-Stil. Anschließend ließen sie eine andere KI als Richter fungieren, um die Gespräche anhand folgender Kriterien zu bewerten:
- Wurde die Aufgabe abgeschlossen?
- War die Information korrekt?
- Fühlte sich das Gespräch natürlich oder roboterhaft an?
- Wurde die KI verwirrt oder wiederholte sie sich?
Die Ergebnisse: Der „Selbstgeführte" Arbeiter gewinnt
Die Ergebnisse waren in allen drei Szenarien klar und konsistent:
- Bessere Qualität: Die „Selbstgeführte" KI (In-Context) schnitt bei jedem einzelnen Messwert besser ab. Sie schloss Aufgaben häufiger ab, erinnerte sich besser an Details und klang hilfreicher wie ein Mensch.
- Weniger Fehler: Der „Manager"-Ansatz scheiterte viel häufiger.
- Bei der Reisebuchung scheiterte der Manager in 24 % der Fälle. Die selbstgeführte KI scheiterte nur in 11,5 %.
- Beim technischen Support scheiterte der Manager in 9 % der Fälle. Die selbstgeführte KI scheiterte nur in 0,5 % (fast nie).
- Bei Versicherungen scheiterte der Manager in 17 % der Fälle. Die selbstgeführte KI scheiterte in 5 %.
- Warum der Manager scheiterte: Da der Manager nur einen Schritt nach dem anderen betrachtete, vergaß die KI oft wichtige Details, die der Benutzer früher erwähnt hatte (wie das Budget „pro Person" statt „gesamt"). Sie geriet auch in Schleifen und stellte dieselbe Frage immer wieder, weil sie den Überblick darüber verlor, wo sie sich im Prozess befand.
- Geschwindigkeit und Kosten: Der „Manager"-Ansatz benötigte tatsächlich mehr Rechenleistung und Zeit, da der Manager bei jedem einzelnen Entscheidungspunkt anhalten und nachdenken musste. Der „Selbstgeführte" Ansatz war schneller und flüssiger, obwohl er zu Beginn ein etwas längeres „Handbuch" benötigte, das in das Gedächtnis der KI geladen wurde.
Das Fazit
Der Artikel kommt zu dem Schluss, dass wir für Aufgaben, die einer klaren Reihe von Regeln folgen (wie die Buchung einer Reise oder die Einreichung eines Anspruchs), keinen Manager mehr benötigen.
In der Vergangenheit waren KI-Modelle „dümmer" und brauchten einen Manager, der ihnen bei jedem Schritt die Hand hielt. Aber die KI-Modelle von heute sind so intelligent, dass sie, wenn man ihnen zu Beginn das gesamte Regelwerk gibt, den Rest selbst herausfinden können. Ein Manager hinzuzufügen, steht tatsächlich im Weg, verursacht Verwirrung und Fehler.
Die einfache Erkenntnis: Wenn Sie ein klares Verfahren haben, geben Sie einfach das gesamte Verfahren in die Anweisungen der KI und lassen Sie sie die Arbeit erledigen. Bauen Sie kein komplexes System, um es zu verwalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.