CAPO: Constraint-Aware Prompt Optimization for LLM Agents
Dieses Paper stellt CAPO vor, eine constraint-bewusste Prompt-Optimierungsmethode, die einen Primal-Dual-Ansatz mit adaptiver Constraint-Gewichtung verwendet, um die System-Prompts von LLM-Agenten hinsichtlich der Aufgabenleistung effektiv zu optimieren und gleichzeitig betriebliche Einschränkungen wie Sicherheit und Formatierung einzuhalten, sowie eine dynamische Variante (DCAPO), die einen spezialisierten Rewriter trainiert, um über verschiedene Domänen hinweg machbare und leistungsstarke Prompts zu erzielen, ohne den zugrunde liegenden Aufgaben-Agenten zu modifizieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Große Sprachmodelle werden zunehmend nicht mehr nur zum Chatten, sondern zum Handeln eingesetzt. Diesen digitalen Agenten wird eine Reihe von Anweisungen, bekannt als System-Prompt, gegeben, die ihnen mitteilt, wie sie Werkzeuge nutzen, Probleme lösen und mit Nutzern interagieren sollen. Stellen Sie sich einen Reiseverkehrskaufmann vor, der Flüge buchen, Versicherungen prüfen und Reservierungen stornieren kann, aber dies nur tun darf, wenn er sich an ein strenges Set von Unternehmensregeln hält. Die Herausforderung für Entwickler besteht darin, dass ein Modell zwar unglaublich gut darin sein kann, eine Aufgabe zu lösen, aber dennoch daran scheitert, die spezifischen operativen Anforderungen eines realen Jobs zu erfüllen. Es verwendet vielleicht zu viele Werkzeuge, bittet zu oft um menschliche Hilfe, schreibt zu lange Antworten oder verletzt versehentlich Sicherheitsrichtlinien. Damit ein Unternehmen einen solchen Agenten einsetzen kann, reicht es nicht aus, ein Modell zu akzeptieren, das „meistens“ gut ist; es muss sicherstellen, dass der Agent für jede einzelne Anforderung innerhalb strenger Grenzen bleibt, während er gleichzeitig die Arbeit erledigt.
Die Kernschwierigkeit liegt darin, dass diese Anforderungen oft in verschiedene Richtungen ziehen. Ein Prompt, der einen Agenten sehr präzise macht, könnte ihn auch wortreich oder dazu neigen, zu viele Werkzeuge zu verwenden. Traditionell haben Entwickler versucht, dies zu lösen, indem sie manuell die Wichtigkeit jeder Regel anpassten – im Grunde eine Vermutung darüber, welche Einschränkungen am wichtigsten sind. Dieser Ansatz ist jedoch fragil. Eine Einstellung, die für eine bestimmte Art von Aufgabe oder ein spezifisches Modell funktioniert, versagt oft, wenn sich die Situation ändert. Wenn die Regeln im Voraus festgelegt sind, kann das System eine Anforderung erfüllen, indem es eine andere verletzt, was den Agenten unbrauchbar für den Einsatz macht. Die Forscher standen vor der Frage, ob sie ein System bauen könnten, das automatisch das perfekte Gleichgewicht findet und das Gewicht jeder Regel in Echtzeit anpasst, während es lernt, was funktioniert und was nicht.
Ein Team von Forschern stellte eine neue Methode namens CAPO vor, was für Constraint-Aware Prompt Optimization steht, um dieses Problem anzugehen. Anstatt die richtige Balance der Regeln zu erraten, behandelt CAPO den Optimierungsprozess wie eine Verhandlung, bei der die Regeln selbst „zu Wort kommen“. Das System beginnt mit einer Sammlung von Kandidaten-Prompts und testet diese gegen einen Satz von Aufgaben. Während die Agenten laufen, generieren sie Daten darüber, wie gut sie performt haben und – entscheidend – wie stark sie gegen spezifische Beschränkungen verstoßen haben, wie etwa die Anzahl der Werkzeugaufrufe oder die Länge der Antwort. Wenn ein Prompt eine Regel verletzt, erhöht das System automatisch die „Strafe“ (Penalty) für diese spezifische Regel in der nächsten Testrunde. Wenn ein Prompt unter einer Regel noch Spielraum hat, verringert sich die Strafe für diese Regel. Diese dynamische Anpassung ermöglicht es dem System, seine Suche auf die spezifischen Probleme zu konzentrieren, die den Einsatz des Agenten derzeit blockieren, anstatt alle Regeln von vornherein als gleich wichtig zu behandeln.
Die Forscher testeten diesen Ansatz in verschiedenen Bereichen, darunter Kundenservice für Fluggesellschaften, Einzelhandelsunterstützung und Telekommunikation. In diesen Tests mussten die Agenten Aufgaben erfüllen und gleichzeitig strikte Limits einhalten, wie etwa die Häufigkeit, mit der sie einen menschlichen Mitarbeiter kontaktieren durften, wie viele Werkzeuge sie nutzen konnten und wie lang ihre Systemanweisungen sein durften. Die Ergebnisse waren eindeutig: CAPO fand konsistent Prompts, die jede einzelne Beschränkung erfüllten und gleichzeitig eine hohe Aufgabenleistung erbrachten. Im Gegensatz dazu scheiterten andere Methoden, die feste Gewichte oder statische Regeln verwendeten, daran, eine Lösung zu finden, die alle Anforderungen gleichzeitig erfüllte. Beispielsweise fand in der Domäne der Fluggesellschaften, während andere Methoden die Regeln nur in einem von sechs verschiedenen Testszenarien erfüllten, CAPO in jedem einzelnen Szenario eine machbare Lösung. Die Methode erwies sich als robust genug, um mit unterschiedlichen Größen von Sprachmodellen zu arbeiten, und wurde sogar über Tool-nutzende Agenten hinaus auf die Handhabung von Sicherheits- und Formatierungsbeschränkungen in Chatbot-Szenarien ausgeweitet.
Um den Prozess noch effizienter zu gestalten, entwickelten die Forscher eine zweite Version namens DCAPO. Während die erste Version ein separates, eingefrorenes Sprachmodell verwendet, um die Prompts umzuschreiben, trainiert DCAPO einen spezialisierten Rewriter, der aus dem Prozess selbst lernt. Dieser Rewriter beobachtet das Verhalten des Agenten und das Feedback der Beschränkungen und lernt im Laufe der Zeit, bessere Prompts zu generieren, ohne den zugrunde liegenden Aufgaben-Agenten jemals zu verändern. In ihren Experimenten war dieser gelernte Rewriter in der Lage, machbare Prompts über alle getesteten Domänen hinweg zu produzieren und dabei die Genauigkeit der besten Baseline-Methoden zu erreichen oder zu übertreffen. Die Studie enthielt auch eine mathematische Analyse, um zu zeigen, wie das System mit der Tatsache umgeht, dass es mit einer begrenzten Anzahl von Beispielen und diskreten Textänderungen arbeitet, wobei bestätigt wurde, dass die durch diese Einschränkungen entstehenden Fehler das System nicht daran hindern, eine gute Lösung zu finden.
Die Bedeutung dieser Arbeit liegt in ihrer Fähität, Deployment-Anforderungen in eine leitende Kraft für den Suchprozess zu verwandeln. Indem das System die gemessenen Verstöße gegen die Regeln nutzt, um zu bestimmen, welche Fehler Aufmerksamkeit erhalten, vermeidet es die Falle, ein Problem zu lösen, nur um dadurch ein anderes zu schaffen. Die Forscher fanden heraus, dass dieser adaptive Ansatz essenziell ist, da sich die kritischste Beschränkung je nach spezifischer Aufgabe und dem verwendeten Modell ändert. Was in einem Szenario für Fluggesellschaften am wichtigsten ist, kann in einem Einzelhandelsszenario irrelevant sein, und ein Modell, das fähig genug ist, ein Problem zu lösen, benötigt möglicherweise eine andere Anleitung, um innerhalb des Budgets zu bleiben. Die Studie zeigt, dass es durch die kontinuierliche Anpassung des Fokus der Optimierung basierend auf Echtzeit-Feedback möglich ist, Betriebspunkte zu finden, die sowohl effektiv als auch konform sind. Dies deutet auf einen Wandel in der Art und Weise hin, wie wir über Prompt Engineering denken: Anstatt eines statischen Setups kann es ein dynamischer Prozess sein, bei dem die Anforderungen selbst helfen, das System in Richtung einer Lösung zu steuern, die bereit für die reale Welt ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.