PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows
PROTEA ist eine einheitliche Schnittstelle für die offline, testgetriebene Verfeinerung von Multi-Agenten-LLM-Workflows, die Engpässe durch graphbasierte Bewertung und rückwärtsgerichtete Evaluierung lokalisiert und es Entwicklern ermöglicht, Prompt-Revisionen iterativ zu bearbeiten und zu validieren, um die Systemleistung erheblich zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Regisseur eines Theaterstücks, dessen Besetzung ausschließlich aus KI-Robotern besteht. Jeder Roboter hat eine spezifische Aufgabe: einer liest das Drehbuch, ein anderer prüft die Fakten, ein dritter schreibt die Dialoge und ein vierter liefert die finale Aufführung. Das nennen Entwickler einen "Multi-Agenten-LLM-Workflow".
Normalerweise arbeiten diese Roboterteams besser als ein einzelner Roboter, der versucht, alles gleichzeitig zu erledigen. Doch hier liegt das Problem: Wenn die finale Aufführung schlecht ist, ist es ein Albtraum herauszufinden, welcher Roboter es verbockt hat. Hat der Faktenprüfer falsche Informationen erhalten? Hat der Autor den Tonfall missverstanden? Oder ist der letzte Schauspieler einfach nur gestolpert?
Derzeit müssen Entwickler Stunden an Videoaufnahmen (dem „Trace") der gesamten Aufführung ansehen und raten, wo der Fehler begann. Das ist wie der Versuch, einen einzigen Tippfehler in einem 500-seitigen Buch zu finden, indem man jedes Wort erneut liest.
Hier kommt PROTEA ins Spiel.
Stellen Sie sich PROTEA als einen intelligenten, interaktiven „Proberaum" mit einem magischen Scheinwerfer vor. Es hilft Entwicklern, diese Roboterteams zu debuggen und zu verbessern, ohne den gesamten Film immer wieder ansehen zu müssen.
So funktioniert es, unter Verwendung einfacher Analogien:
1. Der magische Scheinwerfer (Diagnose auf Knotenebene)
Anstatt das gesamte Stück zu betrachten, setzt PROTEA eine Ampel an jede einzelne Roboterstation.
- 🟢 Grün: Dieser Roboter hat seine Aufgabe perfekt erledigt.
- 🟡 Gelb: Dieser Roboter war in Ordnung, aber vielleicht etwas schlampig.
- 🔴 Rot: Dieser Roboter hat es verbockt.
Wenn die finale Antwort falsch ist, sagt PROTEA nicht einfach nur „Das Stück ist gescheitert." Es hebt sofort den roten Roboter hervor und sagt: „Hey, schauen Sie hier hin! Dieser Roboter hat dem nächsten Roboter falsche Informationen gegeben." Es spart dem Entwickler die Suche durch das gesamte Drehbuch.
2. Der „Reverse Engineer" (Rückwärtsinferenz)
Manchmal wissen Entwickler nur, was die finale Antwort sein sollte (z. B. „Das Stück muss mit einem fröhlichen Lachen enden"), aber sie haben kein spezifisches Drehbuch dafür, was die mittleren Roboter sagen sollen.
PROTEA nutzt einen Trick namens Rückwärtsinferenz. Stellen Sie sich vor, Sie kennen das Ziel einer Roadtrip-Reise, aber nicht die Abfahrten unterwegs. PROTEA arbeitet rückwärts vom „fröhlichen Lachen" aus und fragt: „Damit der letzte Roboter lachen kann, was musste der Autor-Roboter sagen? Und damit der Autor das sagen konnte, was musste der Faktenprüfer liefern?"
Es generiert ein „Geisterdrehbuch" für die mittleren Schritte basierend auf dem Endziel. Anschließend vergleicht es, was die Roboter tatsächlich gesagt haben, mit diesem „Geisterdrehbuch", um die schwachen Glieder zu finden.
3. Der „Bearbeiten-Button" (Prompt-Verfeinerung)
Sobald PROTEA den roten Roboter gefunden hat, zeigt es nicht nur darauf; es bietet einen vorgeschlagenen Fix an.
- Es zeigt die aktuellen Anweisungen des Roboters (den „Prompt").
- Es schlägt eine neue, verbesserte Version dieser Anweisungen vor.
- Es zeigt einen „Vorher-Nachher"-Vergleich, ähnlich wie ein Fotobearbeitungstool, das die Original- und die bearbeitete Version nebeneinander anzeigt.
Der Entwickler kann den Vorschlag annehmen, ihn anpassen oder ignorieren.
4. Die „Instant-Replay"-Funktion (Automatischer Neudurchlauf)
Das Beste daran? Sobald der Entwickler auf „Speichern" klickt, führt PROTEA die gesamte Aufführung sofort mit den neuen Anweisungen erneut aus. Anschließend zeigt es eine Grafik der Scores: „Siehst du? Vorher lag der Score bei 64 %. Nach Ihrer Bearbeitung liegt er jetzt bei 84 %!"
Dies erzeugt eine schnelle Schleife: Problem finden → Fix vorschlagen → Testen → Ergebnis sehen. Kein Warten mehr auf Tage, um zu sehen, ob eine Änderung funktioniert hat.
Was haben sie tatsächlich erreicht?
Die Studie testete dieses System in zwei realen Szenarien (obwohl sie die spezifischen Firmennamen geheim hielten):
- Dokumentenprüfung: Ein System, das Dokumente auf strenge Regeln überprüft. PROTEA half, die Genauigkeit von 64,3 % auf 83,9 % zu verbessern.
- Empfehlungssystem: Ein Chatbot, der Artikel (wie Filme oder Produkte) vorschlägt. PROTEA half ihm, die richtige Empfehlung häufiger in die Top-5-Liste zu bringen und verbesserte einen Score von 0,30 auf 0,38.
Sie testeten es auch an einer Gruppe von sechs erfahrenen KI-Entwicklern. Diese Entwickler liebten das System, weil es sie davon abhielt, endlose Logs anzustarren, und ihnen erlaubte, sich auf die Reparatur des spezifischen Roboters zu konzentrieren, der die Probleme verursachte.
Das Fazit
PROTEA ist ein Werkzeug, das den verwirrenden, chaotischen Job des Debuggens eines Teams von KI-Robotern in einen sauberen, visuellen Prozess verwandelt. Es fungiert wie ein Trainer mit einer Highlight-Reel, der Ihnen genau zeigt, welcher Spieler den Ball fallen ließ, und Ihnen ein Spielbuch zur Reparatur gibt – alles an einem Ort.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.