MyAG: A Graph-Based Framework for Designing and Analyzing Composable LLM Agent Systems

Stellen Sie sich eine Welt vor, in der Computer nicht nur Fragen beantworten, sondern tatsächlich Dinge tun können. Sie können im Internet surfen, Flüge buchen oder komplexe Rätsel lösen, indem sie wie digitale Assistenten agieren. Dies ist das Reich der KI-Agenten. Betrachten Sie diese nicht als einfache Chatbots, sondern als kleine Roboter mit einem Gehirn (einem Large Language Model) und einem Satz Händen (Werkzeugen, um mit der Welt zu interagieren). Aber hier liegt der knifflige Teil: Diese Roboter zu bauen, ist mühsam. Man muss entscheiden, welche Werkzeuge sie haben, wie sie Schritt für Schritt denken und was sie tun, wenn sie stecken bleiben. Es ist, als versuche man, ein Auto zu bauen, bei dem Motor, Lenkrad und GPS so miteinander verklebt sind, dass es unmöglich ist, sie auszutauschen. Wenn man ändern möchte, wie das Auto fährt, muss man vielleicht den ganzen Motor neu bauen. Forscher versuchen herauszufinden, wie man diese Agenten so baut, dass sie flexibel, effizient und leicht zu reparieren sind, denn im Moment ist es schwer zu sagen, ob ein Roboter scheitert, weil er „dumm“ ist oder weil die Anweisungen einfach schlecht geschrieben waren.

Hier kommt MyAG ins Spiel, ein neues Toolkit von Zhisong Zhang von der City University of Hong Kong. Das Paper präsentiert MyAG als „graphbasiertes Framework“, was eine schicke Art zu sagen ist, dass es das Design von Agenten in drei separate, klare Blaupausen statt in ein einziges, riesiges, wirres Chaos organisiert. Die Autoren schlagen vor, dass man durch die Trennung von „Wer“ (die Komponenten), „Wie“ (der Workflow) und „Was wäre wenn“ (die Suchstrategie) Teile wie Lego-Steine mischen und kombinieren kann. Sie fanden heraus, dass diese Trennung es viel einfacher macht, verschiedene Strategien zu testen, ohne das gesamte System neu schreiben zu müssen. In ihren Experimenten zeigten sie, dass dieser Ansatz es ermöglicht, einen detaillierten Blick auf die Kompromisse zwischen der Leistungsfähigkeit eines Agenten bei einer Aufgabe und den Kosten für Zeit oder Geld zu werfen. Sie behaupteten nicht, alle KI-Probleme gelöst zu haben, aber sie demonstrierten, dass ihre Methode Forschern hilft, genau zu sehen, wo ein Agent seine Zeit verbringt und wo er Ressourcen verschwendet.

Die drei Blaupausen eines digitalen Gehirns

Um MyAG zu verstehen, stellen Sie sich vor, Sie regieren einen Film. Sie haben drei unterschiedliche Aufgaben, und MyAG besteht darauf, dass Sie diese getrennt halten, damit Sie eine korrigieren können, ohne die anderen zu ruinieren.

1. Der Komponenten-Graph: Die Besetzung und die Crew
Dies ist Ihre Liste, wer im Film mitspielt. In der Welt der KI sind dies die Agenten (die Schauspieler, die Entscheidungen treffen), die Umgebungen (die Sets, in denen sie agieren, wie ein Webbrowser) und die Werkzeuge (die Requisiten, die sie benutzen). In MyAG wird dies als eine Karte gezeichnet, die zeigt, wer mit wem kommunizieren kann. Zum Beispiel könnte ein „Action Agent“ mit einer „Browser-Umgebung“ verbunden sein, was bedeutet, dass der Agent Schaltflächen auf einer Webseite anklicken kann. Das Coole daran ist, dass man denselben Schauspieler für verschiedene Szenen wiederverwenden kann. Man muss keinen neuen Schauspieler bauen, nur weil sich die Szene ändert; man sagt dem bestehenden einfach, was er als Nächstes tun soll.

2. Der Workflow-Graph: Das Drehbuch
Dies ist das Drehbuch, das den Schauspielern sagt, wann sie sprechen und was sie als Nächstes tun sollen. Es ist der Fluss der Geschichte. Prüft der Agent zuerst das Wetter und bucht dann ein Ticket? Oder kehrt er in einer Schleife zurück und versucht es erneut, falls er scheitert? MyAG erlaubt es Ihnen, dieses Skript als Flussdiagramm zu zeichnen. Sie können Schleifen, Verzweigungen (wenn dies passiert, gehe nach links; wenn das passiert, gehe nach rechts) und Abbruchbedingungen haben. Das Beste daran? Sie können dieselbe Besetzung (Komponenten-Graph) behalten, aber das Drehbuch (Workflow-Graph) austauschen, um zu sehen, ob eine andere Erzählstruktur besser funktioniert.

3. Der Such-Graph: Die „Was wäre wenn“-Proben
Hier wird es wirklich interessant. Manchmal muss ein Roboter verschiedene Pfade erkunden, bevor er sich für den besten entscheidet. Vielleicht versucht er eine Tür, stellt fest, dass sie verschlossen ist, und versucht es dann bei einem Fenster. Der Such-Graph zeichnet all diese „Was wäre wenn“-Szenarien auf. Er hält fest, jeden Zweig, den der Agent nimmt, jede Sackgasse und jeden erfolgreichen Pfad. Dies ermöglicht es dem System, Strategien wie die „Best-First Search“ (immer den vielversprechendsten Pfad wählen) oder „Rollback“ (zu einem vorherigen Schritt zurückkehren, wenn etwas schiefgeht) anzuwenden. Es ist, als hätte man einen Regisseur, der sagen kann: „Schnitt! Versuchen wir diese Szene noch einmal, aber diesmal rennt der Charakter, statt zu gehen“, ohne das gesamte Filmset neu bauen zu müssen.

Türme bauen mit Lego-Steinen

Eine der großen Ideen des Papers ist die hierarchische Komposition. Stellen Sie sich vor, Sie bauen einen riesigen Roboter. Anstatt zu versuchen, jedes winzige Teil und jeden Draht auf einmal zu entwerfen, bauen Sie erst eine Hand, dann ein Bein, dann einen Kopf und setzen sie schließlich zusammen. MyAG lässt Sie dies mit KI-Agenten tun. Sie können ein kleines „Web-Browsing-System“ bauen, das sehr gut darin ist, Paper im Internet zu finden. Dann können Sie dieses gesamte System einpacken und wie ein einzelnes Werkzeug innerhalb eines größeren „Forschungsassistenten-Systems“ behandfangen.

Das Paper erklärt, dass diese „Sub-Systeme“ entweder zustandslos (bei jedem Gebrauch zurückgesetzt, wie ein Taschenrechner) oder zustandsbehaftet (erinnert sich an das, was zuvor geschah, wie ein menschlicher Assistent, der Ihre Vorlieben kennt) sein können. Diese Modularität bedeutet, dass Sie komplexe Agenten bauen können, indem Sie kleinere, getestete Teile zusammenstecken, anstatt jedes Mal bei Null anzufangen.

Die Stoppuhr und der Geldbeutel: Effizienz messen

Die Autoren legen auch Wert auf Effizienz. Sie argumenten, dass ein Agent nicht nur deshalb gut ist, weil er die richtige Antwort liefert, sondern dass er auch effizient sein muss; er könnte sonst 100 Versuche gebraucht und ein Vermögen an Computerzeit gekostet haben. MyAG enthält eine eingebaute Stoppuhr und einen Geldbeutel.

Sie messen zwei Hauptdinge:

• LLM-Kosten ($C_L$): Wie viel das „Gehirn“ kostet. Dies wird basierend darauf berechnet, wie viele Wörter (Tokens) die KI liest und schreibt. Sie verwenden eine Formel, bei der sie Eingabe- und Ausgabetokens gewichten, was es Nutzern ermöglicht, Preise basierend auf dem jeweiligen KI-Modell festzulegen.
• Umgebungskosten ($C_E$): Wie viel die „Hände“ kosten. Dies misst die Zeit, die benötigt wird, um Dinge in der realen Welt zu tun, wie etwa das Warten auf das Laden einer Webseite oder das Scrollen auf einer Seite.

Durch das Verfolgen dieser Kosten können die Forscher den Leistungs-Effizienz-Trade-off sehen. Beispielsweise fanden sie heraus, dass eine einfache „Greedy“-Strategie (einfach das Erste tun, was einem in den Sinn kommt) am schnellsten und günstigsten ist. Eine „Rollback“-Strategie (die es dem Agenten erlaubt, zurückzugehen und es erneut zu versuchen) ist jedoch etwas teurer, führt aber oft zu einem besseren Ergebnis. Die „Best-of-N“-Strategie (viele Pfade gleichzeitig ausprobieren und den besten auswählen) kann sehr genau sein, ist aber sehr langsam und kostspielig.

Was die Experimente zeigten

Das Team testete MyAG bei zwei realen Aufgaben: dem Beantworten komplexer Fragen (unter Verwendung des GAIA-Benchmarks) und der Navigation auf Webseiten (unter Verwendung von Mind2Web-Live). Sie führten diese Tests mit verschiedenen Strategien durch, um zu sehen, wie sie im Vergleich abschneiden.

• Geschwindigkeit vs. Intelligenz: Die Greedy-Strategie war am effizientesten, da sie am wenigsten Zeit benötigte und die wenigsten Computer-Tokens verbrauchte, weil sie keine Zeit mit dem Prüfen von Alternativen verschwendete.
• Die Kraft der zweiten Chancen: Die Rollback-Strategie schnitt insgesamt am besten ab, wenn ihr genügend Zeit gegeben wurde. Sie erlaubte dem Agenten, Fehler zuzugeben und es erneut zu versuchen, was zu einer höheren Genauigkeit führte, obwohl sie etwas mehr Zeit und Tokens kostete.
• Die Kosten der Komplexität: Strategien wie Best-First und Best-of-N konnten die Leistung verbessern, kamen aber mit einem hohen Preis einher. Sie erforderten viel mehr Rechenleistung und Zeit. Das Paper stellt fest, dass der Erfolg dieser komplexen Methoden stark davon abhängt, einen guten „Richter“ zu haben, der entscheidet, welcher Pfad der beste ist.

Sie brachen auch detailliert auf, wo die Zeit verbracht wurde. Bei der Web-Navigation fanden sie heraus, dass „Scrollen“ überraschend günstig und schnell war, während das „Warten“ auf das Laden einer Seite die teuerste Aktion war, die einen riesigen Teil der Zeit beanspruchte, obwohl sie seltener vorkam. Diese Art der detaillierten Analyse hilft Entwicklern zu wissen, wo sie ihre Agenten genau optimieren müssen.

Das Faz-it

MyAG ist kein Zauberstab, der alle KI-Probleme löst, und die Autoren sind sich bewusst, dass es als Forschungswerkzeug konzipiert ist und nicht als fertiges Produkt für den Aufbau kommerzieller Apps mit Millionen von Nutzern. Es behandelt Themen wie Sicherheit oder verteilte Netzwerke noch nicht. Es beweist jedoch erfolgreich, dass die Trennung von „Wer“, „Wie“ und „Was wäre wenn“ es viel einfacher macht, KI-Agenten zu entwerfen, zu testen und zu verstehen. Indem MyAG Forschern einen klaren Weg bietet, ihre Agenten zu visualisieren und zu messen, hilft es ihnen zu verstehen, wie sie genau smartere, schnellere und kostengünstigere digitale Assistenten bauen können. Das Paper legt nahe, dass dieser Ansatz ein solider Schritt nach vorn ist, um KI-Agenten-Systeme transparenter und handhabbarer zu machen.