MyAG: A Graph-Based Framework for Designing and Analyzing Composable LLM Agent Systems

Stel je een wereld voor waarin computers niet alleen vragen beantwoorden, maar ook daadwerkelijk dingen doen. Ze kunnen het web browsen, vluchten boeken of complexe puzzels oplossen door te fungeren als digitale assistenten. Dit is het domein van AI Agents. Denk aan hen niet als simpele chatbots, maar als kleine robots met een brein (een Large Language Model) en een set handen (tools om met de wereld te interageren). Maar hier komt het lastige deel bij: het bouwen van deze robots is een rommeltje. Je moet beslissen welke tools ze hebben, hoe ze stap voor stap denken en wat ze doen als ze vastlopen. Het is alsoal proberen een auto te bouwen waarbij de motor, het stuur en de GPS op een manier aan elkaar zijn gelijmd dat het onmogelijk is om ze uit te wisselen. Als je wilt veranderen hoe de auto rijdt, moet je misschien de hele motor opnieuw bouwen. Onderzoekers proberen uit te zoeken hoe ze deze agents zo kunnen bouwen dat ze flexibel, efficiënt en gemakkelijk te repareren zijn, want op dit moment is het moeilijk te zeggen of een robot faalt omdat hij "dom" is of omdat de instructies gewoon slecht geschreven waren.

Maak kennis met MyAG, een nieuwe toolkit ontwikkeld door Zhisong Zhang van de City University of Hong Kong. Het paper presenteert MyAG als een "graph-based framework", wat een chique manier is om te zeggen dat het het ontwerp van de agent organiseert in drie afzonderlijke, duidelijke blauwdrukken in plaats van één grote, verwarde bende. De auteurs suggereren dat door het te scheiden van de "wie" (de componenten), de "hoe" (de workflow) en de "wat als" (de zoekstrategie), ontwikkelaars onderdelen kunnen combineren en uitwisselen zoals Lego-blokjes. Ze ontdekten dat deze scheiding het veel gemakkelijker maakt om verschillende strategieën te testen zonder het hele systeem te hoeven herschrijven. In hun experimenten toonden ze aan dat deze aanpak een gedetailleerde blik mogelijk maakt op de afwegingen tussen hoe goed een agent een taak uitvoert en hoeveel tijd of geld het kost om het te doen. Ze beweerden niet alle AI-problemen te hebben opgelost, maar ze demonstreerden wel dat hun methode onderzoekers helpt precies te zien waar een agent zijn tijd aan besteedt en waar hij middelen verspilt.

De Drie Blauwdrukken van een Digitaal Brein

Om MyAG te begrijpen, stel je voor dat je een film regisseert. Je hebt drie verschillende taken, en MyAG staat erop dat je deze gescheiden houdt zodat je er één kunt repareren zonder de anderen te verpesten.

1. De Component Graph: De Cast en Crew
Dit is je lijst van wie er in de film zit. In de AI-wereld zijn dit de agents (de acteurs die beslissingen nemen), de environments (de decors waarin zij acteren, zoals een webbrowser) en de tools (de attributen die ze gebruiken). In MyAG wordt dit getekend als een kaart die laat zien wie met wie kan communiceren. Bijvoorbeeld, een "Action Agent" kan verbonden zijn met een "Browser Environment", wat betekent dat de agent op knoppen van een webpagina kan klikken. Het coole hieraan is dat je dezelfde acteur voor verschillende scènes kunt hergebruiken. Je hoeft niet een nieuwe acteur te bouwen omdat de scène verandert; je vertelt de bestaande acteur gewoon wat hij nu moet doen.

2. De Workflow Graph: Het Script
Dit is het script dat de acteurs vertelt wanneer ze moeten spreken en wat ze daarna moeten doen. Het is de loop van het verhaal. Controleert de agent eerst het weer en boekt hij dan een ticket? Of gaat hij in een lus terug en probeert hij het opnieuw als het mislukt? MyAG laat je dit script tekenen als een stroomdiagram. Je kunt lussen hebben, vertakkingen (als dit gebeurt, ga naar links; als dat gebeurt, ga naar rechts) en stopvoorwaarden. Het beste deel? Je kunt dezelfde cast (Component Graph) behouden maar het script (Workflow Graph) vervangen om te zien of een andere verhalende structuur beter werkt.

3. De Search Graph: De "Wat als"-repetities
Dit is waar het echt interessant wordt. Soms moet een robot verschillende paden verkennen voordat hij besluit wat de beste route is. Misschien probeert hij een deur, merkt dat deze op slot zit, en probeert hij dan een raam. De Search Graph legt al deze "wat als"-scenario's vast. Het houdt elke vertakking bij die de agent neemt, elke doodlopende weg en elk succesvol pad. Dit stelt het systeem in staat om strategieën te gebruiken zoals "Best-First Search" (altijd het meest veelbelovende pad kiezen) of "Rollback" (teruggaan naar een vorige stap als het misgaat). Het is alsof je een regisseur hebt die kan zeggen: "Cut! Laten we die scène nog eens doen, maar deze keer rent het personage in plaats van te lopen," zonder dat de hele filmset opnieuw gebouwd hoeft te worden.

Torens Bouwen met Lego-blokjes

Een van de grote ideeën uit het paper is Hiërarchische Compositie. Stel je voor dat je een gigantische robot bouwt. In plaats van te proberen direct elk klein schroefje en draadje te ontwerpen, bouw je eerst een hand, dan een been, dan een hoofd, en voegt ze tot slot samen. MyAG laat je dit doen met AI-agents. Je kunt een klein "Web Browsing System" bouken dat erg goed is in het vinden van wetenschappelijke artikelen op het internet. Vervolgens kun je dat hele systeem inkapselen en behandelen als een enkele tool binnen een groter "Research Assistant" systeem.

Het paper legt uit dat deze "sub-systemen" ofwel stateless (telkens resetten bij gebruik, zoals een rekenmachine) of stateful (onthouden wat er eerder is gebeurd, zoals een menselijke assistent die jouw voorkeuren onthoudt) kunnen zijn. Deze modulariteit betekent dat je complexe agents kunt bouwen door kleinere, geteste stukken aan elkaar te klikken, in plaats van telkens helemaal opnieuw te beginnen.

De Stopwatch en de Portemonnee: Efficiëntie Meten

De auteurs geven ook om efficiëntie. Zij stellen dat het feit dat een agent het juiste antwoord krijgt, niet betekent dat het een goede agent is; het kan immers honderd pogingen hebben gekost en een fortuin aan computertijd. MyAG bevat een ingebouwde stopwatch en portemonnee.

Ze meten twee hoofdzaken:

• LLM Cost ($C_L$): Wat het "brein" kost. Dit wordt berekend op basis van hoeveel woorden (tokens) de AI leest en schrijft. Ze gebruiken een formule waarbij ze input- en output-tokens wegen, waardoor gebruikers prijzen kunnen instellen op basis van hoe duur het AI-model is.
• Environment Cost ($C_E$): Wat de "handen" kosten. Dit meet de tijd die nodig is om dingen in de echte wereld te doen, zoals wachten tot een webpagina is geladen of naar beneden scrollen op een pagina.

Door deze kosten bij te houden, kunnen de onderzoekers de performance-efficiency trade-off zien. Ze ontdekten bijvoorbeeld dat een eenvoudige "Greedy" strategie (gewoon het eerste doen wat in je opkomt) de snelste en goedkoopste is, omdat het geen tijd verspilt aan het controleren van alternatieven. Echter, een "Rollback" strategie (die de agent de kans geeft om terug te gaan en het opnieuw te proberen) is iets duurder maar levert vaak een beter resultaat op. De "Best-of-N" strategie (veel paden tegelijk proberen en de beste kiezen) kan zeer accuraat zijn, maar is erg traag en kostbaar.

Wat de Experimenten Lieten Zien

Het team testte MyAG op twee real-world taken: het beantwoorden van complexe vragen (met de GAIA benchmark) en het navigeren door websites (met Mind2Web-Live). Ze voerden deze tests uit met verschillende strategieën om te zien hoe ze tegenover elkaar stonden.

• Snelheid vs. Slimheid: De Greedy strategie was het meest efficiënt; het nam de minste tijd en gebruikte de minste computer-tokens omdat het geen tijd verspilde aan het controleren van alternatieven.
• De Kracht van een Tweede Kans: De Rollback strategie presteerde overall het best wanneer er genoeg tijd was. Het stelde de agent in staat om fouten toe te geven en het opnieuw te proberen, wat leidde tot een hogere nauwkeurigheid, ook al kostte het wat meer tijd en tokens.
• De Kosten van Complexiteit: Strategieën zoals Best-First en Best-of-N konden de prestaties verbeteren, maar dat ging gepaard met een hoge prijs. Ze vereisten veel meer computerkracht en tijd. Het paper merkt op dat het succes van deze complexe methoden sterk afhangt van het hebben van een goede "rechter" om te bepalen welk pad het beste is.

Ze brachten ook precies in kaart waar de tijd aan werd besteed. Voor webnavigatie ontdekten ze dat "scrollen" verrassend goedkoop en snel was, terwijl "wachten" tot een pagina geladen is de duurste actie was; dit nam een enorm deel van de tijd in beslag, zelfs als het minder vaak voorkwam. Dit soort gedetailleerde analyse helpt ontwikkelaars om precies te weten waar ze hun agents kunnen optimaliseren.

De Kern van het Verhaal

MyAG is geen toverstaf die alle AI-problemen oplost, en de auteurs zijn duidelijk dat het is ontworpen als een onderzoekstool, niet als een afgewerkt product voor het bouwen van commerciële apps met miljoenen gebruikers. Het handelt nog niet zaken af zoals beveiliging of gedistribueerde netwerken. Het slaagt er echter in te bewijzen dat het scheiden van de "wie", de "hoe" en de "wat als" het veel gemakkelijker maakt om AI-agents te ontwerpen, te testen en te begrijpen. Door onderzoekers een duidelijke manier te geven om hun agents te visualiseren en te meten, helpt MyAG hen te begrijpen hoe ze exact slimmer, sneller en kosteneffectiever werkende digitale assistenten kunnen bouwen. Het paper suggereert dat deze aanpak een solide stap voorwaarts is in het transparanter en beheersbaarder maken van AI-agentsystemen.