A Taxonomy of Architecture Options for Foundation Model-based Agents: Analysis and Decision Model

In de afgelopen jaren is een nieuw soort kunstmatige intelligentie opgekomen, een die niet alleen vragen beantwoordt, maar ook actie onderneemt. Dit zijn geen eenvoudige programma's die een rigide lijst met instructies volgen. In plaats daarvan zijn het systemen die zijn gebouwd op enorme "foundation models", die als enorme bibliotheken van menselijke kennis en taal fungeren en getraind zijn om context te begrijpen en nieuwe ideeën te genereren. Wanneer ontwikkelaars deze modellen verbinden met hulpmiddelen die kunnen browsen op het web, code kunnen schrijven of software kunnen aansturen, creëren ze "agents". Deze agents kunnen hun omgeving waarnemen, een probleem analyseren, een reeks stappen plannen en handelen om een doel te bereiken, net zoals een menselijke werknemer dat zou doen. Van het beheren van complexe softwareprojecten tot het navigeren door virtuele werelden: deze systemen beloven de manier waarop we werken te revolutioneren. Toch is de manier waarop ingenieurs ze bouwen, naarmate deze agents bekwaamere worden, chaotisch gebleven. Zonder een gedeelde taal of een duidelijke kaart van keuzes, brengen ontwerpers deze systemen vaak op een ad-hoc manier samen, waarbij beslissingen worden genomen op basis van gokwerk in plaats van een systematisch begrip van hoe verschillende onderdelen in elkaar passen en welke afwegingen zij creëren.

Een team van onderzoekers zette zich in om orde te scheppen in deze groeiende complexiteit. Ze voerden een grootschalige review uit van 66 wetenschappelijke studies om precies te begrijpen hoe deze op foundation-modellen gebaseerde agents worden geconstrueerd. Hun doel was niet alleen om de onderdelen op te sommen, maar om een gestructureerde gids te creëren die uitlegt wat de gevolgen zijn van elke ontwerpkeuze. Het resultaat is een uitgebreide "taxonomie", wat in essentie een gedetailleerd classificatiesysteem is dat de vele manieren waarop een agent gebouwd kan worden, organiseert. Ze ontdekten dat architecten fundamentele keuzes moeten maken over hoe een agent informatie ontvangt, hoe hij zich eerdere gebeurtenissen herinnert, hoe hij zijn acties plant en hoe hij samenwerkt met andere agents. Een agent kan bijvoorbeeld zo worden ontworpen dat hij alleen werkt of deel uitmaakt van een team, dat hij alles wat hij ziet voor altijd onthoudt of oude details vergeet om ruimte te besparen, en dat hij een enkel recht pad naar een doel volgt of gelijktijdig meerdere mogelijke routes verkent.

De onderzoekers ontdekten dat elke een van deze keuzes een prijs met zich meebrengt. Er bestaat geen perfect ontwerp dat in alles uitblinkt. Als een architect kiest voor een systeem dat zeer flexibel is en zich kan aanpassen aan onverwachte veranderingen, offert hij vaak het vermogen op om dat systeem later gemakkelijk te testen en te repareren. Als hij prioriteit geeft aan een geheugensysteem dat snel is voor de computer om te verwerken, kan hij het voor een mens moeilijker maken om te begrijpen waarom de agent een specifieke beslissing heeft genomen. Om ingenieurs te helpen bij het navigeren door deze moeilijke compromissen, bouwde het team een "beslissingsmodel". Dit model fungeert als een kaart die precies laat zien hoe het kiezen van een architecturale optie de betrouwbaarheid, snelheid, veiligheid en gebruiksgemak van het systeem beïnvloedt. Het maakt de verborgen afwegingen zichtbaar, waardoor ontwerpers een pad kunnen kiezen dat aansluit bij hun specifieke behoeften, of dat nu gaat om het bouwen van een systeem dat nooit mag falen of een systeem dat kan leren en zich ter plekke kan aanpassen.

Om ervoor te zorgen dat hun bevindingen nuttig en accuraat waren, testten de onderzoekers hun raamwerk bij twaalf experts van zowel universiteiten als grote technologiebedrijven. Deze experts, die jarenlange ervaring hebben met het bouwen van complexe AI-systemen, beoordeelden de classificatie en het beslissingsmodel. De experts waren het erover eens dat het raamwerk erin slaagde de essentiële bouwstenen van deze agents te vatten en een heldere, praktische manier bood om over hun ontwerp te redeneren. Zij vonden dat het model hielp om keuzes te verhelderen die voorheen verwarrend waren, zoals hoe men de behoefte aan autonomie van een agent moet balanceren met de behoefte aan veiligheid en voorspelbaarheid. De studie bevestigt dat het vakgebied beweegt van willekeurige experimentatie naar een meer gedisciplineerde engineering-aanpak, waarbij beslissingen worden genomen met een duidelijk begrip van de consequenties.

Het werk beweert niet elk probleem te hebben opgelost of één beste manier te bieden om een agent te bouwen. In plaats daarvan biedt het een gestructureerde basis voor de volgende generatie ontwerpen. Door het landschap van opties te organiseren en de afwegingen expliciet in kaart te brengen, hebben de onderzoekers architecten een gemeenschappelijk vocabulaire en een rigoureuze methode voor besluitvorming gegeven. Deze verschuiving stelt het vakgebied in staat om te rijpen, van een verzameling geïsoleerde experimenten naar een samenhangende discipline waar systemen met intentie, betrouwbaarheid en een duidelijk begrip van hun beperkingen kunnen worden ontworpen. Naarmate deze intelligente systemen meer geïntegreerd raken in ons dagelijks leven, zal het essentieel zijn om een duidelijke kaart te hebben van hoe ze zijn gebouwd en wat ze wel en niet kunnen, om technologie te creëren die zowel krachtig als betrouwbaar is.