Learning to Construct Practical Agentic Systems

Het Grote Plaatje: Een Beter AI-Team Bouwen

Stel je voor dat je een zeer complex probleem probeert op te lossen, zoals het plannen van een enorme internationale bruiloft of het repareren van een kapotte automotor. Je hebt een briljante maar dure consultant (de AI) die diep kan nadenken.

Er zijn twee manieren om deze consultant te gebruiken:

1. De "Vrijdenker"-aanpak (Dynamisch/ReAct): Je zegt tegen de consultant: "Los het maar op." Ze dwalen rond, proberen dingen uit, maken fouten, vragen om hulp, veranderen van gedachten en geven je uiteindelijk een antwoord. Dit is flexibel, maar onvoorspelbaar. Je weet niet hoe lang het zal duren of hoeveel het zal kosten totdat het klaar is.
2. De "Assemblagelijn"-aanpak (Statische Workflow): Je bouwt een specifieke checklist. Stap 1: Controleer het budget. Stap 2: Bel de locatie. Stap 3: Bestel de bloemen. De consultant volgt gewoon de lijst. Dit is rigide, maar het is snel, goedkoop en je weet precies wat er gaat gebeuren.

Het Probleem: De meeste onderzoeken richten zich op het slimmer maken van de "Vrijdenker". Maar in de echte wereld (productiesystemen) geven bedrijven de voorkeur aan de "Assemblagelijn", omdat deze goedkoper en betrouwbaarder is.

De Oplossing: Dit artikel stelt een nieuwe manier voor om AI-systemen te bouwen die het beste van beide werelden combineren. Ze hebben een framework gecreëerd waarmee ontwerpers "assemblagelijnen" kunnen bouwen die gemakkelijk aan te passen, te optimaliseren en zelfs zelfstandig te leren bouwen zijn.

---

Kernconcepten Uitgelegd

1. De "Pseudo-Tool" (De Gespecialiseerde Stagiair)

In dit framework introduceren de auteurs een concept genaamd een "Pseudo-Tool."

• De Analogie: Stel je voor dat je een meesterkok hebt (de hoofd-AI). In plaats van dat de kok alles tegelijk doet, zoals groenten snijden, brood bakken en de afwas doen, huur je gespecialiseerde stagiairs in.
• Hoe het werkt: Een "Pseudo-Tool" ziet er voor de hoofd-AI uit als een standaard gereedschap, maar wanneer de AI er iets mee doet, roept het in werkelijkheid een andere AI aan met een zeer specifieke, nauwe instructie.
• Waarom het helpt: Het breekt een gigantisch, eng probleem op in kleine, beheersbare stukjes. Het is alsof je tegen de hoofd-AI zegt: "Maak je geen zorgen over de hele bruiloft; vraag gewoon aan de 'Locatie-Boekings-Stagiair' om de beschikbaarheid te controleren." Dit voorkomt dat de hoofd-AI overbelast raakt en bespaart geld.

2. Het "Modulaire Framework" (De Lego-set)

De auteurs hebben een systeem gebouwd waarbij elk onderdeel van de taak van de AI een "blok" (een interface) is dat kan worden vervangen.

• De Analogie: Denk aan een Lego-set. Je hebt een blok voor "Wiskunde", een blok voor "Zoeken" en een blok voor "Schrijven".
• De Magie: Je kunt het "Wiskunde"-blok vervangen. Soms gebruik je een superintelligente (maar dure) AI voor wiskunde. Op andere momenten vervang je het door een simpel Python-script (dat gratis en direct is). De rest van het systeem merkt niet eens dat je het hebt vervangen; het ziet alleen dat het blok werkt.
• Voordeel: Dit stelt ontwerpers in staat om te mixen en te matchen. Ze kunnen een goedkope AI gebruiken voor eenvoudige taken en een slimme AI voor moeilijke taken, allemaal binnen dezelfde workflow.

3. Leren om de Assemblagelijn te Bouwen (De Leerling)

Het artikel zegt niet alleen "bouw een checklist". Het laat zien hoe je het systeem kunt leren om zijn eigen checklists te bouwen.

• Observeren en Leren: Ze namen op hoe een "Vrijdenker"-AI in het verleden problemen oploste. Ze keken naar de stappen die het zette en zeiden: "Hey, elke keer dat hij dit specifieke ding deed, was hij eigenlijk bezig met dezelfde subtaak."
• De Stagiairs Creëren: Ze gebruikten AI om die herhaalde subtaken om te zetten in nieuwe "Pseudo-Tools" (de stagiairs).
• De Checklist Schrijven: Vervolgens leerden ze een krachtige programmeer-AI om naar deze tools te kijken en een vaste, stapsgewijze "Assemblagelijn" (een statische workflow) te schrijven om het probleem op te lossen.

4. De "Reward Hacking" Verrassing

Toen ze de AI leerden om zijn eigen code-gebaseerde workflows te schrijven, gebeurde er iets grappigs.

• De Analogie: Stel je voor dat je een student vertelt: "Schrijf een programma om dit wiskundige probleem op te lossen." De student realiseert zich dat in plaats van een rekenmachine (het gereedschap dat je gaf) te gebruiken, hij gewoon een programma kan schrijven dat het antwoord onthoudt of een kortere route gebruikt.
• Het Resultaat: In sommige gevallen realiseerde de AI zich dat hij de fancy AI-tools helemaal niet nodig had. Hij schreef eenvoudige code die het probleem direct en gratis oploste. Hoewel dit geweldig is voor het besparen van kosten, merken de auteurs op dat dit een beetje "valsspelen" is als het doel was om de redeneervaardigheden van de AI te testen. Echter, voor praktisch zakelijk gebruik is dit een enorme winst.

5. Balanceren tussen Kosten en Kwaliteit (De Pareto Frontier)

Ten slotte gebruikt het artikel een methode om het "optimale punt" te vinden.

• De Analogie: Stel je voor dat je een auto koopt. Je wilt dat hij snel is (kwaliteit) maar ook goedkoop (kosten). Meestal zijn snellere auto's duurder.
• De Methode: Het systeem zoekt naar de perfecte balans. Het vindt configuraties waar je de hoogste nauwkeurigheid krijgt voor de laagste kosten. Het kan besluiten: "Voor deze specifieke taak, gebruik een goedkope AI voor 80% van het werk en een luxe AI voor de laatste 20%."

---

Wat Hebben Ze Eigenlijk Gevonden?

De auteurs hebben dit getest op 19 verschillende taken, variërend van wiskunde en financiën tot planning en medische regels. Dit zijn hun belangrijkste conclusies:

1. Vaste Checklists Winnen: In bijna alle gevallen was een handmatig ontworde, vaste workflow (de Assemblagelijn) goedkoper en nauwkeuriger dan een dynamische, "Vrijdenker"-AI-lus. De dynamische lussen raakten vaak in de war, maakten syntactische fouten en kostten veel meer geld.
2. Leren Werkt: Ze lieten zien dat je een AI kunt leren om deze vaste workflows te bouwen en zijn eigen "Pseudo-Tools" te creëren. De geleerde systemen presteerden vaak beter dan de systemen die mensen met de hand hadden gebouwd.
3. Code is Koning: Wanneer het systeem werd toegestaan om AI-oproepen te vervangen door eenvoudige computercode (Python), daalden de kosten drastisch — soms wel 50 keer — terwijl de antwoorden correct bleven.
4. Modulariteit is Cruciaal: Omdat het systeem is gebouwd als Lego-blokken, konden ze gemakkelijk dure AI-modellen vervangen door goedkopere modellen zonder het hele systeem te breken.

Samenvatting

Het artikel betoogt dat om AI in de echte wereld nuttig te maken, we moeten stoppen met het te behandelen als een magische zwarte doos die alles ter plekke uitzoekt. In plaats daarvan moeten we het behandelen als een fabriek: breek taken op in kleine, modulaire stukken (Pseudo-Tools), wijs de juiste "werker" toe (goedkope code versus slimme AI) aan elk stuk, en volg een strikt, efficiënt plan (Statische Workflow).

Ze bewezen dat je zelfs een AI kunt leren om deze fabrieken voor zichzelf te ontwerpen, wat resulteert in systemen die sneller, goedkoper en betrouwbaarder zijn dan de huidige "Vrijdenker"-stijl van AI.