From Prompt to Process: a Process Taxonomy and Comparative Assessment of Frameworks Supporting AI Software Development Agents
Dit artikel introduceert een zesdimensionale proces-taxonomie en een beoordelingsrubriek om zes opkomende AI-softwareontwikkelingsframeworks vergelijkend te beoordelen, waarbij een convergentie naar persistente artefacten en menselijke beoordeling wordt onthuld, terwijl tegelijkertijd een structurele afruil tussen procesdiepte en draagbaarheid naast kritieke risico's zoals specificatiedrift en platformafhankelijkheid wordt benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante, razendsnelle leerling hebt ingehuurd om je te helpen een huis te bouwen. Deze leerling is een AI coding agent. In het verleden had je misschien gewoon kunnen roepen: "Bouw een muur!" en dan op het beste hopen. Soms was de muur geweldig; andere keren was hij scheef, gemaakt van de verkeerde stenen, of op de verkeerde plek gebouwd.
Dit artikel betoogt dat alleen maar instructies roepen (prompts) niet meer genoeg is. We hebben frameworks nodig — die als gedetailleerde regelboeken, blauwdrukken en managementsystemen fungeren — om deze AI-leerlingen te begeleiden. De auteur, Sanderson Oliveira de Macedo, heeft zes populaire "regelboeken" die momenteel in de industrie worden gebruikt onderzocht om te zien hoe zij het werk organiseren.
Hier is een uitsplitsing van de bevindingen van het paper met behulp van eenvoudige analogieën:
1. Het Probleem: Van "Roepen" naar "Managen"
In de oude dagen praatte je met de AI via één zin per keer. Het was als een spelletje "telefoontje" waarbij de boodschap verloren gaat. De AI zou zich vijf minuten geleden wat je zei vergeten, of het zou feiten verzinnen (hallucineren).
Het paper zegt dat we bewegen naar een nieuw tijdperk waarin de AI niet alleen chat; de AI werkt. Het plant, bewerkt bestanden, draait tests en herstelt zijn eigen fouten. Maar zonder een manager kan deze autonome werker chaotisch worden. De "frameworks" die het paper bestudeert, zijn de managers die de AI vertellen:
- Wat er gebouwd moet worden (Specificatie).
- Wat het al weet over het project (Context).
- Wie wat doet (Rollen).
- Hoe het gebouwd moet worden (Executie).
- Hoe te controleren of het klopt (Validatie).
- Of het op verschillende bouwplaatsen kan werken (Portabiliteit).
2. De Zes Regelboeken (De Frameworks)
De auteur heeft zes specifieke "regelboeken" gekozen om te vergelijken. Zie ze als verschillende managementstijlen:
- GitHub Spec Kit & OpenSpec: Dit zijn als architecten. Ze eisen dat je een perfect blauwdruk (een specificatie) schrijft voordat de AI ook maar één steen legt. Ze focussen zwaar op het plan en kunnen met veel verschillende AI-tools werken.
- BMAD Method: Dit is als een corporate HR-afdeling. Het breekt het werk af in specifieke rollen (Product Manager, Architect, Developer, QA) en wijst de AI aan om als deze verschillende mensen te fungeren. Het is zeer gestructureerd, maar kan zwaar zijn.
- Get Shit Done (GSD): Dit is als een persoonlijke assistent die alleen voor één specifieke baas werkt (een specifieke AI-tool). Het is erg goed in het organiseren van het geheugen en de focus van de AI, maar het is niet erg flexibel als je van baas wilt wisselen.
- Spec Kitty: Dit is als een bouwplaats met veiligheidshekken. Het isoleert het werk van de AI in een apart gebied (een "worktree"), zodat het niet per ongeluk het hoofdgebouw kan beschadigen. Het dwingt een mens om het werk te inspecteren voordat het wordt samengevoegd.
- Reversa: Dit is de reverse engineer. In plaats van een nieuw huis vanaf nul te bouwen, kijkt het naar een oud, vervallen gebouw (legacy code) en probeert de originele blauwdrukken te achterhalen zodat de AI het kan repareren.
3. De Grote Ontdekking: De "No Free Lunch"-trade-off
De belangrijkste bevinding van het paper is dat geen enkel regelboek perfect is.
De auteur heeft een scorend systeem (een rubric) gemaakt om deze frameworks te beoordelen. Hier is de analogie:
- Sommige frameworks zijn als Zwitserse zakmessen: Ze zijn licht, draagbaar en werken overal, maar ze hebben geen diep, gespecialiseerd gereedschap voor elke taak. Ze zijn goed in plannen maar zwak in het controleren van het werk.
- Andere frameworks zijn als zware bouwkranen: Ze zijn ongelooflijk krachtig, hebben strikte veiligheidscontroles en diepe processen, maar ze zijn moeilijk te verplaatsen en werken alleen op specifieke plekken.
De Trade-off: Hoe dieper een framework het proces beheert (elke stap controleren, rollen toewijzen), hoe moeilijker het is om dat framework naar een andere AI-tool te verplaatsen. Je kunt niet tegelijkertijd het diepste proces én de makkelijkste portabiliteit hebben met de huidige tools.
4. De Verborgen Gevaren (Risico's)
Het paper waarschuwt ook voor "gevaren op de bouwplaats" die deze frameworks nog niet volledig hebben opgelost:
- Drift: De blauwdruk (specificatie) zegt misschien "rode baksteen", maar de AI bouwt toch een "blauwe muur", en niemand merkt het totdat het te laat is.
- Blind Vertrouwen: We kunnen het "voltooide" werk van de AI te veel vertrouwen, zelfs als het er goed uitziet maar onder de motorkap eigenlijk kapot is.
- Kwetsbare Extensies: Deze frameworks vertrouwen vaak op door de community gemaakte add-ons. Als de persoon die de add-on heeft gemaakt stopt met het bijwerken ervan, kan het hele systeem breken.
- Lock-in: Sommige frameworks zijn zo verbonden aan één specifieke AI-tool dat als die tool zijn regels verandert, je hele proces in elkaar stort.
5. Wat Nu? (De Onderzoeksagenda)
Het paper concludeert dat we ons momenteel in de "wild west"-fase bevinden. We hebben coole tools, maar we hebben niet genoeg data om te weten welke op de lange termijn echt het beste werkt.
De auteur suggereert dat we moeten stoppen met alleen maar het laten zien van coole demo's en moeten beginnen met echte wetenschap:
- Meet de tussenstappen: Controleer niet alleen of de uiteindelijke code werkt; controleer of het plan en de blauwdruk van de AI ook goed waren.
- Test het geheugen: Leest de AI daadwerkelijk de juiste bestanden, of raadt hij maar wat?
- Observeer de teams: Kijk hoe echte menselijke teams presteren over maanden, niet alleen over dagen.
Samenvatting
Het paper is een kaart van het huidige landschap van AI-softwaretools. Het vertelt ons dat hoewel we zijn bewogen van "chatten met AI" naar "het managen van AI-teams", we nog geen perfecte manager hebben gevonden. We moeten kiezen tussen tools die flexibel en gemakkelijk te verplaatsen zijn, of tools die diepgaand en rigoureus zijn maar moeilijk te wisselen. De toekomst ligt in het bouwen van betere manieren om te meten of deze tools software daadwerkelijk beter maken, en niet alleen sneller.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.