Signal or Noise? A Benchmark Study of Agent Skills in Web Development

In het moderne landschap van softwarecreatie is kunstmatige intelligentie geëvolueerd van een simpel hulpmiddel dat vragen beantwoordt naar een persistente partner die code schrijft. Om deze digitale assistenten betrouwbaarder te maken, zijn ontwikkelaars begonnen met het toevoegen van "vaardigheden" (skills) aan hen. Beschouw een vaardigheid niet als een eenmalige instructie, maar als een permanent regelboek of een set gewoontes die de AI gedurende een hele werksessie met zich meedraagt. Deze regelboeken bevatten richtlijnen over hoe code voor specifieke technologieën geschreven moet worden, waarschuwingen over veelvoorkomende fouten om te vermijden, en voorbeelden van hoe problemen opgelost kunnen worden. De hoop is dat de AI door deze extra context te geven, meer zal handelen als een ervaren menselijke ingenieur en minder als een beginner die bij elke stap gokt. Er zit echter een verborgen kostenpost aan deze aanpak. Elke keer dat een vaardigheid wordt toegevoegd, wordt de hoeveelheid tekst die de AI moet lezen voordat hij een vraag beantwoordt groter. Dit roept een kritische, onbeantwoorde vraag op: helpt de extra kennis de AI daadwerkelijk om zijn werk beter te doen, of zorgt de enorme hoeveelheid tekst er simpelweg voor dat hij in de war raakt, wat hem vertraagt en meer fouten laat maken?

Een team onderzoekers bij Baidu zette zich af om deze vraag te beantwoorden door het toevoegen van vaardigheden te behandelen als een wetenschappelijk experiment in plaats van een standaardinstelling. Ze richtten zich op webontwikkeling, een enorm veld waar AI frequent wordt gevraagd om websites en applicaties te bouwen met talen zoals JavaScript en HTML. Ze verzamelden eenendertig verschillende publieke vaardigheidsgidsen, variërend van algemeen programmeeradvies tot specifieke instructies voor populaire softwareframeworks. Om dit te testen, gebruikten ze een rigoureuze testomgeving bestaande uit vijftig echte webprojecten, elk met twintig opeenvolgende taken die op elkaar voortbouwen. Dit creëerde in totaal duizend verschillende uitdagingen voor de AI om op te lossen. De onderzoekers voerden vervolgens dezelfde taken uit onder vier verschillende condities. In het eerste scenario ontving de AI helemaal geen extra vaardigheidsgids. In het tweede scenario ontving het de specifieke vaardigheidsgids die bedoeld was voor dat project. In het derde scenario, om het effect van de tekstlengte te isoleren, ontving de AI een gids van exact dezelfde grootte maar gevuld met irrelevante, onzinnige inhoud. Ten slotte braken ze de nuttige gidsen af om te zien welke specifieke onderdelen — zoals regels, waarschuwingen of codevoorbeelden — daadwerkelijk het werk deden. Ze testten deze opstellingen over vier verschillende grote taalmodellen, variërend van veelgebruikte commerciële systemen tot gespecialiseerde programmeermodellen.

De resultaten daagden de algemene aanname uit dat meer context altijd leidt tot betere prestaties. Over alle vier de geteste modellen heen, zorgde het toevoegen van de beoogde vaardigheidsgids er daadwerkelijk voor dat het succespercentage van de AI daalde. Gemiddeld voltooide de AI minder taken correct wanneer de vaardigheid aanwezig was in vergelijking met wanneer deze afwezig was. De daling in prestaties was niet triviaal; het varieerde van een kleine afname tot een aanzienlijk verlies van bijna vier procentpunten in succespercentages. Bovendien werd de AI minder efficiënt en gebruikte het aanzienlijk meer rekenkracht om hetzelfde werk te voltooien. In sommige gevallen schoot de kosten voor het verwerken van de extra tekst met bijna vierhonderd procent omhoog. De onderzoekers ontdekten dat de AI zijn prestaties alleen verbeterde in een kleine minderheid van de gevallen, ongeveer één op vijf tot één op drie combinaties van een specifieke vaardigheid en een specifiek project. Dit suggereert dat in de overgrote meerderheid van de situaties de injectie van deze vaardigheden contraproductief was en ruis introduceerde in plaats van een signaal.

De studie onthulde ook dat de reden voor dit falen volledig afhangt van welk AI-model wordt gebruikt. Voor twee van de modellen was het probleem simpelweg de lengte van de tekst. Wanneer deze modellen een gids van dezelfde lengte kregen met irrelevante inhoud, presteerden ze net zo slecht als ze deden met de echte vaardigheidsgids. Dit geeft aan dat hun aandacht werd verdund door het loutere volume aan woorden, ongeacht de betekenis van die woorden. Voor de andere twee modellen was de lengte van de tekst niet het probleem; zij gingen prima om met de irrelevante tekst. In plaats daarvan leidde de specifieke inhoud van de vaardigheidsgids hen actief verkeerd, waardoor ze van de juiste oplossing werden weggestuurd. Dit onderscheid is cruciaal omdat het betekent dat er geen enkele oplossing voor het probleem is. Voor sommige systemen is de oplossing om de tekst in te korten; voor andere moet de inhoud zelf worden herschreven of volledig worden verwijderd.

Misschien wel de meest verrassende bevinding was dat een vaardigheid die goed werkt voor het ene AI-model vaak faalt of zelfs een ander model schaadt. De onderzoekers vonden bijna geen verband tussen hoe een vaardigheid presteerde op het ene systeem versus het andere. Een gids die een model hielp een probleem op te lossen, kon een ander model bij dezelfde taak doen falen. Dit gebrek aan consistentie betekent dat ontwikkelaars niet simpelweg kunnen kijken naar een populaire vaardigheidsgids en ervan kunnen uitgaan dat deze ook voor hun specifieke opstelling zal werken. In plaats daarvan moet de beslissing om een vaardigheid te gebruiken op casusbasis worden genomen, waarbij rekening wordt gehouden met het specifieke model, het specifieke project en de specifieke taak die voorhanden is. De studie toonde ook aan dat deze vaardigheden het meest schadelijk waren bij de gemakkelijkste taken. Wanneer de AI al wist hoe een probleem op te lossen, leken de extra regels de AI vast te leggen in een rigide manier van denken, waardoor het werd verhinderd om kleine fouten te corrigeren die het anders gemakkelijk zou hebben hersteld.

Ten slotte analyseerden de onderzoekers de nuttige vaardigheden om te zien wat ze deed werken wanneer dat wel gebeurde. Ze vonden dat de meest waardevolle onderdelen vaak de korte waarschuwingen over wat men niet moet doen waren, ook wel anti-patronen genoemd. Deze korte regels waren breed effectief. In contrast hiermee waren de secties met lange blokken voorbeeldcode een gemengde zaak. Hoewel ze soms zwakkere modellen hielpen, hadden ze de neiging om de meest geavanceerde modellen te verwarren, wat suggereert dat het tonen van te veel voorbeelden aan een AI nadelig kan zijn. De studie concludeert dat het tijdperk van het blindelings toevoegen van vaardigheidsgidsen aan AI-agenten voorbij is. In plaats daarvan moet de injectie van deze instrumenten worden behandeld als een zorgvuldige routeringsbeslissing, waarbij het potentiële voordeel wordt afgewogen tegen de kosten van de extra tekst voor elke individuele implementatie. De bevindingen suggereren dat zonder deze zorgvuldige, per project uitgevoerde auditering, de instrumenten die bedoeld zijn om AI slimmer te maken, de AI vaak juist trager en minder betrouwbaar maken.