Humans are Missing from AI Coding Agent Research

Het ontbrekende puzzelstukje in de Robotprogrammeur-puzzel

Stel je een wereld voor waarin computers niet alleen opdrachten opvolgen, maar ook daadwerkelijk dingen voor ons doen. Dit is de opwindende hoek van de wetenschap die we Kunstmatige Intelligentie (AI) noemen, specifiek een tak die bekend staat als AI Agents. Denk aan een agent niet als een chatbot die alleen praat, maar als een digitale werker die een computerprogramma kan openen, een rommelig bestand kan lezen, een fout kan herstellen en het werk kan opslaan, allemaal op eigen houtje. In de wereld van software worden deze agents geleerd om code te schrijven — de instructies die computers vertellen hoe ze zich moeten gedragen. Lange tijd was het grote doel voor wetenschappers simpel: maak deze agents zo slim en onafhankelijk dat ze complexe problemen kunnen oplossen zonder enige menselijke hulp. Het was alsof je een robot traint om een huis te bouwen, volledig zelfstandig, van het leggen van de stenen tot het schilderen van de muren, zonder één enkele menselijke toezichthouder.

Maar hier zit de crux: alleen omdat een robot in zijn eentje een huis kan bouwen, betekent dat nog niet dat hij het juiste huis bouwt, of dat de menselijke eigenaar tevreden is met het resultzicht. Het artikel dat je nu gaat lezen, pakt een groeiend probleem in dit veld aan. Het suggereert dat terwijl we geobsedeerd zijn geraakt door het maken van AI-agents die meer "autonoom" zijn (in staat om alleen te werken), we het belangrijkste onderdeel van de vergelijking zijn vergeten: de mens. De auteurs stellen dat de toekomst van AI-programmeren niet draait om het vervangen van mensen door solo-robots, maar om het creëren van partners die kunnen luisteren, hun werk kunnen uitleggen en van gedachten kunnen veranderen wanneer wij dat vragen. Het is het verschil tussen een robot die koppig een schuurtje bouwt terwijl je om een garage vroeg, en een robot die vraagt: "Hé, bedoelde je een garage? En moeten we rode of blauwe bakstenen gebruiken?"

Het artikel: Waarom "Solo" robots de plank misslaan

Het artikel, getiteld "Humans are Missing from AI Coding Agent Research," is een wake-up call van een groep onderzoekers van topuniversiteiten zoals Carnegie Mellon, Stanford en Princeton. Ze kijken naar de huidige staat van AI-coderingsagents en wijzen op een grote fout in de manier waarop we succes meten.

Het Probleem: De "Solo" Obsessie
Op dit moment is de AI-wereld als een videogame waarbij de enige score die telt is hoe snel een robot een level kan voltooien, helemaal alleen. Onderzoekers proberen constant agents te bouwen die steeds moeilijkere programmeerpuzzels kunnen oplossen zonder menselijke hulp. Het artikel stelt dat dit een valstrik is. Hoewel deze agents steeds beter worden in het schrijven van code die werkt (het draait zonder vast te lopen), worden ze slechter in het werken met mensen.

De auteurs gebruiken een levendig voorbeeld om dit aan te tonen: Patch Bloat (Patch-opzwelling). Stel je voor dat je een vriend vraagt om een typefout in een verhaal te herstellen. Een behulpzame vriend verandert alleen dat ene woord. Een onbehulpzame, overenthousiaste robot zou de hele paragraaf kunnen herschrijven, drie nieuwe hoofdstukken kunnen toevoegen en het lettertype kunnen veranderen, ook al wilde je alleen een typefout herstellen. Het artikel vond dat AI-agents dit consequent doen. Ze produceren codeveranderingen die veel langer en ingewikkelder zijn dan nodig. Dit maakt het voor mensen ongelooflijk moeilijk om te controleren of de code daadwerkelijk correct is. Het is alsof je probek een enkel ontbrekend puzzelstukje te vinden in een stapel van duizend extra stukjes.

Het Kernargument: We hebben een Team Nodig, Geen Vervanging
Het artikel sugglt dat de volgende grote doorbraak in AI niet zal komen van het maken van agents die sneller alleen werken, maar van het maken van agents die beter samenwerken met mensen. De auteurs stellen dat we moeten stoppen met het proberen te bouwen van "perfecte solisten" en moeten beginnen met het bouwen van "geweldige teamgenoten."

Om dit te doen, introduceren ze vier cruciale vaardigheden die een goede AI-coderingspartner moet hebben, die zij de "Human-Agent Collaboration Loop" noemen:

1. Taakalignement (De "Bedoelde je dit?"-vaardigheid):
   Dit gaat over het begrijpen van wat je echt wilt, niet alleen wat je hebt gezegd. Als je tegen een agent zegt: "Maak een website," bouwt een solo-robot misschien gewoon een lege pagina. Een goede teamgenoot vraagt: "Wil je een dark mode of een light mode? Moet er een contactformulier op?" Het artikel betoogt dat agents beter moeten worden in het achterhalen van de verborgen details en het stellen van verhelderende vragen voordat ze beginnen met typen.

2. Stuurbaarheid (De "Neem het stuur over"-vaardigheid):
   Stel je voor dat je een auto bestuurt waarbij de autopilot het overneemt en je de hand aan het stuur niet meer laat tot hij klaar is. Dat is frustrerend. Stuurbaarheid betekent dat de agent je op belangrijke momenten moet laten ingrijpen. Als de agent een website bouwt en jij zegt: "Wacht, ik vind die blauwe kleur niet mooi, verander het in groen," dan stopt een stuurbare agent direct en past het aan. Een niet-stuurbare agent negeert je misschien, maakt de hele site in het blauw af en zegt dan: "Klaar!" Het artikel suggereert dat agents moeten pauzeren bij beslismomenten en de mens de weg moeten laten wijzen.

3. Verifieerbaarheid (De "Laat je werk zien"-vaardigheid):
   Dit gaat over vertrouwen. Als een agent je een voltooid project overhandigt, hoe weet je dan of het klopt? Momenteel leveren agents vaak enorme, verwarrende blokken code aan die moeilijk te lezen zijn. Het artikel stelt dat agents hun werk op een manier moeten presenteren die gemakkelijk door mensen te controleren is. In plaats van alleen code te dumpen, zouden ze visuele previews, eenvoudige samenvattingen moeten tonen, of moeten uitleggen waarom ze een wijziging hebben aangebracht. Als je het niet kunt begrijpen, kun je het niet vertrouwen.

4. Adaptiviteit (De "Onthoud mij"-vaardigheid):
   Mensen leren van ervaring. Als je een menselijke assistent vertelt: "Ik geef de voorkeur aan dark mode," dan onthouden zij dat voor de volgende keer. Het artikel merkt op dat de meeste AI-agents een slecht geheugen hebben. Elke keer als je een nieuwe taak start, moet je hen weer herinneren aan je voorkeuren, je programmeerstijl en je projectregels. Dit wordt "prompt fatigue" genoemd. De auteurs willen agents die kunnen leren van eerdere interacties, onthouden wat je leuk vindt en in de loop van de tijd beter leren werken met jou specifiek.

Wat het Papier Uitsluit
De auteurs zijn heel duidelijk over wat ze niet zeggen. Ze beweren niet dat AI-agents nutteloos zijn of dat ze geen code kunnen schrijven. Sterker nog, ze geven toe dat de code steeds beter wordt. Ze zeggen ook niet dat mensen al het programmeerwerk zelf moeten doen.

In plaats daarvan argumenteren ze expliciet tegen het idee dat het doel van AI is om een systeem te creëren dat menselijke ontwikkelaars volledig vervangt. Ze suggeren dat de huidige obsessie met "volledige autonomie" ons eigenlijk tegenhoudt. Ze geloven dat het proberen te laten werken van agents in perfecte isolatie een doodlopende weg is, omdat programmeren in de echte wereld rommelig is, gepaard gaat met veranderende doelen en menselijk oordeel vereist. Ze verzetten zich ook tegen het idee dat menselijke interactie slechts een tijdelijke oplossing is voor "domme" AI. Ze stellen dat mensgerichte vormgeving de toekomst is, geen tijdelijke overbrugging.

Hoe Zeker Zijn Ze?
De auteurs zijn zelfverzekerd over hun observaties op basis van de data die ze hebben gezien. Ze wijzen naar realtime trends waarbij ontwikkelaars gefrustreerd raken door AI-tools die moeilijk te controleren of te verifiëren zijn. Ze gebruiken simulaties en analyses van bestaande programmeer-benchmarks (zoals SWE-bench) om aan te tonen dat hoewel agents meer taken oplossen, de kwaliteit van de interactie achteruitgaat.

Ze laten bijvoorbeeld data zien die aangeeft dat zelfs wanneer agents een programmeerprobleem succesvol oplossen, de geproduceerde code vaak "bloated" (te lang) is en functioneel anders is dan wat een mens zou hebben geschreven, zelfs als de code voldoet aan de automatische tests. Dit suggereert dat de huidige manier waarop we AI testen (alleen controleren of het een test doorstaat) het grotere plaatje mist van of de code daadwerkelijk nuttig of begrijpelijk is.

Ze beweren niet dat ze deze problemen al hebben opgelost. In plaats daarvan stellen ze een nieuwe routekaart voor de toekomst voor. Ze suggereren dat onderzoekers nieuwe tools moeten bouwen om menselijke gebruikers te simuleren, betere manieren moeten creëren om code te verifiëren die verder gaat dan alleen unit tests, en systemen moeten ontwerpen die meten hoe goed een agent samenwerkt met een persoon, en niet alleen hoe snel hij een taak voltooit.

Het Grotere Plaatje
Kortom, dit artikel is een pleidooi aan de AI-gemeenschap: Stop met het bouwen van robots die alleen werken en begin met het bouwen van partners die met ons samenwerken. De toekomst van programmeren gaat niet over een robot die je baan overneemt; het gaat over een robot die je helpt je werk beter, sneller en met minder stress te doen. Het gaat om de verschuiving van het doel van "Kan de AI het?" naar "Kunnen de AI en de mens het samen?"

De auteurs geloven dat als we het menselijke element negeren, we eindigen met krachtige tools die te verwarrend, te rigide en te onbetrouwbaar zijn voor mensen om daadwerkelijk te gebruiken. Door te focussen op alignment, stuurbaarheid, verifieerbaarheid en adaptiviteit, kunnen we AI creëren die niet alleen code schrijft, maar echt samenwerkt met de mensen die het nodig hebben.