Are Coding Agents Generating Over-Mocked Tests? An Empirical Study
Deze empirische studie van meer dan 1,2 miljoen commits onthult dat coding agents aanzienlijk vaker dan niet-agents tests genereren en, opvallend genoeg, deze overmatig mocken, wat zorgen oproept over de onderhoudbaarheid en effectiviteit van tests terwijl het de noodzaak voor betere configuratiebegeleiding voor agents benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een team van supersnelle, superslimme robotassistenten (genaamd "Coding Agents") hebt ingehuurd om je te helpen een huis te bouwen. Deze robots leggen niet alleen stenen; ze kunnen ook de handleidingen schrijven, de loodgieterswerkzaamheden controleren en zelfs de veiligheidsinspectierapporten (wat in software "tests" worden genoemd) schrijven.
Dit artikel is als een detectiveverslag dat de bouwplaatsen van 2.168 verschillende digitale huizen heeft onderzocht om te zien hoe deze robots hun werk eigenlijk uitvoeren. Specifiek wilden de onderzoekers weten: Schrijven deze robots te veel "nep" veiligheidscontroles?
Hier is de uitslag, met behulp van eenvoudige analogieën:
1. De "overbezorgde" robot
In softwaretesten is een "mock" als een dummy-acteur in een film. Als je een scène filmt waarin een personage met een bankdirecteur praat, maar er is geen echte bankdirecteur beschikbaar, gebruik je misschien een vriend in een pak die vooraf geschreven regels opzegt. Dit is een "mock". Het maakt de scène makkelijker om te filmen (de test is sneller en gemakkelijker te schrijven), maar het bewijst niet dat de echte bankdirecteur zich ook zo zou gedragen.
De studie toonde aan dat de robotassistenten geobsedeerd zijn door het gebruik van deze dummy-acteurs.
- De statistiek: Wanneer menselijke ontwikkelaars een test schrijven, gebruiken ze een "dummy-acteur" ongeveer 26% van de tijd. Wanneer de robots een test schrijven, gebruiken ze een dummy-acteur 36% van de tijd.
- De metafoor: Het is also hetzij de robots zo bang zijn voor de echte wereld (echte databases, echte internetverbindingen) dat ze de voorkeur geven aan het repeteren van het hele toneelstuk met kartonnen figuren in plaats van met echte mensen. Ze doen dit vaker dan mensen.
2. De robots houden van het schrijven van veiligheidscontroles
De onderzoekers hebben ook gekeken hoe vaak de robots daadwerkelijk de veiligheidsinspectierapporten (tests) schreven in de eerste plaats.
- De statistiek: Ongeveer 23% van het werk dat de robots deden, bestond uit het schrijven of wijzigen van tests. Mensen deden dit slechts ongeveer 13% van de tijd.
- De metafoor: De robots leggen niet alleen stenen; ze schrijven actief de regelboeken. Sterker nog, in gloednieuwe bouwplaatsen (repositories die in 2025 zijn aangemaakt), is de robot verantwoordelijk voor het schrijven van 17% van alle veiligheidscontroles, een aantal dat snel groeit.
3. One-size-fits-all tools
Het artikel keek naar welk type dummy-acteurs de robots gebruikten. Er zijn verschillende soorten "test doubles" (nep-objecten): sommige staan gewoon stil (dummies), sommige doen alsof ze echt zijn (stubs), en sommige houden in de gaten wat er gebeurt (spies).
- De bevinding: Mensen gebruiken een verscheidenheid aan tools. Ze gebruiken een "spy" hier en een "fake" daar.
- De robot-gewoonte: De robots zijn lui met hun variatie. Ze gebruiken de "Mock"-tool 95% van de tijd.
- De metafoor: Stel je een gereedschapskist voor. Mensen hebben een hamer, een schroevendraaier, een moersleutel en een zaag. De robots komen aan met één enorme hamer en proberen die voor alles te gebruiken, zelfs als ze een schroevendraaier nodig hebben. Ze vertrouwen bijna uitsluitend op één specifiek type nep-object.
4. Het gevaar van "te nep"
Waarom is dit belangrijk? Het artikel waarschuwt dat hoewel het gebruik van te veel "dummy-acteurs" het voor de robots makkelijker maakt om de tests snel te schrijven, het de tests minder nuttig kan maken.
- Het risico: Als je je huis alleen test met kartonnen figuren, denk je misschien dat de loodgieterswerken perfect zijn. Maar wanneer je de echte kraan opendraait, kunnen de leidingen barsten omdat het karton niet reageerde zoals echt metaal dat zou doen.
- De conclusie: De robots genereren tests die gemakkelijk te maken zijn, maar die echte problemen mogelijk niet zullen ontdekken omdat ze te geïsoleerd zijn van de werkelijkheid.
Wat moeten we doen?
De auteurs suggereren dat, aangezien deze robots zo gretig zijn om "nep" acteurs te gebruiken, we ze betere instructies moeten geven.
- De oplossing: Net zoals je een menselijke leerling zou vertellen: "Gebruik geen nepbuis voor de hoofdleiding," moeten we specifieke regels in de instructiehandleidingen van de robots (configuratiefiles) schrijven. We moeten hen vertellen: "Gebruik echte objecten wanneer dat mogelijk is, en gebruik alleen neppers wanneer dat absoluut noodzakelijk is."
Kortom: De robots werken hard en schrijven veel veiligheidstests, maar ze zijn iets te gretig om "nep"-versies van de werkelijkheid te gebruiken, wat hun veiligheidscontroles minder betrouwbaar kan maken. We moeten hen leren om meer realistische scenario's te mengen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.