SWE-chat: Coding Agent Interactions From Real Users in the Wild
Dit paper introduceert SWE-chat, het eerste grote dataset van echte interacties tussen ontwikkelaars en coderingsagenten, waaruit blijkt dat agenten vaak inefficiënt zijn, meer beveiligingskwetsbaarheden introduceren dan mensen, en dat gebruikers in 44% van de gevallen hun output corrigeren of afwijzen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
SWE-chat: Een kijkje in de keuken van AI-programmeurs
Stel je voor dat je een nieuwe, super slimme assistent hebt die kan koken. Je zegt: "Maak een pasta," en hij begint te snijden, te bakken en te proeven. Maar hoe vaak eet jij daadwerkelijk wat hij maakt? En is het eten wel veilig?
Dit is precies wat onderzoekers van de Stanford University hebben onderzocht met SWE-chat. In plaats van een proefkeuken, hebben ze gekeken naar echte programmeurs die in het wild werken met AI-coding agents (zoals een digitale chef-kok die code schrijft).
Hier is wat ze hebben ontdekt, vertaald in begrijpelijke taal:
1. De "Vibe-coder" vs. De "Samenwerker"
De onderzoekers zagen twee heel verschillende manieren waarop mensen met de AI werken:
- De Vibe-coder (41% van de tijd): Hier laat de programmeur de AI bijna alles doen. Het is alsof je de AI zegt: "Maak maar iets leuks," en je wacht tot hij een compleet gerecht op tafel zet. De AI schrijft dan 99% van de code.
- De Samenwerker (36% van de tijd): Hier werken de mens en de AI hand in hand. De mens geeft de richting aan, de AI helpt met de details, en ze bouwen het samen.
- De Alleen-kok (23% van de tijd): De mens doet het werk zelf, en de AI is slechts een hulpmiddel om vragen te beantwoorden.
Het verrassende: De "Vibe-coding" wordt steeds populairder. Mensen vertrouwen de AI meer en meer om het zware werk te doen.
2. De "Afvalbak" van de AI
Je zou denken dat als de AI zo slim is, alles wat hij schrijft perfect is. Maar dat is niet zo.
- De statistiek: Slechts 44% van de code die de AI schrijft, wordt daadwerkelijk gebruikt door de programmeur.
- De analogie: Stel je voor dat de AI 100 broden bakt. De programmeur pakt er maar 44 uit de oven. De andere 56 worden weggegooid omdat ze te droog zijn, verbrand, of gewoon niet smaken.
- De kosten: Als de AI alleen maar "vibe-codes" (alles zelf doet), kost het veel meer tijd en geld om aan één goed stukje code te komen dan als de mens en de AI samenwerken. Het is alsof je een dure machine gebruikt om één boterham te maken, terwijl je dat ook met je handen had kunnen doen.
3. Gevaarlijke "Gevarenzones" (Veiligheid)
Dit is misschien wel het belangrijkste punt: AI-code is vaak onveiliger.
- De code die de AI schrijft, bevat veel meer "sluipende fouten" (veiligheidslekken) dan code die door mensen is geschreven.
- De analogie: Als een mens een muur bouwt, controleert hij of de stenen stevig zitten. De AI bouwt de muur razendsnel, maar vergeet soms dat er een gat in zit waar een inbreker doorheen kan. In de studie bleek dat "Vibe-coding" bijna 9 keer zoveel veiligheidslekken introduceerde als wanneer een mens het werk zelf deed.
4. De "Niet-stilzitten" Mens
Hoe reageren mensen als de AI fouten maakt?
- Mensen zijn niet passief. Ze onderbreken de AI, zeggen: "Nee, dat klopt niet," of "Probeer het anders."
- In 44% van de keren dat de AI iets doet, moet de mens ingrijpen.
- Het probleem: De AI vraagt zelden: "Weet je zeker dat je dit wilt?" (slechts 1% van de tijd). De mens moet dus constant de AI corrigeren. Het is alsof je een hond hebt die heel snel rent, maar nooit stopt om te vragen of je nog steeds in de richting van het park wilt lopen.
5. Waarom is dit onderzoek belangrijk?
Vroeger keken onderzoekers alleen naar AI's in een laboratorium, waar ze simpele puzzels oplossen. Maar in het echte leven is het veel chaotischer.
- De les: AI's zijn krachtig, maar ze zijn nog niet perfect. Ze zijn snel, maar vaak onnauwkeurig en onveilig als we ze te veel vrijheid geven zonder toezicht.
- De oplossing: De beste manier om te werken is samenwerking. Laat de AI helpen, maar blijf zelf de chef-kok die controleert of het eten veilig en lekker is.
Kortom: AI voor programmeren is een geweldig hulpmiddel, maar we moeten niet blindelings vertrouwen op wat hij produceert. De mens moet de regie blijven houden, anders krijgen we een rommelige, onveilige en dure "maaltijd".
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.