"Should I Give Up Now?" Investigating LLM Pitfalls in Software Engineering

Deze studie analyseert waarom software-engineers ChatGPT vaak verlaten vanwege fouten en cognitieve overbelasting, en toont aan dat onbruikbare antwoorden de kans op opgeven elf keer vergroten, terwijl het stellen van extra prompts de kans op opgeven met 17% verkleint.

Jiessie Tie, Bingsheng Yao, Tianshi Li, Hongbo Fang, Syed Ishtiaque Ahmed, Dakuo Wang, Shurui Zhou

Gepubliceerd Wed, 11 Ma
📖 5 min leestijd🧠 Diepgaand

Each language version is independently generated for its own context, not a direct translation.

"Moet ik nu opgeven?": Waarom programmeurs soms de AI-robot de deur wijzen

Stel je voor dat je een enorme, ingewikkelde puzzel moet leggen. Je hebt een nieuwe, superintelligente assistent bij je die je kan helpen. Hij noemt zichzelf een "LLM" (zoals ChatGPT), maar laten we hem gewoon Robo-Bob noemen. Robo-Bob is slim, snel en kan bijna alles doen. Maar er is een probleem: soms geeft hij je een puzzelstukje dat helemaal niet past, soms vergeet hij dat je al een stukje hebt gelegd, en soms geeft hij je een stukje dat eruitziet als een puzzelstukje, maar eigenlijk een stukje van een bordspel is.

Dit onderzoek van een team wetenschappers uit Canada en de VS kijkt precies naar wat er gebeurt als programmeers (de puzzelleggers) met Robo-Bob werken. Ze ontdekten dat veel mensen, zelfs ervaren experts, soms zeggen: "Nee, ik geef het op. Ik doe dit zelf."

Hier is wat ze ontdekten, vertaald in simpele taal:

1. De Drie Grote Problemen met Robo-Bob

De onderzoekers zagen dat Robo-Bob drie soorten fouten maakt die mensen gek maken:

  • De "Halve Werk" Fout: Robo-Bob zegt: "Hier is je huis!" en geeft je een dak en muren, maar vergeet de ramen en de deur. Of hij geeft je een recept, maar vergeet te zeggen dat je de oven eerst moet voorverwarmen. Je moet dan zelf het werk afmaken, wat vaak meer tijd kost dan het zelf doen.
  • De "Overvolle Tafel" Fout: Je vraagt om een klein stukje code, en Robo-Bob geeft je een heel boek vol code terug. Het is zo lang en rommelig dat je niet meer weet waar je moet zoeken. Het is alsof je om een theelepel suiker vraagt, en de kok de hele suikerfabriek naar je toe schuift. Je wordt er moe en overstuur van.
  • De "Vergeten Alles" Fout: Robo-Bob heeft een heel kort geheugen. Je zegt: "Zet de knop blauw." Hij doet het. Dan zeg je: "Maak hem nu rood." Maar hij vergeet dat je hem eerst blauw hebt gemaakt, en begint weer van voren af aan, of hij zegt: "Ik heb dat al gedaan!" terwijl hij het niet heeft. Je moet steeds alles opnieuw uitleggen, alsof je tegen iemand praat die elke 5 minuten zijn geheugen verliest.

2. Waarom geven mensen het op?

De onderzoekers keken naar 26 mensen die een complexe website moesten bouwen. Ze zagen iets heel belangrijks:

  • Het is niet de fout, maar de herhaling: Als Robo-Bob één keer een fout maakt, is dat vervelend. Maar als hij het tien keer achter elkaar fout doet, of als je merkt dat je meer tijd kwijt bent aan het corrigeren van zijn fouten dan aan het bouwen zelf, dan zeggen mensen: "Dit is het niet waard."
  • De "11-voudige" kans: De cijfers zijn schokkend. Als Robo-Bob een antwoord geeft dat niet helpt, is de kans dat je de assistent volledig wegzet 11 keer zo groot. Dat is alsof je een auto koopt die 11 keer vaker in de sloot rijdt dan een normale auto; je stapt er snel uit.
  • Meer vragen = minder opgeven: Mensen die blijven doorvragen (zorgen voor een gesprek), geven minder snel op. Het is alsof je een touw trekt: als je blijft trekken, kom je er misschien wel. Maar als je merkt dat het touw doorgesneden is, loop je weg.

3. De "Rabbit Hole" (Het Konijnenhol)

Soms belanden mensen in een "prompt-rabbit hole". Je vraagt iets, Robo-Bob geeft een raar antwoord, jij vraagt het anders, hij geeft weer een raar antwoord. Je blijft maar vragen, hopend dat hij het nu wel snapt. Maar in plaats van dichter bij het doel te komen, loop je steeds dieper het hol in.

  • De ervaring maakt het verschil: Ervaren programmeurs (de "oudjes" in de klas) merken dit sneller op. Ze zeggen: "Oké, deze robot is vastgelopen. Ik ga het zelf doen."
  • Beginners blijven vaak hangen in de hoop dat Robo-Bob het wel goed maakt, en verspillen hierdoor veel tijd.

4. Is Robo-Bob dan nuttig?

Ja, maar met een grote "maar".

  • Voor simpele taken: Als je een simpele vraag hebt ("Hoe schrijf ik een e-mail?"), is Robo-Bot geweldig.
  • Voor complexe taken: Als je een hele nieuwe website moet bouwen met veel verschillende onderdelen, wordt het een gevecht. Robo-Bob is goed in het begin, maar faalt vaak in het doorgaan. Hij kan niet goed zien hoe alles samenhangt.

5. Wat betekent dit voor de toekomst?

De onderzoekers zeggen: "We moeten Robo-Bob niet zien als een robot die alles voor ons doet, maar als een stagiair."

  • Een stagiair kan helpen, maar je moet hem goed controleren.
  • Als de stagiair steeds dezelfde fout maakt, moet je hem niet blijven aanmoedigen, maar misschien een andere methode proberen.
  • De toekomst van AI in programmeren is niet om de AI slimmer te maken, maar om de samenwerking beter te maken. De AI moet leren wanneer hij moet stoppen en zeggen: "Ik denk dat ik hier vastloop, probeer het zelf even."

Kortom:
De titel van het onderzoek, "Moet ik nu opgeven?", is de vraag die elke programmeur zich stelt als hij met AI werkt. Het antwoord is: Ja, soms moet je opgeven. Niet omdat je niet slim bent, maar omdat de tool op dat moment meer tijd kost dan hij oplevert. De kunst is om te weten wanneer je de assistent moet laten staan en zelf aan het werk moet gaan.