Can LLMs be Effective Code Contributors? A Study on Open-source Projects
Dit onderzoek toont aan dat huidige LLM's nog geen effectieve bijdragers zijn aan grote open-source projecten, omdat ze vaak foutieve code genereren, moeite hebben met context en slechts vaak bestaande code nabootsen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een meesterkok bent die een heel complex restaurant runt. Je hebt een assistent aangenomen: een hypermoderne, superintelligente robot. Deze robot heeft bijna alle kookboeken ter wereld gelezen en kan razendsnel recepten voorstellen. Je denkt: "Geweldig, dit gaat mijn leven makkelijker maken!"
Maar na een week merk je iets vreemds. De robot is weliswaar razendsnel, maar hij maakt ook bizarre fouten. Soms vergeet hij de helft van de ingrediënten, soms snijdt hij met een bot mes, en soms voegt hij een ingrediënt toe dat helemaal niet in de keuken bestaat.
Dit is precies wat dit wetenschappelijke onderzoek heeft ontdekt over LLM's (zoals ChatGPT) en hun vermogen om echte software te schrijven.
Wat hebben de onderzoekers gedaan?
De onderzoekers wilden weten: "Kunnen deze AI-modellen echt helpen bij het onderhouden van grote, belangrijke computerprogramma's (open-source projecten)?"
Ze hebben de AI drie moeilijke opdrachten gegeven die echte programmeurs ook krijgen:
- Een foutje repareren (een 'bug' fixen).
- Iets nieuws toevoegen (een nieuwe functie bouwen).
- Een bestaand onderdeel verbeteren.
Ze gebruikten drie verschillende AI-modellen en testten ze op acht bekende, grote softwareprojecten.
De resultaten: De "Slimme maar Onbetrouwbare Assistent"
De conclusie? De AI is als die robot in de keuken: hij is indrukwekkend, maar je kunt hem nog niet zomaar de controle geven over de keuken.
Hier zijn de belangrijkste bevindingen in begrijpelijke taal:
1. De "Ik-denk-dat-dit-klopt"-fout (Hallucinaties)
De AI doet soms heel zelfverzekerd alsof hij iets heeft opgelost, terwijl hij eigenlijk niets heeft veranderd. Het is alsof de robot zegt: "Ik heb de zoutpot gevuld!", terwijl hij alleen maar naar de pot heeft gekeken zonder hem aan te raken.
2. De "Vergeten Context" (Het korte geheugen)
De AI is heel goed in kleine, simpele taakjes. Maar zodra het project groot wordt (een dik kookboek in plaats van een los recept), raakt de AI de draad kwijt. Hij vergeet welke ingrediënten hij eerder al heeft gebruikt of gebruikt namen van ingrediënten die in die keuken helemaal niet bestaan.
3. De "Halve Reparatie" (De pleister op een open wond)
Soms ziet de AI een probleem, maar repareert hij maar de helft ervan. Het is alsof je een lekke band hebt en de AI alleen een stukje ducttape op het gat plakt, terwijl de rest van de band nog steeds kapot is. Het ziet er even goed uit, maar het gaat snel weer mis.
4. De "Parrot-fout" (Nadoen zonder te begrijpen)
De AI is een meester in het nadoen van wat hij eerder heeft gezien. Als hij een probleem ziet dat hij al eens in zijn training heeft gezien, lost hij het perfect op. Maar zodra hij een nieuw probleem krijgt dat hij nog nooit heeft gezien, staat hij met zijn mond vol tanden.
Wat is het advies?
De onderzoekers zeggen niet dat de AI nutteloos is, maar wel dat we voorzichtig moeten zijn.
- Gebruik de AI voor de 'kleine klusjes': Voor simpele, korte stukjes code is hij prima.
- Blijf de chef-kok: Laat een mens altijd de controle houden. Vertrouw de AI nooit blindelings, want hij kan heel overtuigend onzin verkopen.
- Houd de opdrachten klein: Hoe groter en ingewikkelder de opdracht, hoe groter de kans dat de AI de mist in gaat.
Kortom: De AI is een fantastische assistent die je kan helpen met het snelle werk, maar hij is nog geen chef die je de sleutels van de keuken kunt geven!
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.