AI-Generated Code Is Not Reproducible (Yet): An Empirical Study of Dependency Gaps in LLM-Based Coding Agents
Deze empirische studie onthult dat door LLM-agenten gegenereerde code vaak niet reproduceerbaar is in schone omgevingen, aangezien slechts 68,3% van de projecten direct werkt en er een aanzienlijke discrepantie bestaat tussen de door het model opgegeven en de werkelijke runtime-afhankelijkheden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente kok (een AI) vraagt om een compleet diner voor je te koken. Je zegt: "Maak een heerlijke maaltijd, en zorg dat ik precies weet welke ingrediënten ik nodig heb om het later zelf ook te maken."
De kok komt terug met een prachtig gerecht, een recept en een lijstje met drie ingrediënten: "tomaten, basilicum en kaas."
Je probeert het gerecht te maken, maar... het lukt niet. De saus is te dun, de kaas smelt niet goed, en je mist een heel belangrijk ingrediënt: olijfolie. De kok had dat vergeten. Je moet zelf gaan zoeken wat er mis is, de olijfolie toevoegen, en de saus opnieuw proberen.
Dit is precies wat deze studie over AI-programmeurs ontdekt. Hier is het verhaal, vertaald naar gewoon Nederlands:
1. De Belofte vs. De Realiteit
AI-programmeurs (zoals Claude, Gemini en Codex) zijn als die superkok. Ze kunnen razendsnel complete computerprogramma's schrijven. De hoop was: "We vragen de AI om code, en die code werkt direct, zonder gedoe."
Maar de onderzoekers hebben 300 van deze "diners" (programma's) getest. Het resultaat? Slechts 68% van de programma's werkte direct uit de doos. Dat betekent dat 32% van de tijd de programmeur zelf aan de slag moet om het werkend te krijgen. De AI heeft vaak een mooie maaltijd neergezet, maar de "receptlijst" (de lijst met benodigde software-bibliotheken) was onvolledig of fout.
2. Het "Iceberg"-probleem
Dit is het meest verrassende stukje.
Stel, de AI zegt: "Je hebt maar 3 ingrediënten nodig."
Wanneer je het programma echter echt probeert te draaien, blijkt dat je in werkelijkheid 37 ingrediënten nodig hebt.
- De AI ziet alleen de top van het ijsbergje: Ze noemen de grote, zichtbare dingen (bijv. "we hebben een webbrowser nodig").
- Onder water ligt de rest: Die browser heeft weer andere hulpmiddelen nodig, die weer andere nodig hebben, enzovoort.
De studie noemt dit de "Runtime Multiplier".
- Bij Java (een taal voor grote zakelijke systemen) is dit het ergst: De AI zegt "2 ingrediënten", maar je hebt er 18,4 nodig.
- Bij Python (populair voor data) is het iets beter, maar nog steeds: "3 ingrediënten" wordt "37".
- Bij JavaScript (voor websites) is het verrassend goed, maar niet perfect.
Het is alsof de AI je een auto geeft en zegt: "Je hebt alleen benzine nodig." Maar als je de motor start, blijken er ook olie, remvloeistof, een accu en een versnellingsbak nodig te zijn die de AI vergeten is te vermelden.
3. Niet alle fouten zijn "ontbrekende ingrediënten"
Je zou denken dat het grootste probleem is dat de AI vergeet te zeggen welke bibliotheken je moet installeren. Maar dat is slechts 10% van de problemen.
Het echte probleem is dat de AI soms de kookinstructies zelf fout schrijft.
- Soms vergeten ze een puntkomma.
- Soms zeggen ze: "Gebruik bestand A", maar bestand A bestaat niet.
- Soms is de logica zo rommelig dat het programma crasht.
Dit is alsof de kok het recept heeft geschreven, maar de instructies zijn zo onduidelijk ("bak het tot het bruin is") dat je het verbrandt, zelfs als je alle juiste ingrediënten hebt.
4. Elke AI is een andere kok
De studie ontdekte iets heel grappigs: niet alle AI's zijn even goed in elke taal.
- Gemini is een Python-meester: 100% van de Python-programma's werkten direct. Maar bij Java faalde hij bijna volledig (slechts 28% succes).
- Claude is een Java-expert: Hij deed het uitstekend met Java (80% succes), maar iets minder goed met Python.
- Codex deed het redelijk overal, maar had de meeste "kookfouten" (syntaxfouten).
Het is alsof je een kok huurt die alleen maar Italiaans kan koken. Als je hem vraagt om sushi te maken, faalt hij. Je moet dus weten welk "kok" je huurt voor welk gerecht.
5. Waarom is dit belangrijk?
Voor een wetenschapper of een bedrijf is dit een groot probleem.
- Wetenschap: Als een onderzoeker AI gebruikt om data te analyseren en de code niet werkt bij een ander, is het onderzoek niet "reproduceerbaar". Je kunt de resultaten niet verifiëren.
- Bedrijven: Bedrijven denken dat AI tijd bespaart. Maar als elke 3e code die je krijgt 15 minuten aan debuggen kost, ben je die tijdwinst al kwijt. Het is alsof je een snelle auto koopt, maar elke dag 15 minuten vastzit in de file omdat de motor niet goed is afgesteld.
Conclusie: De "Onzichtbare Belasting"
De boodschap van dit onderzoek is helder: AI kan code schrijven, maar het is nog geen betrouwbare partner die de hele omgeving regelt.
De AI ziet de code, maar ziet niet de "achtergrondruis" (alle verborgen afhankelijkheden) die nodig is om die code te laten werken. Zolang AI's niet leren om die volledige, verborgen wereld van 37 ingrediënten te beschrijven in plaats van alleen de 3 die ze zien, blijven ze slimme hulpmiddelen, maar geen perfecte programmeurs.
Kort samengevat in één zin:
AI-programmeurs geven je een prachtige maaltijd, maar vergeten vaak de volledige boodschappenlijst en de kookinstructies, waardoor jij (de mens) toch nog uren moet koken om het werkend te krijgen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.