🤖 AI

Bridging Generation and Training: A Systematic Review of Quality Issues in LLMs for Code

Dit artikel presenteert een systematische review van 114 studies om een uniforme taxonomie en causaal raamwerk te ontwikkelen dat kwaliteitsproblemen in trainingsdata koppelt aan defecte codegeneratie in LLM's, terwijl het mitigatietechnieken synthetiseert en een paradigmaverschuiving schetst naar proactieve, data-gedreven governance voor betrouwbare codemodellen.

Oorspronkelijke auteurs: Kaifeng He, Xiaojun Zhang, Peiliang Cai, Mingwei Liu, Yanlin Wang, Chong Wang, Kaifeng Huang, Bihuan Chen, Xin Peng, Zibin Zheng

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kaifeng He, Xiaojun Zhang, Peiliang Cai, Mingwei Liu, Yanlin Wang, Chong Wang, Kaifeng Huang, Bihuan Chen, Xin Peng, Zibin Zheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een briljante maar zeer letterlijke student te leren computercode te schrijven. Je geeft hen een enorme bibliotheek met boeken (de trainingsdata) om te bestuderen. De student leest alles, onthoudt patronen en probeert vervolgens zelf nieuwe code te schrijven.

Dit artikel is een uitgebreid onderzoek naar waarom die student soms code schrijft die buggevoelig, onveilig of gewoon fout is. De auteurs, een team van onderzoekers, onderzochten 114 verschillende studies om een eenvoudige maar cruciale vraag te beantwoorden: Is de slechte schrijfstijl van de student zijn eigen schuld, of komt het doordat de boeken die hij bestudeerde vol zaten met fouten?

Hun conclusie is opvallend: Het ligt vooral aan de boeken.

Hier is de uiteenzetting van hun bevindingen, uitgelegd via eenvoudige analogieën:

1. De realiteit van "Afval in, Afval uit"

Het artikel stelt dat wanneer een AI (Large Language Model) slechte code genereert, dit zelden komt doordat de AI slecht "denkt". In plaats daarvan kopieert de AI simpelweg wat hij zag in zijn trainingsdata.

De Analogie: Stel je voor dat je koken leert door een kookboek te lezen. Als het kookboek een recept bevat dat zegt: "Voeg een kopje zout toe aan de soep", en jij volgt het, dan zal je soep on eetbaar zijn. Jij hebt geen fout gemaakt; het boek wel.
De Bewering van het Artikel: De AI leert van een "kookboek" (trainingsdata) dat miljoenen regels code van internet bevat. Als die internetcode beveiligingsgaten, verouderde instructies of typefouten bevat, leert de AI die fouten alsof het de juiste manier van doen is.

2. De twee soorten "Slechte Boeken"

De onderzoekers hebben de problemen in de trainingsdata in twee hoofdcategorieën ingedeeld:

De "Slechte Recept"-Problemen (Code-kenmerken): Dit zijn specifieke fouten binnen de codefragmenten zelf.
- Voorbeeld: Een recept dat een gereedschap gebruikt dat 10 jaar geleden verbannen is. De AI leert dat verboden gereedschap te gebruiken omdat hij het in het boek zag.
- Voorbeeld: Een recept dat vergeet de kip te wassen, wat leidt tot een ziekmakende maaltijd (een beveiligingskwetsbaarheid).
De "Slechte Bibliotheek"-Problemen (Niet-code-kenmerken): Dit zijn problemen met de bibliotheek als geheel, niet alleen met individuele recepten.
- Voorbeeld: De bibliotheek heeft 1.000 exemplaren van hetzelfde saaie recept, maar slechts één exemplaar van een complex, gezond gerecht. De AI wordt een expert in het saaie gerecht, maar faalt volledig bij het complexe gerecht.
- Voorbeeld: De bibliotheek is gevuld met pagina's vol willekeurige onzin of advertenties (ruis) die de student afleiden van het leren van echt koken.

3. Hoe fouten zich voortplanten (De pijplijn)

Het artikel schetst precies hoe een fout in het "boek" een fout in het "eindgerecht" wordt. Ze ontdekten 18 verschillende manieren waarop dit gebeurt, die ze groeperen in twee paden:

Direct Kopiëren (Directe Mappings): De AI ziet een specifiek slecht patroon en herhaalt het.
- Analogie: De student ziet een typefout in het boek en typt dezelfde typefout in zijn essay.
- Wereldwijd resultaat: De AI gebruikt een verouderd (oud) computercommando dat niet meer werkt, waardoor het programma crasht.
Vervormd Leren (Indirecte Mappings): De AI leert de verkeerde balans van dingen omdat de bibliotheek onbalans was.
- Analogie: Omdat de bibliotheek 99% recepten voor "verbrande toast" bevatte en slechts 1% voor "brood maken", denkt de AI dat verbrande toast de enige manier van koken is. Hij weet niet hoe hij goed brood moet maken omdat hij nooit genoeg voorbeelden zag.
- Wereldwijd resultaat: De AI is geweldig in het schrijven van simpele Python-code, maar verschrikkelijk in het schrijven van code voor andere talen of complexe taken, omdat de trainingsdata onbalans was.

4. De huidige oplossing versus de betere oplossing

Het artikel wijst erop dat de meeste bedrijven momenteel proberen dit probleem op te lossen nadat de AI de code heeft geschreven. Ze gedragen zich als een voedselinspecteur die aan het einde de soep proeft en zegt: "Dit is te zout, gooi het weg."

Het Probleem: Dit is traag, duur en reactief. Je blijft slechte soep weggooien.
De Aanbeveling van het Artikel: We moeten bibliothecarissen en redacteuren worden voordat de student begint met studeren.
- In plaats van alleen aan het einde slechte soep te filteren, moeten we de bibliotheek in, de slechte recepten verwijderen, de typefouten herstellen en zorgen voor een goede mix van verschillende soorten gerechten.
- De auteurs noemen dit een verschuiving van "reactief filteren" naar "proactief databeheer".

5. Wat is nog steeds moeilijk?

Zelfs met dit nieuwe inzicht erkent het artikel dat er grote hindernissen zijn:

De "Lekkende" Bibliotheek: Soms bevatten de "boeken" die de AI bestudeert de antwoorden op de toetsen die hij later zal maken. Dit laat de AI slimmer lijken dan hij echt is, omdat hij gewoon de antwoorden heeft onthouden.
De "Black Box"-Bibliotheek: We weten vaak niet precies welke boeken zijn gebruikt om de populairste AIs te trainen. Zonder de bron te kennen, is het moeilijk te traceren waarom een specifieke fout is gebeurd.
Het Bewegende Doel: De wereld van software verandert snel. Een "goed" recept vandaag kan morgen een "slecht" recept zijn omdat technologie updates. De bibliotheek moet voortdurend worden bijgewerkt, wat zeer moeilijk is.

Samenvatting

Het artikel concludeert dat we om betrouwbare code van AI te krijgen, niet alleen de AI de schuld kunnen geven of proberen zijn output achteraf te repareren. We moeten het bronmateriaal repareren. Als we willen dat de AI perfecte code schrijft, moeten we eerst zorgen dat de "bibliotheek" waar hij van heeft geleerd schoon, gebalanceerd en up-to-date is. De kwaliteit van de output is een directe weerspiegeling van de kwaliteit van de input.

Technische Samenvatting: Het Overbruggen van Generatie en Training: Een Systematische Review van Kwaliteitsproblemen in LLM's voor Code

Probleemstelling

Grote Taalmodellen (LLM's) hebben software-engineering getransformeerd door taken zoals code-aanvulling, reparatie en testgeneratie te automatiseren. Echter, hun praktische adoptie wordt gehinderd door frequente generatie van defecte code, variërend van logische fouten en syntaxisfouten tot kritieke beveiligingskwetsbaarheden en nalevingsviolaties. Hoewel deze falen vaak worden toegeschreven aan inherente modelbeperkingen, wijst empirisch bewijs er steeds meer op dat hun oorzaken liggen in imperfecties binnen de trainingscorpora.

Er bestaat een aanzienlijke kloof in de huidige literatuur: de specifieke mechanismen die kwaliteitsproblemen in trainingsdata verbinden met kwaliteitsproblemen in gegenereerde code, blijven grotendeels onverkend. Bestaand onderzoek lijdt aan drie kritieke tekortkomingen:

Versnipperde Taxonomieën: Studies richten zich op geïsoleerde kwaliteitsdimensies (bijvoorbeeld beveiliging of correctheid) zonder een unified raamwerk om zowel defecten in gegenereerde code als gebreken in trainingsdata te categoriseren.
Onduidelijke Causale Koppelingen: Er ontbreekt een geformaliseerd mechanisme dat uitlegt hoe specifieke datasetfouten (bijvoorbeeld verouderde API's, data-ongelijkheid) zich voortplanten naar codefouten.
Gescheiden Mitigatiestrategieën: Detectie- en mitigatietechnieken zijn verspreid over data-curatie, modeltraining en post-generatiefasen, zonder een geïntegreerde levenscyclusbenadering.

Methodologie

Dit artikel presenteert een Systematische Literatuurstudie (SLR) van 114 primaire studies gepubliceerd tussen eind 2021 en begin 2026. De review volgde gevestigde richtlijnen voor software-engineering, waarbij het volgende werd toegepast:

Zoekstrategie: Een meerfasig proces dat Booleaanse trefwoordzoekopdrachten combineerde over vijf grote digitale bibliotheken (IEEE Xplore, ACM Digital Library, SpringerLink, ScienceDirect, arXiv) met achterwaartse en voorwaartse sneeuwbalmethodes.
Selectiecriteria: Studies werden opgenomen indien ze LLM's onderzochten die werden toegepast op codetaken, zich richtten op specifieke kwaliteitsattributen van code of data, en empirische onderbouwing boden.
Kwaliteitsbeoordeling: Een gestructureerde evaluatie met acht criteria (bijvoorbeeld methodologische strengte, diepte van causale analyse, transparantie) met een scoresysteem (0–16). Studies met een score onder de 10 werden uitgesloten.
Synthese: Een iteratieve kwalitatieve coderingsbenadering (Open, Axiale en Selectieve codering) werd gebruikt om data te extraheren en bevindingen te synthetiseren tot unified taxonomieën en causale raamwerken.

Belangrijkste Bijdragen

1. Unified Tweedimensionale Taxonomie

De auteurs stellen een uitgebreide taxonomie voor die kwaliteitsproblemen categoriseert over twee dimensies:

Kwaliteitsproblemen in Gegenereerde Code (9 Dimensies):
1. Correctheid: Syntaxisfouten, logische gebreken en onjuist gebruik van API's/afhankelijkheden.
2. Beveiliging: Extern getriggerte kwetsbaarheden (bijvoorbeeld SQL-injectie) en inherente kwetsbaarheden (bijvoorbeeld hardcoded sleutels).
3. Naleving: Schendingen van juridische/ethische beperkingen, inclusief kwaadaardige code, privacylekken en schending van auteursrechten.
4. Robuustheid: Onvermogen om abnormale invoer of randvoorwaarden te verwerken.
5. Onderhoudbaarheid: Structurele complexiteit, slechte modulariteit en gebrek aan herbruikbaarheid.
6. Begrijpelijkheid: Slechte naamgevingconventies, ontbrekende commentaren en "magische getallen".
7. Efficiëntie: Suboptimale tijd/ruimte-complexiteit en resource-verspilling.
8. Parsimonie van Output: Redundante, omstandige of repetitieve codegeneratie.
9. Diversen: Problemen zoals slecht volgen van instructies.
Kwaliteitsproblemen in Trainingsdata (2 Grote Groepen):
- Code-Attributen: Gebreken binnen individuele samples (Correctheid, Beveiliging, Naleving, Robuustheid, Onderhoudbaarheid, Begrijpelijkheid, Efficiëntie).
- Niet-Code-Attributen: Macro-niveau dataseteigenschappen (Nalevings/Beveiligingsrisico's in tekst, Verdelingsongelijkheid, Redundantie, Onvoldoende Diversiteit, Data-verontreiniging, Data met lage waarde).

2. Causaal Raamwerk en Propagatiemechanismen

Het artikel formaliseert een causaal raamwerk dat 18 typische propagatiekoppelingsmechanismen detailleert die data-problemen verbinden met codefouten. Deze zijn onderverdeeld in:

Directe Koppelingen (10 mechanismen): Expliciete replicatie van defecten in code-attributen. Voorbeelden zijn:
- Verouderde API's $\rightarrow$ Compatibiliteitsfalen: Memoriseren van verouderde bibliotheekoproepen.
- Syntaxisdefecten $\rightarrow$ Compilatiefouten: Voortplanting van structurele ongeldigheid van niet-geverifieerde fragmenten.
- Onveilige Praktijken $\rightarrow$ Kwetsbare Code: Replicatie van onveilige idiomata (bijvoorbeeld eval(), niet-geverifieerde invoer).
Indirecte Koppelingen (8 mechanismen): Distorsie van de leerverdeling als gevolg van niet-code-attributen. Voorbeelden zijn:
- Redundantie $\rightarrow$ Verminderde Diversiteit: Overfitting op repetitieve patronen door dubbele samples.
- Verdelingsongelijkheid $\rightarrow$ Gebiasede Prestaties: Scheve prestaties over talen of domeinen als gevolg van data-schaarste.
- Instructie-Desalignering $\rightarrow$ Semantische Drift: Generatie van syntactisch correcte maar semantisch incorrecte code door niet-overeenkomende docstrings.

3. Synthese van Detectie- en Mitigatietechnieken

De review synthetiseert state-of-the-art technieken over de LLM-levenscyclus:

Detectie: Gaat voorbij aan statische regelcontrole naar hybride raamwerken die Dynamische Analyse (executiegebaseerde testen, runtime-monitoring), Statische Analyse (regelgebaseerde tools, menselijke review) en Modelgebaseerde Detectie (LLM als rechter, lichtgewicht ML-classifiers) combineren.
Mitigatie: Identificeert een verschuiving van reactieve post-generatie filtering naar proactieve, data-governance. Strategieën omvatten:
- Data-niveau: Filtering op basis van uitvoeringsfeedback, regelgebaseerde sanering, LLM-gebaseerde reiniging en data-balancering.
- Model-niveau: Fine-tuning, instructie-alignment (RLHF/DPO) en beloningsgebaseerde optimalisatie.
- Generatie-niveau: Prompt-engineering, Retrieval-Augmented Generation (RAG), interventies tijdens decoding en iteratieve zelfreflectie.

Resultaten en Bevindingen

Onderzoekstrends: Onderzoek naar codekwaliteit is sinds 2023 ontploft, met een duidelijke verschuiving van een eenzijdige focus op Correctheid (52 studies) naar een multidimensionaal beeld dat Beveiliging (24) en Onderhoudbaarheid (22) omvat.
Oorzaakanalyse: De review bevestigt dat defecten in gegenereerde code zelden geïsoleerde redeneringsdeficiënties zijn, maar diep geworteld zijn in de kwaliteit van trainingsdata. "Garbage in, garbage out" geldt niet alleen voor expliciete fouten, maar ook voor systemische verdelingsbias (bijvoorbeeld data-ongelijkheid die slechte generalisatie veroorzaakt in talen met weinig resources).
Methodologische Verschuiving: Het vakgebied gaat over van reactieve, heuristiek-gebaseerde post-generatie filtering naar proactieve, data-governance en gesloten-lus reparatie.
Identificatie van Kloven: Huidig onderzoek mist formele methoden voor causale attributie om specifieke generatiefalen terug te traceren naar specifieke data-oorsprongen, en benchmarkverontreiniging blijft een alomtegenwoordige bedreiging voor de integriteit van evaluaties.

Betekenis en Claims

Het artikel claimt de eerste systematische literatuurstudie te zijn die expliciet de kloof overbrugt tussen de kwaliteit van trainingsdata en de kwaliteit van gegenereerde code. De betekenis hiervan ligt in:

Een Unified Raamwerk Vestigen: Het bieden van een consistent vocabulaire en taxonomie die de versnippering in de bestaande literatuur oplost, waardoor systematische vergelijking van kwaliteitsproblemen mogelijk wordt.
Causaliteit Formaliseren: Voorbij gaan aan correlatie om specifieke propagatiemechanismen in kaart te brengen, waardoor onderzoekers en praktijken generatiefalen kunnen traceren naar hun dataset-oorsprong.
Toekomstige Governance Begeleiden: Betogen dat betrouwbare LLM's voor code niet kunnen worden bereikt door verbeteringen in modelarchitectuur alleen. In plaats daarvan moet de gemeenschap geïntegreerde data-curatie en continue evaluatie-strategieën aannemen die datakwaliteit behandelen als de primaire hefboom voor softwarebetrouwbaarheid.

De auteurs concluderen dat hoewel "harness engineering" (bijvoorbeeld RAG, toolgebruik) compensatie op het moment van implementatie biedt, dit de noodzaak van hoogwaardige trainingsdata niet vervangt. Toekomstige betrouwbaarheid hangt af van een verschuiving van versnipperde, fase-specifieke interventies naar end-to-end kwaliteitspijplijnen die bidirectionele traceerbaarheid tussen trainingscorpora en gegenereerde artefacten garanderen.