💻 computer science

Do AI Agents Really Improve Code Readability?

Hoewel AI-agenten voornamelijk ingrijpen op logische complexiteit en documentatie, blijkt uit deze studie dat hun refactoring-initiatieven vaak leiden tot een verslechtering van traditionele leesbaarheidsmetrieken zoals het onderhoudbaarheidsindex en cyclomatische complexiteit.

Oorspronkelijke auteurs: Kyogo Horikawa, Kosei Horikawa, Yutaro Kashiwa, Hidetake Uwano, Hajimu Iida

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kyogo Horikawa, Kosei Horikawa, Yutaro Kashiwa, Hidetake Uwano, Hajimu Iida

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Doen AI-assistenten de code echt leesbaarder? (Of maken ze het juist rommeliger?)

Stel je voor dat je een enorme, oude bibliotheek hebt vol met boeken (de softwarecode). Sommige boeken zijn netjes geschreven, met duidelijke hoofdstukken en een goede inhoudsopgave. Andere boeken zijn een chaos: zinnen lopen door elkaar, de titels zijn onbegrijpelijk en er staan geen kanttekeningen bij.

In de softwarewereld noemen we dit leesbaarheid. Als code niet leesbaar is, kost het veel tijd om het te begrijpen, maken mensen meer fouten en wordt het onderhoud een nachtmerrie.

Nu zijn er nieuwe, slimme AI-agenten (zoals super-intelligente bibliothecarissen) die beloofd hebben deze boeken automatisch op te ruimen en te herschrijven. Maar de vraag is: Doen ze dit echt goed?

Deze studie van onderzoekers uit Japan gaat op zoek naar het antwoord. Hier is wat ze ontdekten, vertaald naar alledaagse taal:

1. Hoe vaak proberen ze het eigenlijk?

Het bleek dat deze AI-bibliothecarissen zeer zelden specifiek gaan zoeken naar boeken die "leesbaar" moeten worden gemaakt.

De analogie: Stel je voor dat je een team van 1.000 robots hebt die boeken herschrijven. Slechts 3 van die 1.000 robots zeggen: "Ik ga dit boek nu leesbaarder maken." De rest doet andere dingen, zoals het versnellen van de drukpers (prestatie) of het veranderen van de kaft (structuur).
Conclusie: AI is nog niet erg gefocust op leesbaarheid; het is maar een klein deel van hun werk.

2. Wat doen ze als ze het wel proberen?

Wanneer de AI-agenten zich wel richten op leesbaarheid, kijken ze niet naar de oppervlakkige dingen.

Wat mensen doen: Mensen verbeteren vaak de kleine dingen: ze hernoemen een slechte titel, zetten een komma op de juiste plek, of schrijven een korte samenvatting.
Wat AI doet: De AI kijkt naar de zware logica. Ze proberen ingewikkelde zinnen (code) te vereenvoudigen of ze voegen lange uitlegteksten toe.
De analogie: Als een mens een rommelige zolder opruimt, zet hij eerst de oude kranten netjes in een stapel en plakt een etiket op een doos. De AI pakt echter de hele zolderkast uit, bouwt er een nieuw systeem voor en schrijft een handleiding van 50 pagina's. Ze focussen op de "zware" problemen, niet op de kleine, nette details.

3. Het verrassende resultaat: Wordt het beter?

Hier komt de verrassing. Je zou denken dat als de AI de logica vereenvoudigt en uitleg toevoegt, het boek beter leesbaar wordt. Maar de cijfers vertellen een ander verhaal.

De meting: De onderzoekers keken naar de "kwaliteitsmeter" van de boeken (zoals de Maintainability Index). Een hogere score is goed, een lagere is slecht.
Het resultaat: In 56% van de gevallen werd de code slechter volgens deze meters! De code werd vaak langer, complexer en moeilijker te onderhouden, zelfs als de AI zei dat ze het "leesbaarder" maakten.
De analogie: Het is alsof de AI een rommelige zolder probeert op te ruimen door er een enorme, ingewikkelde lift en een automatische sorteerband in te bouwen. Het idee is goed (het moet makkelijker worden), maar het resultaat is dat de zolder nu nog voller staat met machines en deels nog steeds rommelig is. De "leesbaarheid" is misschien wel logischer geworden, maar het is nu een zwaardere last om te dragen.

Wat betekent dit voor ons?

Vertrouw niet blindelijk: Als een AI-assistent zegt: "Ik heb je code leesbaarder gemaakt," moet je dat niet zomaar accepteren. Het kan zijn dat ze het juist onnodig ingewikkeld hebben gemaakt.
Mensen zijn nog nodig: AI is goed in het oplossen van grote, logische puzzels, maar mist het gevoel voor de kleine, praktische details die code echt leesbaar maken voor mensen.
Nieuwe regels nodig: De onderzoekers zeggen dat we nieuwe "kwaliteitscontroleurs" nodig hebben. Voordat we de wijzigingen van de AI toestaan, moeten we checken: "Is dit echt simpeler geworden, of is het alleen maar groter en zwaarder?"

Kort samengevat:
AI-agenten zijn als slimme, maar soms wat onhandige renovateurs. Ze kunnen de fundering van een huis (de logica) repareren, maar ze maken het huis vaak zo groot en complex dat het voor de bewoner (de ontwikkelaar) juist lastiger wordt om erin te wonen. Ze moeten nog leren dat "leesbaar" niet altijd betekent "ingewikkelder".

Titel: Do AI Agents Really Improve Code Readability?

Auteurs: Kyogo Horikawa, Kosei Horikawa, Yutaro Kashiwa, Hidetake Uwano, Hajimu Iida
Conferentie: MSR '26 (Mining Software Repositories), Rio de Janeiro, 2026

1. Probleemstelling

Code leesbaarheid is een fundamentele factor voor softwarekwaliteit en onderhoudbaarheid. Slechte leesbaarheid leidt tot technische schuld, langere ontwikkeltijden en een verhoogd risico op bugs. Hoewel er veel onderzoek is gedaan naar geautomatiseerde refactorings, is de specifieke impact van AI-agenten (gebaseerd op Large Language Models of LLM's) op leesbaarheid onduidelijk.

Bestaand onderzoek richt zich vaak op refactorings in het algemeen (inclusief prestatie-optimalisatie en structurele verbeteringen), waardoor niet duidelijk is of AI-agenten daadwerkelijk effectief zijn in het verbeteren van de leesbaarheid van bestaande code. Er is een kloof in de kennis over of deze autonome agenten de leesbaarheid daadwerkelijk verhogen of juist onverwachte negatieve gevolgen hebben voor de codekwaliteit.

2. Methodologie

De auteurs hebben een empirische studie uitgevoerd door data te minen uit het AIDev-dataset, dat commits van vijf verschillende AI-coding agents bevat.

Dataverzameling:
- Uitgangspunt: 1,38 miljoen commits van AI-agenten.
- Filter 1 (Keywords): Er werd gezocht naar commits met leesbaarheidsgerelateerde trefwoorden in de commit-berichten (bijv. "readability", "clarity", "understandable"). Dit leverde 4.115 commits op.
- Filter 2 (Taal): Om consistentie te garanderen, werden alleen commits geselecteerd die wijzigingen bevatten in Python-bestanden. Dit resulteerde in 577 commits.
- Filter 3 (Validatie): Na het verwijderen van merge-commits en commits met parse-fouten bleven 403 commits over voor de kwantitatieve analyse.
Onderzoeksvragen (RQ's):
1. RQ1: Hoe prevalent zijn leesbaarheidsgerelateerde commits van AI-agenten?
2. RQ2: Welke soorten leesbaarheidsproblemen ("smells") worden door agenten aangepakt?
3. RQ3: Hoe verandert de codekwaliteit (leesbaarheidsmetrieken) voor en na deze commits?
Analysemethoden:
- Kwalitatief (RQ2): Handmatige inspectie van een steekproef (231 commits) door twee experts, gekoppeld aan een bestaand raamwerk van leesbaarheidsproblemen (Oliveira et al.).
- Kwantitatief (RQ3): Gebruik van de Radon-bibliotheek om diverse metrieken te berekenen voor de code voor en na de commit:
  - Maintainability Index (MI) (hoger is beter).
  - Cyclomatic Complexity (CC) (lager is beter).
  - Lines of Code (LOC), Logical Lines of Code, Comment lines.
  - Halstead-metrieken (Volume, Difficulty, Effort).
- Statistiek: De Wilcoxon signed-rank test werd gebruikt om significantie te bepalen ( $p < 0.01$ ) en Cliff's delta voor het effectgrootte.

3. Belangrijkste Resultaten

RQ1: Prevalentie

AI-agenten focussen zeer weinig op leesbaarheid. Slechts 0,3% van alle gegenereerde commits bevat expliciete verwijzingen naar leesbaarheid. Agenten gebruiken standaardterminologie, waarbij "readability" de meest voorkomende term is (50,1% van de leesbaarheidscommits).

RQ2: Type Problemen

Er is een duidelijk verschil in prioritering tussen menselijke ontwikkelaars en AI-agenten:

Agenten focussen primair op logische complexiteit (42,4%) en documentatie (24,2%). Ze proberen complexe logica te vereenvoudigen en uitleg toe te voegen.
Mensen verdelen hun aandacht meer gelijkmatig over verschillende aspecten, waaronder het verbeteren van identificatoren (naamgeving, 20,3%) en formatting.
Agenten negeren vaak oppervlakkige aspecten zoals naamgeving en formatting, en richten zich op diepere, semantische verbeteringen.

RQ3: Impact op Codekwaliteit (De Kernbevinding)

Tegen de verwachting in leiden leesbaarheidsgerichte commits van AI-agenten vaak tot een verslechtering van traditionele kwaliteitsmetrieken:

Maintainability Index (MI): In 56,1% van de commits nam de MI af (verslechtering).
Cyclomatic Complexity: In 42,7% van de commits nam de complexiteit toe.
Codegrootte: De Lines of Code (LOC) nam in 71,5% van de gevallen toe. De mediaan toename in LOC (6,00) was meer dan dubbel zo hoog als die van de uitvoerbare code (2,60), wat suggereert dat veel ruimte wordt ingenomen door comments en formatting.
Statistiek: De meeste metrieken tonen een significante verandering met een groot effectgrootte, maar de richting is vaak negatief voor onderhoudbaarheid.

Conclusie van RQ3: Hoewel agenten proberen de logica te vereenvoudigen, resulteert dit vaak in code die groter, complexer en minder onderhoudbaar is volgens standaardmetrieken.

4. Bijdragen en Significantie

Kritische Evaluatie van AI: Het paper biedt een noodzakelijke realiteitscheck voor de hype rond AI-agenten. Het toont aan dat "leesbaarheidsverbetering" door AI niet automatisch gelijkstaat aan "betere softwarekwaliteit".
Paradigmaverschuiving: Het onderzoek onthult dat AI-agenten een andere prioritering hebben dan mensen (logica vs. naamgeving), wat leidt tot onverwachte resultaten in de codekwaliteit.
Implicaties voor Praktijk:
- Ontwikkelaars moeten AI-aanbevelingen voor refactorings niet blindelings accepteren.
- Er is behoefte aan kwaliteitscontrole-agenten die metrieken zoals Halstead-complexiteit en LOC monitoren om refactorings die de cognitieve last verhogen, te blokkeren.
- Toekomstige agenten moeten kwalitatieve evaluaties en langdurige onderhoudbaarheid in hun verificatiefase opnemen, niet alleen functionele correctheid.

5. Beperkingen (Threats to Validity)

Interne Validiteit: Handmatige classificatie kan subjectief zijn (gemitigeerd door meerdere inspecteurs).
Construct Validiteit: "Tangled commits" (waarbij leesbaarheidswijzigingen gemengd zijn met andere wijzigingen) kunnen de metrieken beïnvloeden.
Externe Validiteit: De studie is beperkt tot Python en een kleine steekproef (0,3% van de dataset), wat de generaliseerbaarheid naar andere talen beperkt.

Samenvattende Conclusie

AI-agenten zijn niet per se een oplossing voor code leesbaarheid. Hoewel ze gericht zijn op het verminderen van logische complexiteit en het verbeteren van documentatie, leiden hun ingrepen vaak tot een toename in codegrootte en complexiteit, wat de onderhoudbaarheid juist verlaagt. De studie pleit voor een kritische, menselijke review en de ontwikkeling van geavanceerdere agenten die kwaliteitsmetrieken beter integreren in hun beslissingsproces.