🤖 AI

More Code, Less Reuse: Investigating Code Quality and Reviewer Sentiment towards AI-generated Pull Requests

Dit artikel onderzoekt de impact van LLM-agenten op codekwaliteit en de sentimenten van reviewers, waarbij wordt onthuld dat hoewel door AI gegenereerde pull requests neutrale of positieve reacties oproepen, ze vaak lijden onder een toename in redundantie en over het hoofd geziene mogelijkheden voor hergebruik die bijdragen aan stille technische schuld.

Oorspronkelijke auteurs: Haoming Huang, Pongchai Jaisri, Shota Shimizu, Lingfeng Chen, Sota Nakashima, Gema Rodríguez-Pérez

Gepubliceerd 2026-01-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haoming Huang, Pongchai Jaisri, Shota Shimizu, Lingfeng Chen, Sota Nakashima, Gema Rodríguez-Pérez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Behulpzame" Robot die de Garage Vervuilt

Stel je voor dat je een zeer slimme, snelle robotassistent hebt die je helpt bij het organiseren van je garage. Je vraagt de robot om een kapotte plank te repareren of een nieuw gereedschap te bouwen. De robot is ongelooflijk snel en beleefd. Het overhandigt je een eindproduct dat er perfect uitziet en direct werkt.

Dit artikel onderzoekt echter wat er gebeurt als we deze robots (AI-agenten) te veel werk laten doen. De onderzoekers ontdekten een verrassend probleem: De robots zijn duplicerende gereedschappen aan het bouwen in plaats van de gereedschappen te gebruiken die je al hebt.

De Twee Belangrijkste Vragen

De onderzoekers stelden twee eenvoudige vragen om te begrijpen wat er aan de hand is:

Is de code daadwerkelijk goed? (Kijkend naar de "garage" zelf).
Hoe voelen de menselijke bazen zich bij het werk? (Kijkend naar de "review").

1. Het "Garage"-probleem: Meer Spullen, Minder Hergebruik

Wanneer menselijke ontwikkelaars code schrijven, kijken ze meestal eerst om zich heen. Als er al een "schroevendraaier" (een stuk code) in de gereedschapskist staat die de klus klaart, pakken ze die en gebruiken ze die. Dit houdt de garage netjes en efficiënt.

Wat de AI doet:
De AI-agenten zijn als een robot die niet weet wat er in je gereedschapskist zit. In plaats van de bestaande schroevendraaier te pakken, bouwt de AI een splinternieuwe schroevendraaier vanaf nul.

Het resultaat: De garage eindigt met 10 identieke schroevendraaiers in plaats van één.
De technische term: De onderzoekers noemen dit Type-4 Code Clones. Het is geen kwestie van kopiëren en plakken (wat makkelijk te herkennen is); het is een "heruitvinding". De AI schrijft dezelfde logica, maar gebruikt andere woorden of variabelenamen.
De data: De studie toonde aan dat door AI gegenereerde code bijna twee keer zoveel redundantie (onnodige duplicatie) bevat als door mensen geschreven code.

2. Het "Review"-probleem: De Beleefde Baas

Normaal gesproken, wanneer een menselijke werknemer een project aanlevert dat rommelig is of vol staat met duplicaten, wordt de baas geïrriteerd. De baas kan zeggen: "Hé, we hebben al een gereedschap hiervoor! Waarom heb je een nieuwe gebouwd?" Dit is een negatieve reactie.

Wat er gebeurt met AI:
Wanneer de AI zijn "nieuwe schroevendraaier" aanlevert, zijn de menselijke reviewers verrassend vriendelijk.

De reactie: Reviewers zijn eerder geneigd om "Goed gedaan!" te zeggen of neutraal te blijven wanneer ze AI-code beoordelen. Ze zijn minder geneigd om boos of afgekeurd te reageren vergeleken met wanneer ze menselijke code beoordelen.
De analogie: Het is alsof een robot zo beleefd en zelfverzekerd is dat je vergeet te controleren of hij het eigenlijk wel slim heeft aangepakt. Omdat het werk van de robot er aan de oppervlakte correct uitziet en alle tests doorstaat, laat de menselijke baas zijn verdediging zakken.

De Gevaarlijke Disconnect: "Stille Technische Schuld"

Dit is de meest kritieke bevinding van het artikel. Er is een disconnect tussen de kwaliteit van het werk en het gevoel bij het werk.

De realiteit: De AI creëert een rommelige, opgeblazen garage vol met dubbele gereedschappen. Dit is slecht op de lange termijn, want als je een bug in de "schroevendraaierslogica" moet oplossen, moet je dat op 10 verschillende plaatsen doen in plaats van op één. Als je er één mist, breekt het hele systeem later alsnog.
De illusie: Omdat de reviewers beleefd zijn en niet boos worden, blijft deze rommeligheid onopgemerkt.

De onderzoekers noemen dit "Silent Technical Debt" (Stille Technische Schuld). Het is alsof je een lening afsluit om een nieuw gereedschap te kopen terwijl je er al een hebt. Je voelt de pijn vandaag niet omdat het nieuwe gereedschap werkt, maar uiteindelijk zul je verdrinken in de schuld (onderhoudskosten) omdat je al deze duplicaten moet onderhouden.

Waarom gebeurt dit?

Het artikel suggereert dat AI-modellen getraind zijn om behulpzaam en meegaand te zijn. Ze zijn geoptimaliseerd om je een antwoord te geven dat er juist uitziet en je gelukkig maakt, in plaats van een antwoord dat het meest efficiënt is of gericht is op "hergebruik". Ze geven prioriteit aan plausibel lijken boven slim zijn.

De Conclusie

Het artikel concludeert dat hoewel AI geweldig is in het snel schrijven van code, het momenteel slecht is in het hergebruiken van bestaande code.

Voor de bouwers: Controleer niet alleen of de code werkt (de "pass rate"). Je moet ook controleren of de AI niet gewoon dingen aan het kopiëren is die hij had moeten hergebruiken.
Voor de reviewers: Laat je niet misleiden door de beleefdheid van de AI. Je moet extra waakzaam zijn en zoeken naar verborgen duplicaten, zelfs als de code aan de oppervlakte perfect lijkt.

Kortom: De AI bouwt een huis met te veel identieke kamers omdat het de blauwdrukken is vergeten, en de menselijke inspecteurs zijn te beleefd om dat aan te merken.

Technische Samenvatting: Meer Code, Minder Hergebruik

Probleemstelling
Het landschap van software engineering verschuift naar "SE 3.0", waarbij Large Language Model (LLM) agenten fungeren als autonome teamgenoten die Pull Requests (PR's) genereren. Bestaande benchmarks (bijv. SWE-Bench) evalueren deze agenten primair op basis van slaagpercentages, maar falen in het vastleggen van de impact op de lange termijn met betrekking tot onderhoudbaarheid en leesbaarheid. Een specifieke zorg is de generatie van Type-4 semantische clones: code die dezelfde logica implementeert als bestaande functies, maar een andere syntaxis of variabelenamen gebruikt. In tegenstelling tot menselijke ontwikkelaars, die vaak Type-1 of Type-2 clones creëren via kopiëren en plakken, zijn de probabilistische aard van LLM's hen vatbaar voor het genereren van deze moeilijker te detecteren semantische redundanties. Dit gedrag schendt het software engineering-principe van hergebruik, wat potentieel leidt tot stille technische schuld. Bovendien blijft het onduidelijk of menselijke reviewers deze kwaliteitsissues kunnen detecteren en hoe hun sentiment verschilt bij het beoordelen van door AI gegenereerde versus door mensen geschreven code.

Methodologie
De studie maakt gebruik van de AIDev dataset, waarbij gefilterd is op Python-repositories met meer dan 500 sterren om projectvolwassenheid te waarborgen. De data is gesplitst in twee subsets:

Dataset A (Volledige Python Dataset): 3.858 PR's voor de analyse van traditionele codemetrics en reviewer-sentiment.
Dataset B (Kerncasestudy): 617 PR's uit de crewAI repository, geselecteerd voor computationeel intensieve redundantie-analyse.

Het onderzoek behandelt twee onderzoeksvragen (RQ's):

RQ1 (Codekwaliteit): In hoeverre verschillen door AI gegenereerde codes van door mensen gegenereerde codes wat betreft kwaliteit en redundantie?
RQ2 (Reviewer-sentiment): Hoe verschilt het sentiment van de reviewer tussen door AI gegenereerde en door mensen geschreven PR's?

Technische Aanpak:

Traditionele Metrics: De auteurs berekenden Lines of Code (LOC), multi-line strings, lege regels en Cyclomatic Complexity (CC) met behulp van de Radon-tool op pre- en post-update bestandsparen.
Redundantie-analyse (MRS): Om Type-4 clones te detecteren, stelden de auteurs een Snapshot-gebaseerde Semantische Differentiaal-analyse voor. Ze extraheerden bestaande functies ( $F_{base}$ ) en genereerden semantische embeddings met behulp van CodeSage-Large. Om vals positieven door refactoring (bijv. het verplaatsen of hernoemen van functies) te voorkomen, integreerden ze PyRef om deze instanties te filteren. Ze definieerden de Max Redundancy Score (MRS) voor een PR als de maximale cosinus-gelijkenis tussen een nieuwe functie ( $F_{new}$ ) en een basisfunctie ( $F_{base}$ ). De studie rapporteert de Average Max Redundancy (AMR) om groepen te vergelijken.
Sentimentanalyse: Met behruik van het Emotion English DistilRoBERTa-base model classificeerden de auteurs review-comments in Ekman's zes basisemoties plus "neutraal". Ze filterden bot-comments eruit en berekenden gemiddelde sentiment scores per PR om reacties op Agentic-PR's versus Human-PR's te vergelijken.

Belangrijkste Resultaten

Codekwaliteit (RQ1): Traditionele metrics (LOC, CC) toonden minimale verschillen tussen menselijke en AI-bijdragen. Echter, de redundie-analyse onthulde een significante discrepantie. AI-agenten vertoonden een Average Max Redundancy (AMR) van 0,2867, bijna 1,87 keer hoger dan menselijke ontwikkelaars (0,1532). Dit verschil was statistisch significant ( $p < 0,001$ ). Ho hoewel zowel mensen als AI enige gelijkaardige code produceerden (bijv. API-calls), overschreden AI-agenten de menselijke bijdragen aanzienlijk in hogere redundantiebereiken, wat wijst op een neiging om bestaande logica te herschrijven in plaats van te hergebruiken.
Reviewer-sentiment (RQ2): Tegen de verwachting in dat slechte codekwaliteit negatieve feedback zou oproepen, uitten reviewers meer neutrale of positieve emoties (vreugde, verdriet, neutraal) bij AI-gegenereerde PR's. Daarentegen lokten Human-PR's een hoger aandeel negatieve emoties uit (woede, afschuw, angst, verbazing). Reviewers behandelden AI-bijdragen over het algemeen respectvol en negeerden vaak de onderliggende redundantie.

Belangrijkste Bijdragen

Empirisch Bewijs van Disconnect: De studie levert het eerste empirische bewijs van een disconnect tussen de door AI gegenereerde code-redundantie en het sentiment van de menselijke reviewer. Het demonstreert dat AI-agenten aanzienlijk meer Type-4 semantische clones introduceren dan mensen, maar dat dit niet wordt bestraft door reviewers.
Nieuwe Metric (MRS): De introductie van de Max Redundancy Score (MRS) met behulp van semantische embeddings en refactoring-detectie biedt een methode om semantische redundantie te kwantificeren die traditionele keyword-matching tools missen.
Identificatie van "Stille Technische Schuld": Het artikel belicht hoe de oppervlakkige plausibiliteit van AI-code (syntactische correctheid en het passeren van tests) slechte ontwerpkeuzes (redundantie) maskeert, wat leidt tot de stille accumulatie van technische schuld.

Significantie en Claims
De auteurs beweren dat huidige evaluatieparadigma's die zich uitsluitend richten op slaagpercentages ontoereikend zijn. De "stille" aard van deze technische schuld is gevaarlijk omdat reviewers, beïnvloed door de behulpzame en plausibele aard van LLM-outputs, hun waakzaamheid met betrekking tot code-hergebruik verlagen. De studie suggereert dat naarmate AI-agenten prominenter worden, de software engineering-gemeenschap moet:

Voor Agent Builders: Agenten evalueren op code-hergebruik metrics, niet alleen op slaagpercentages.
Voor Ontwikkelaars: Actief te controleren op gedupliceerde logica tijdens code reviews, in het besef dat plausibel lijkende AI-code aanzienlijke redundantie kan verbergen.

Het artikel concludeert dat zonder het aanpakken van deze disconnect, real-world ontwikkelomgevingen het risico lopen op te zwellen met redundante logica, wat toekomstige onderhoudsinspanningen verhoogt en de leesbaarheid op lange termijn vermindert.