🤖 AI

Will It Survive? Deciphering the Fate of AI-Generated Code in Open Source

In tegenstelling tot de hypothese dat door AI gegenereerde code vervangbaar is, onthult een overlevingsanalyse van 201 open-source projecten dat door agenten geschreven code feitelijk langer standhoudt dan door mensen geschreven code, hoewel deze te maken heeft met iets hogere correctieve modificatiesnelheden, wat suggereert dat organisatorische praktijken in plaats van de kwaliteit van de generatie de primaire flessenhals vormen voor de langetermijnontwikkeling ervan.

Oorspronkelijke auteurs: Musfiqur Rahman, Emad Shihab

Gepubliceerd 2026-01-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Musfiqur Rahman, Emad Shihab

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je softwareontwikkeling voor als een enorme, bruisende bouwplaats waar gebouwen (codebases) constant worden gebouwd, gerenoveerd en gerepareerd. Jarenlang was de heersende zorg onder de bouwplaatsmanagers (software engineers) dat als ze "robotbouwers" (AI-agenten) zouden laten gebruiken om stenen te leggen, die stenen broos zouden zijn. De angst was dat de robots een muur in elkaar zouden zetten, de menselijke voorman het snel zou goedkeuren om het project gaande te houden, en dat zodra de robot wegliep, de muur zou instorten of direct gesloopt zou moeten worden. Dit idee wordt de "disposable code" hypothese genoemd — het geloof dat door AI gegenereerde code slechts tijdelijke opvulling is die niet lang zal meegaan.

Dit artikel, getiteld "Will It Survive? Deciphering the Fate of AI-Generated Code in Open Source," gaat naar de bouwplaats om de stenen te controleren nadat ze zijn gelegd. De onderzoekers keken niet alleen naar hoe goed de robots de muur bouwden terwijl ze aan het werk waren; ze bekeken de muur gedurende maanden om te zien of deze de tand des tijds zou doorstaan.

Hier is wat ze vonden, uitgelegd in eenvoudige verhalen:

1. Het "Ghost Brick" Fenomeen (Overleving)

De Mythe: Mensen dachten dat AI-stenen snel zouden worden afgebroken of vervangen.
De Realiteit: De AI-stenen bleven zelfs langer staan dan de menselijke stenen.

De onderzoekers volgden meer dan 200.000 regels code (individuele stenen) verspreid over 201 verschillende projecten. Ze ontdekten dat regels code geschreven door AI 16% minder waarschijnlijk werden gewijzigd of verwijderd dan regels geschreven door mensen.

Waarom? De "Raak mijn code niet aan"-regel.
Het artikel suggereert een grappige psychologische reden: Mensen zijn vaak terughoudend om code aan te raken die ze zelf niet hebben geschreven. Het is alsof een huurder een huis intrekt en bang is om de meubels te verplaatsen omdat hij niet weet waar de verborgen draden lopen.

Menselijke Code: Wanneer een mens een regel schrijft, voelt hij eigenaarschap. Als hij later een klein probleem ziet, voelt hij de drang om het onmiddellijk te repareren.
AI-Code: Wanneer een AI een regel schrijft, voelt geen enkele mens zich er verantwoordelijk voor. Het wordt een soort "ghost brick" (geeststeen). Mensen zijn minder geneigd ermee te rommelen, tenzij het echt kapot is, waardoor het langer ongemoeid blijft liggen.

Opmerking: Dit gold niet voor alle robots. De "Copilot-stijl" robots (die mensen helpen bij het schrijven van code) produceerden de meest stabiele stenen. Echter, volledig autonome robots (zoals "Devin", die probeert het hele werk alleen te doen) produceerden steden die juist vaker werden gewijzigd dan menselijke stenen, waarschijnlijk omdat ze experimenteler zijn.

2. De "Waarom" achter de reparaties (Intentie)

Toen de stenen wel uiteindelijk werden aangepast, vroegen de onderzoekers zich af: Waarom?
Ze bekeken de "reparatieorders" (commit berichten) om te zien of de wijzigingen bedoeld waren om bugs te reparen, nieuwe functies toe te voegen of gewoon oude tools bij te werken.

Menselijke Stenen: Mensen hadden de neiging hun code aan te passen om zich aan te passen aan nieuwe omgevingen (zoals een deurklink vervangen omdat het nieuwe slot vereist). Dit wordt "Adaptieve" (adaptieve) maintenance genoemd.
AI-Stenen: Wanneer AI-code werd gewijzigd, was het iets waarschijnlijker een bugfix (correctieve) of een beveiligingspatch (preventieve) te zijn.
De Kanttekening: Het verschil was niet groot. Het is niet dat AI-code "slechter" of "beter" is; het heeft gewoon een iets ander reparatieprofiel. Ook gedroegen verschillende AI-tools zich zeer verschillend. Eén AI-tool produceert misschien code die 44% van de tijd bugfixes nodig heeft, terwijl een andere misschien slechts 13% nodig heeft. Het specifieke hulpmiddel is belangrijker dan het feit dat het "AI" is.

3. Kunnen we de toekomst voorspellen? (Voorspelling)

De onderzoekers probeerden een kristallen bol te bouwen om twee dingen te voorspellen:

Welke stenen zullen breken? (Kunnen we de zwakke regels opsporen?)
Wanneer zullen ze breken? (Kunnen we de timing voorspellen?)

De zwakte opsporen (Succes): Ze waren hier redelijk succesvol in. Door naar de "woordenschat" van de code te kijken (de specifieke woorden en commando's die worden gebruikt), konden ze raden welke regels waarschijnlijk zouden worden gewijzigd. Bijvoorbeeld: code die verbinding maakt met specifieke, veranderende externe diensten (zoals een cloud API) werd gemarkeerd als "hoog risico" voor toekomstige wijzigingen.
De timing voorspellen (Mislukking): Ze faalden in het voorspellen wanneer een wijziging zou plaatsvinden. Weten dat een steen misschien zal breken is makkelijk; weten of hij morgen of over zes maanden breekt, is onmogelijk met alleen de code zelf.
- De Metafoor: Het is alsof je weet dat een auto-onderdeel gevoelig is voor slijtage (de inhoud van de code), maar je kunt niet voorspellen of de monteur het volgende week of volgend jaar gaat repareren (de timing). Die timing hangt af van het schema van de monteur (organisatorische dynamiek), en niet van het onderdeel zelf.

De Belangrijkste Conclusie

Het artikel concludeert dat de angst voor "disposable AI code" grotendeels een mythe is. AI-gegenereerde code overleeft zelfs langer dan menselijke code, voornamelijk omdat mensen te verlegen zijn om er iets aan te veranderen.

De echte flessenhals is echter niet de kwaliteit van de code die de AI schrijft. Het echte probleem is hoe organisaties het beheren. Als een bedrijf geen menselijke "eigenaar" toewijst aan het werk van de AI, kan die code een lange tijd ongemoeid blijven, niet omdat het perfect is, maar omdat niemand zich er verantwoordelijk voor voelt. De sleutel tot het laten voortbestaan van AI-code is niet alleen betere robots, maar beter menselijk management en duidelijk eigenaarschap.

Technische Samenvatting: Zal het overleven? Het lot van door AI gegenereerde code in Open Source ontcijferen

Probleemstelling

De integratie van Large Language Models (LLM's) en autonome AI-agenten in de softwareontwikkeling heeft zorgen opgeroepen over de levensvatbaarheid op lange termijn van de door hen geproduceerde code. Een heersende hypothese in de software engineering-gemeenschap suggereert dat AI-gegenereerde code "disposable" (wegwerpbaar) is—het wordt snel samengevoegd (merged), maar kort na implementatie verwijderd of zwaar gewijzigd. Als dit waar is, zou dit de onderhoudslast verschuiven van codegeneratie naar remediëring na implementatie, wat de productiviteitswinst potentieel tenietdoet. Terwijl bestaande literatuur AI-code evalueert via directe correctheidsmetrieken (bijv. Pass@k, BLEU-scores) of geaggregeerde churn-percentages, is er een gebrek aan longitudinaal bewijs dat de overleving van individuele door AI-auteurs geschreven code-eenheden in productierepositories volgt. Deze studie adresseert dit gat door de vraag te stellen: Overleeft door agent-gegenereerde code langer dan door mensen gegenereerde code, en zo ja, onder welke omstandigheden en met welke wijzigingspatronen?

Methodologie

De auteurs maken gebruik van een survival analysis (overlevingsanalyse) framework, een statistische methode die traditioneel wordt gebruikt in de geneeskunde en betrouwbaarheidstechniek om tijd-tot-gebeurtenis data te modelleren, inclusief het afhandelen van rechts-gecensureerde observaties.

Dataset: De studie maakt gebruik van de AIDev dataset, die gefilterd is tot een definitieve cohort van 201 open-source repositories die zowel door agenten als door mensen gegenereerde Pull Requests (PR's) bevatten. Deze vergelijking binnen dezelfde repository controleert voor projectspecifieke confounders (bijv. coderingsstandaarden, domeincomplexiteit). De definitieve dataset bestaat uit 5.171 PR's (3.003 door agent gegenereerd, 2.168 door mens gegenereerd) en meer dan 200.000 code-eenheden.
Granulariteit: De analyse wordt uitgevoerd op twee niveaus:
- File-niveau: Volgt volledige bronbestanden.
- Line-niveau (Primair): Volgt individuele regels code. Dit is de primaire eenheid van analyse om het "mixed authorship" probleem op te lossen, waarbij een enkel bestand zowel AI- als menselijke code kan bevatten.
Operationalisering:
- Geboorte-gebeurtenis: Een code-eenheid wordt "geboren" wanneer de ouder-PR wordt samengevoegd (merged).
- Dood-gebeurtenis: Een code-eenheid "sterft" wanneer deze wordt gewijzigd door een daaropvolgende commit.
- Censurering: Code-eenheden die ongewijzigd blijven tot de einddatum van de observatie (31 december 2025) zijn rechts-gecensureerd.
Onderzoeksvragen (RQs):
- RQ1 (Overleving): Overleeft door agent-gegenereerde code langer dan door mens gegenereerde code? (Gebruikmakend van Kaplan-Meier schatters, Log-Rank tests en Cox Proportional Hazards regressie).
- RQ2 (Intentie): Wat is de intentie bij modificatie? (Classificatie van wijzigingen met behulp van Swanson's onderhoudstaxonomie: Correctief, Perfectief, Adaptief, Preventief).
- RQ3 (Voorspelling): Kan het lot van door agent gegenereerde code bij de geboorte worden voorspeld? (Gebruikmakend van tekstuele kenmerken voor lokalisatie en metadata-kenmerken voor temporele voorspelling).

Belangrijkste Resultaten

RQ1: Overlevingsanalyse

In tegenstelling tot het narratief van "disposable code", overleeft door agent gegenereerde code significant langer dan door mens gegenereerde code.

Statistieken op regelniveau: Door agent gegenereerde regels vertonen een 15,4 procentpunt lager sterftecijfer (53,9% vs. 69,3% voor mensen).
Hazard Ratio: Het Cox-regressiemodel geeft een Hazard Ratio (HR) aan van 0,842 ( $p < 0,001$ ), wat betekent dat door agent gegenereerde regels een 16% lager risico op modificatie hebben op elk gegeven moment vergeleken met menselijke regels, waarbij gecorrigeerd is voor PR- en repository-kenmerken.
Variatie in tools: Het overlevingsvoordeel varieert per type agent. "Copilot-stijl" assistenten (Cursor, Claude Code, GitHub Copilot, OpenAI Codex) vertonen 20–30 procentpunt lagere sterftecijfers dan mensen. Daarentegen vertoont Devin (een volledig autonome agent) een iets hoger sterftecijfer (71,7%) dan door mens gegenereerde code.

RQ2: Modificatie-intentie

Hoewel de agent-code langer overleeft, verschilt het modificatieprofiel enigszins van dat van menselijke code, hoewel het effect klein is (Cramér's V = 0,116).

Correctief vs. Adaptief: Door agent gegenereerde code vertoont een licht verhoogd correctief percentage (26,3% vs. 23,0% voor mensen), wat suggereert dat het iets vaker wordt gerepareerd wanneer eraan wordt gewerkt. Menselijke code vertoont een significant hoger adaptief percentage (12,8% vs. 7,7%), wat aangeeft dat deze vaker wordt gewijzigd vanwege omgevingsveranderingen (bijv. updates van dependencies).
Heterogeniteit per agent: De variatie in modificatie-intentie tussen verschillende AI-agents (bijv. Claude Code op 44,4% correctief vs. Cursor op 13,8%) overtreft het algemene gat tussen AI- en menselijke code, wat suggereert dat de modaliteit van de tool en de gebruikscontext belangrijker zijn dan het binaire onderscheid tussen AI versus mens.

RQ3: Voorspelling

Lokalisatie (RQ3a): Het voorspellen van welke regels gevoelig zijn voor modificatie is haalbaar met behulp van tekstuele kenmerken (Bag-of-Words). Het beste model (XGBoost) bereikt een AUC-ROC van 0,671, een verbetering van 34,2% ten opzichte van willekeurig. LIME-analyse laat zien dat domeinspecifieke tokens (bijv. SDK-integraties) sterke voorspellers zijn, terwijl generieke tokens vaak leiden tot fout-positieven op stabiele utility-code.
Temporele voorspelling (RQ3b): Het voorspellen van wanneer code zal worden gewijzigd is aanzienlijk moeilijker. Het beste model (Logistische Regressie) bereikt een Macro F1 van 0,285 (slechts 14% boven de random baseline).
Drijvers van timing: De analyse van feature-belang toont aan dat de modificatiegeschiedenis van het bestand en de leeftijd van het bestand de sterkste voorspellers zijn van timing, terwijl kenmerken van de contributor (inclusief auteurschap) minimale invloed hebben. Dit suggereert dat de timing van modificatie wordt gedreven door organisatorische dynamiek en projectactiviteit in plaats van codekwaliteit of auteurschap.

Bijdragen en Betekenis

Het paper levert vier primaire bijdragen:

Eerste overlevingsanalyse van AI-code: Het is de eerste toepassing van time-to-event methoden om individuele door agent gegenereerde code-eenheden te volgen van geboorte tot modificatie in productierepositories.
Divergerende modificatieprofielen: Het toont empirisch aan dat, hoewel AI-code langer overleeft, het andere modificatie-intenties vertoont (hoger correctief, lager adaptief) vergeleken met menselijke code.
Voorspellende baseline: Het stelt vast dat de inhoud van de code de waarschijnlijkheid van modificatie kan voorspellen (AUC-ROC 0,671), wat een nieuwe dimensie biedt voor de evaluatie van AI-code voorbij directe correctheidsmetrieken zoals Pass@k.
Reproduceerbare artefacten: De auteurs stellen een replicatiepakket vrij met data en analyse-scripts.

Betekenis en Implicaties

De studie daagt de aanname uit dat AI-gegenereerde code inherent fragiel of wegwerpbaar is. In plaats daarvan stellen de auteurs dat het overlevingsvoordeel van AI-code mogelijk voortkomt uit code-eigendomsdynamiek: ontwikkelaars zijn mogelijk terughoudend om code te wijzigen die zij niet zelf hebben geschreven ("Don't touch my code"), en AI-code mist vaak een duidelijke menselijke eigenaar.

De auteurs concluderen dat de bottleneck voor door agent gegenereerde code waarschijnlijk niet de kwaliteit van de generatie is, maar de organisatorische praktijken die de langetermijn evolutie ervan beheersen. Zij suggereren dat:

Organisaties expliciet menselijke eigenaren moeten aanwijzen voor door agent gegenereerde code om te voorkomen dat deze "verweesd" raakt.
Tool-selectie contextafhankelijk moet zijn; Copilot-stijl assistenten kunnen beter zijn voor stabiele infrastructuur, terwijl autonome agenten geschikt kunnen zijn voor exploratieve prototyping.
Duurzaamheid is niet gelijk aan robuustheid; code kan voortbestaan simpelweg omdat het zich in gebieden met lage activiteit bevindt of moeilijk te begrijpen is.

Het paper benadrukt dat toekomstige evaluatie van AI-code verder moet gaan dan generatietijd-metrieken en ook longitudinale studies naar post-deployment evolutie moet omvatten.