The Impact of Large Language Models on Open-source Innovation: Evidence from GitHub Copilot
Dit artikel maakt gebruik van de gefaseerde lancering van GitHub Copilot over programmeertalen als een natuurlijk experiment om aan te tonen dat Large Language Models, hoewel ze bijdragen aan open-source aanzienlijk stimuleren, disproportioneel de voorkeur geven aan incrementeel codeonderhoud ten opzichte van substantiële innovatie, waardoor de samenwerking verschuift naar het benutten van bestaande codebases in plaats van het verkennen van nieuwe functionaliteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van open-source software voor als een enorme, bruisende stad waar duizenden vrijwilligers samen publieke parken, bibliotheken en wegen bouwen. Niemand is de baas; iedereen kiest zijn eigen taken op basis van wat hij of zij leuk vindt om te doen of wat er volgens hen gerepareerd moet worden.
Dit artikel stelt een simpele vraag: Wat gebeurt er als je deze vrijwilligers een superintelligente AI-assistent (genaamd GitHub Copilot) geeft om hen te helpen bij het schrijven van code?
De onderzoekers deden niet zomaar een gok; ze richtten een slim 'natuurlijk experiment' op om dit uit te vinden.
Het Grote Taal-experiment
Stel je twee groepen vrijwilligers voor die vergelijkbare soorten tools bouwen:
- Groep A (Python): Zij krijgen een nieuwe, superintelligente AI-assistent die hen direct helpt bij het schrijven van code.
- Groep B (R): Zij krijgen de AI-assistent nog niet (door een zakelijke beslissing van het bedrijf, niet omdat de vrijwilligers anders waren).
Omdat de twee groepen verder zeer vergelijkbaar waren, konden de onderzoekers ze met elkaar vergelijken om precies te zien wat de AI veranderde. Ze keken naar meer dan een miljoen code-updates (zogenaamde 'commits') om te zien of de AI mensen harder liet werken, en wat voor soort werk ze deden.
De Twee Soorten Werk
Om de resultaten te begrijpen, splitsten de onderzoekers het werk in twee categorieën, zoals twee verschillende manieren van koken:
- De 'Verfijner' (Incrementele Innovatie): Dit is als het nemen van een bestaand recept en het iets beter maken. Misschien voeg je een snufje zout toe, corrigeer je een typefout in de instructies of maak je het gerecht er mooier uit. Het probleem is al gedefinieerd; je hoeft alleen de oplossing uit te voeren.
- Voorbeeld: Een bug oplossen waardoor een grafiek in zwart-wit wordt afgedrukt.
- De 'Uitvinder' (Substantiële Innovatie): Dit is als het bedenken van een compleet nieuw gerecht van nul af aan. Je moet beslissen wat je gaat koken, de ingrediënten uitzoeken en het recept zelf creëren. Het probleem is nog niet gedefinieerd; je moet de oplossing zelf uitvinden.
- Voorbeeld: Een volledig nieuwe functie toevoegen aan een data-tool die er eerder niet was.
Wat gebeurde er?
De onderzoekers vonden drie belangrijke dingen:
1. De AI liet iedereen sneller werken (Meer Volume)
Toen de Python-groep de AI-assistent kreeg, begonnen ze 28% tot 40% meer code bij te dragen dan de groep zonder. Het is alsof je een bouwteam elektrisch gereedschap geeft; ze bouwden meer huizen in dezelfde hoeveelheid tijd.
2. De AI hield meer van 'Verfijnen' dan van 'Uitvinden' (De Samenstellingsverschuiving)
Hier komt de draai. Hoewel de AI hielp bij beide soorten werk, hielp het veel meer bij Verfijnen (bugs oplossen, code opruimen) dan bij Uitvinden (nieuwe functies creëren).
- Waarom? De AI is als een superfotokopieermachine die leert van wat er al bestaat. Als je haar een bestaand recept geeft, kan ze snel een snufje zout of een betere manier om uien te snijden suggereren. Maar als je haar vraagt een compleet nieuwe keuken van nul af aan uit te vinden, heeft ze moeite omdat ze nog geen patroon heeft om te kopiëren. De AI werkt het beste wanneer het 'probleem' al duidelijk is en de 'oplossing' slechts een kleine aanpassing is.
3. De Kloof Groeide naarmate de AI Slimmer werd
De onderzoekers keken wat er gebeurde toen de AI halverwege 2022 werd geüpgraded. De AI werd nog beter in het begrijpen van context.
- Het Resultaat: De kloof tussen 'Verfijnen' en 'Uitvinden' werd niet kleiner; hij vergrotte. Naarmate de AI slimmer werd, werd hij nog beter in het helpen bij routinematige reparaties en onderhoud, maar hij kon nog steeds niet de menselijke vonk vervangen die nodig is om volledig nieuwe dingen uit te vinden.
Het Grote Plaatje
Het artikel concludeert dat AI, hoewel het een fantastisch hulpmiddel is om het onderhoud en de verbetering van bestaande software te versnellen, vrijwilligers per ongeluk kan afleiden van het moeilijke, creatieve werk van het uitvinden van nieuwe dingen.
Stel het je zo voor: Als je de vrijwilligers van een stad een magische bezem geeft die straten direct veegt, zullen ze veel straten vegen. Maar ze stoppen misschien met het besteden van tijd aan het ontwerpen van nieuwe parken of het uitvinden van nieuwe spellen, omdat de bezem zo goed is in het vegen dat het makkelijker voelt om gewoon weer en weer te vegen.
De auteurs suggereren dat open-source gemeenschappen om te blijven innoveren, misschien speciale beloningen of prikkels moeten creëren die specifiek zijn voor de 'Uitvinders', om ervoor te zorgen dat ze niet verloren gaan in de zee van gemakkelijke, door AI ondersteunde 'Verfijning'.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.