The Impact of Large Language Models on Open-source Innovation: Evidence from GitHub Copilot
Diese Studie nutzt den gestaffelten Rollout von GitHub Copilot über Programmiersprachen hinweg als natürliches Experiment, um nachzuweisen, dass Large Language Models zwar Open-Source-Beiträge erheblich steigern, jedoch unverhältnismäßig stark inkrementelle Code-Wartung gegenüber substanzieller Innovation begünstigen und damit kollaborative Bemühungen von der Erkundung neuer Funktionalitäten hin zur Ausbeutung bestehender Codebasen verschieben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Open-Source-Software als eine riesige, geschäftige Stadt vor, in der Tausende von Freiwilligen gemeinsam öffentliche Parks, Bibliotheken und Straßen bauen. Niemand ist der Chef; jeder wählt seine eigenen Aufgaben basierend darauf, worauf er Lust hat oder was er für reparaturbedürftig hält.
Diese Arbeit stellt eine einfache Frage: Was passiert, wenn man diesen Freiwilligen einen superintelligenten KI-Assistenten (genannt GitHub Copilot) gibt, um ihnen beim Schreiben von Code zu helfen?
Die Forscher haben nicht einfach nur geraten; sie richteten ein cleveres „natürliches Experiment" ein, um es herauszufinden.
Das große Sprachexperiment
Stellen Sie sich zwei Gruppen von Freiwilligen vor, die ähnliche Arten von Tools entwickeln:
- Gruppe A (Python): Sie erhalten einen neuen, superintelligenten KI-Assistenten, der ihnen hilft, Code sofort zu schreiben.
- Gruppe B (R): Sie erhalten den KI-Assistenten noch nicht (aufgrund einer geschäftlichen Entscheidung des Unternehmens, nicht weil die Freiwilligen unterschiedlich waren).
Da sich die beiden Gruppen ansonsten sehr ähnlich waren, konnten die Forscher sie vergleichen, um genau zu sehen, was die KI verändert hat. Sie untersuchten über eine Million Code-Updates (sogenannte „Commits"), um zu sehen, ob die KI die Menschen dazu brachte, mehr zu arbeiten, und welche Art von Arbeit sie verrichteten.
Die zwei Arten von Arbeit
Um die Ergebnisse zu verstehen, teilten die Forscher die Arbeit in zwei Kategorien ein, wie zwei verschiedene Arten des Kochens:
- Der „Verfeiner" (Inkrementelle Innovation): Dies ist wie das Nehmen eines bestehenden Rezepts und das leichte Verbessern. Vielleicht fügen Sie eine Prise Salz hinzu, korrigieren einen Tippfehler in den Anweisungen oder lassen das Gericht besser aussehen. Das Problem ist bereits definiert; Sie müssen nur die Korrektur ausführen.
- Beispiel: Einen Fehler beheben, der dazu führt, dass ein Diagramm in Schwarz-Weiß gedruckt wird.
- Der „Erfinder" (Substantive Innovation): Dies ist wie das Erschaffen eines brandneuen Gerichts von Grund auf. Sie müssen entscheiden, was Sie kochen, die Zutaten herausfinden und das Rezept selbst erstellen. Das Problem ist noch nicht definiert; Sie müssen die Lösung erfinden.
- Beispiel: Hinzufügen einer völlig neuen Funktion zu einem Daten-Tool, die es zuvor nicht gab.
Was ist passiert?
Die Forscher fanden drei Hauptdinge heraus:
1. Die KI ließ alle schneller arbeiten (Mehr Volumen)
Als die Python-Gruppe den KI-Assistenten erhielt, begannen sie, 28 % bis 40 % mehr Code beizusteuern als die Gruppe ohne ihn. Es ist wie einem Bauunternehmen Elektrowerkzeuge zu geben; sie bauten in der gleichen Zeit mehr Häuser.
2. Die KI liebte das „Verfeinern" mehr als das „Erfinden" (Die Verschiebung der Zusammensetzung)
Hier kommt die Wendung. Während die KI bei beiden Arten von Arbeit half, half sie beim Verfeinern (Fehler beheben, Code bereinigen) viel mehr als beim Erfinden (neue Funktionen erstellen).
- Warum? Die KI ist wie ein Super-Kopierer, der aus dem Bestehenden lernt. Wenn Sie ihm ein bestehendes Rezept geben, kann er schnell eine Prise Salz oder einen besseren Weg zum Hacken von Zwiebeln vorschlagen. Aber wenn Sie ihn bitten, eine brandneue Küche von Grund auf zu erfinden, hat er Schwierigkeiten, weil er noch kein Muster zum Kopieren hat. Die KI funktioniert am besten, wenn das „Problem" bereits klar ist und die „Lösung" nur eine kleine Anpassung erfordert.
3. Die Lücke wurde größer, als die KI intelligenter wurde
Die Forscher beobachteten, was passierte, als die KI Mitte 2022 aktualisiert wurde. Die KI wurde noch besser im Verstehen von Kontext.
- Das Ergebnis: Die Lücke zwischen „Verfeinern" und „Erfinden" schrumpfte nicht; sie vergrößerte sich. Als die KI intelligenter wurde, wurde sie noch besser darin, bei routinemäßigen Reparaturen und Wartungsarbeiten zu helfen, aber sie konnte den menschlichen Funken, der nötig ist, um völlig neue Dinge zu erfinden, immer noch nicht ganz ersetzen.
Das große Ganze
Die Arbeit kommt zu dem Schluss, dass KI zwar ein fantastisches Werkzeug ist, um die Wartung und Verbesserung bestehender Software zu beschleunigen, aber sie Freiwillige versehentlich von der harten, kreativen Arbeit des Erfindens neuer Dinge ablenken könnte.
Stellen Sie es sich so vor: Wenn Sie den Freiwilligen einer Stadt einen magischen Besen geben, der Straßen sofort kehrt, werden sie viele Straßen kehren. Aber sie könnten aufhören, Zeit damit zu verbringen, neue Parks zu entwerfen oder neue Spiele zu erfinden, weil der Besen so gut beim Kehren ist, dass es sich einfacher anfühlt, immer wieder zu kehren.
Die Autoren schlagen vor, dass Open-Source-Communities, um weiterhin zu innovieren, möglicherweise spezielle Belohnungen oder Anreize speziell für die „Erfinder" schaffen müssen, um sicherzustellen, dass sie nicht in der Flut einfacher, KI-gestützter „Verfeinerungen" untergehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.