GitHub Copilot and Developer Productivity: An Observational Dose-Response Analysis
Unter Verwendung von 16.223 Microsoft-Ingenieuren über 43 Wochen und eines Designs mit festen Effekten pro Ingenieur zur Kontrolle von individueller Geschicklichkeit und Anstrengung stellt diese Studie fest, dass die Nutzung von GitHub Copilot mit einer monotonen, 40,5 %igen Steigerung der Abschlussraten von Pull Requests bei gleicher Codierungszeit assoziiert ist, was auf einen echten Effizienzgewinn statt einer bloßen Korrelation mit inhärent geschäftigeren Arbeitsphasen hindeutet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein neues Paar High-Tech-Laufschuhe Menschen tatsächlich schneller rennen lässt.
Der offensichtliche Weg, dies zu testen, wäre der Vergleich zweier Gruppen: Menschen, die die Schuhe tragen, und Menschen, die normale Sneaker tragen. Aber hier liegt das Problem: Vielleicht sind die Menschen, die sich für die High-Tech-Schuhe entscheiden, bereits Profisportler, während die Sneaker-Träger Gelegenheitsjogger sind. Wenn die Schuh-Träger schneller laufen, liegt es dann an den Schuhen oder einfach daran, dass sie von vornherein bessere Läufer sind?
Dies ist genau das Rätsel, mit dem Microsoft-Forscher bei GitHub Copilot konfrontiert waren, einem KI-Tool, das Softwareentwickler beim Schreiben von Code unterstützt. Sie wollten wissen: Erhöht die Nutzung der KI tatsächlich die Produktivität von Ingenieuren, oder sind die Ingenieure, die sie am häufigsten nutzen, einfach von Natur aus produktivere Menschen?
Noch schlimmer ist eine zweite Ebene der Verwirrung. Vielleicht nutzt ein Ingenieur die KI in einer bestimmten Woche besonders intensiv, nicht weil die KI magisch ist, sondern weil diese Woche eine „Crunch-Time“ war, in der er 80 Stunden pro Woche gearbeitet hat. In diesem Fall würde er mehr Arbeit (Pull Requests) erledigen, schlichtweg weil er länger gearbeitet hat, und nicht, weil die KI ihm geholfen hat, schneller zu arbeiten.
Die Lösung: Das „Selbstvergleichs“-Experiment
Da die Forscher nicht willkürlich einige Ingenieure dazu zwingen konnten, die Nutzung des Tools einzustellen (was unethisch wäre und ihre Arbeit stören würde), nutzten sie einen klugen Trick namens „Within-Engineer“-Analyse (Innerhalb-des-Ingenieurs-Analyse).
Denken Sie an Folgendes: Anstatt Ingenieur A (der KI nutzt) mit Ingenieur B (der sie nicht nutzt) zu vergleichen, verglichen sie Ingenieur A mit sich selbst.
Sie betrachteten denselben Ingenieur über einen Zeitraum von 43 Wochen.
- Woche 1: Der Ingenieur nutzte die KI kaum.
- Woche 2: Der Ingenieur nutzte die KI intensiv.
Durch den Vergleich des Ingenieurs mit sich selbst eliminierten sie automatisch all die Faktoren, die Ingenieur A von Ingenieur B unterscheiden (wie natürliches Talent, Jobrolle oder Teamkultur). Die Frage lautete: „Wenn dieser spezifische Mensch die KI intensiver nutzt, erledigt er dann im Vergleich zu Zeiten, in denen er sie weniger nutzt, mehr Arbeit?“
Der „Effizienz“-Test: Haben sie härter oder smarter gearbeitet?
Es gab noch eine knifflige Variable: Anstrengung.
Wenn ein Ingenieur die KI viel nutzt, sitzt er vielleicht auch einfach 10 statt 5 Stunden vor dem Computer und codet. Wenn er mehr Arbeit erledigt, liegt es vielleicht einfach daran, dass er mehr Zeit am Schreibtisch verbracht hat.
Um dies zu korrigieren, nutzten die Forscher einen statistischen „Filter“ (ein Modell namens PPML), der die Zeit, die mit Codieren verbracht wurde, konstant hielt.
- Die Frage: „Wenn Ingenieur A exakt 8 Stunden codiert, erledigt er dann mehr Code, wenn er die KI intensiv nutzt, im Vergleich zu den Wochen, in denen er sie nicht nutzt?“
Das Ergebnis: Ja. Selbst wenn die Zeit, die mit Codieren verbracht wurde, exakt gleich war, schlossen Ingenieure, die die KI intensiv nutzten, etwa 40 % mehr Code-Projekte (Pull Requests) ab als in den Wochen, in denen sie die KI gar nicht nutzten.
Die „Falsifikations“-Batterie: Ausreden ausschließen
Die Forscher wussten, dass Skeptiker andere Gründe für dieses Ergebnis anführen würden. Deshalb führten sie sieben verschiedene „Lügendetektor“-Tests durch, um zu sehen, ob die Ergebnisse nur ein Zufall waren.
Der „Generische KI“-Test: Vielleicht sind Ingenieure, die viel KI nutzen, einfach generell „technikaffin“ und nutzen auch andere KI-Tools (wie in Word oder Excel), was ihnen das Gefühl gibt, produktiver zu sein?
- Test: Sie prüften, ob die Nutzung von KI in Nicht-Coding-Apps (wie PowerPoint) mehr Code vorhersagte.
- Ergebnis: Nein. Die Nutzung von KI in Word half nicht beim Schreiben von Code. Es war spezifisch die Coding-KI, die den Unterschied machte.
Der „Team-Hype“-Test: Vielleicht war das ganze Team in einer „Hype-Woche“, sodass alle die KI nutzten und alle mehr Code schrieben?
- Test: Sie prüften, ob der KI-Verbrauch eines Ingenieurs den Code-Output seiner Kollegen vorhersagte.
- Ergebnis: Nein. Wenn es nur Team-Hype gewesen wäre, sollte Ihre KI-Nutzung auch den Output Ihres Nachbarn vorhersagen. Das tat sie nicht.
Der „Aufgabenwechsel“-Test: Vielleicht hörten Ingenieure in KI-intensiven Wochen einfach auf, den Code anderer zu überprüfen, und konzentrierten sich stattdessen ganz auf das Schreiben ihres eigenen Codes?
- Test: Sie prüften, ob das Schreiben von mehr Code bedeutete, dass weniger Code überprüft wurde.
- Ergebnis: Nein. Ingenieure schrieben mehr Code UND überprüften (reviewten) mehr Code, wenn sie die KI nutzten. Sie tauschten Aufgaben nicht einfach aus; sie erledigten mehr von allem.
Der „Slicing“-Test: Vielleicht haben Ingenieure große Projekte einfach in winzige, leichte Stücke zerlegt, um die Zahlen gut aussehen zu lassen?
- Test: Sie untersuchten die Größe der Code-Projekte.
- Ergebnis: Nein. Der größte Zuwachs trat tatsächlich bei den größten, komplexesten Projekten (7+ Dateien) auf, nicht bei den winzigen.
Der „Leichte-Arbeit“-Test: Vielleicht machten sie nur einfache Papierarbeiten (wie das Aktualisieren von Textdateien) anstatt harter Programmierung?
- Test: Sie unterschieden zwischen „leichten“ Konfigurationsdateien und „harten“ Code-Dateien.
- Ergebnis: Nein. Der Produktivitätszuwachs war bei den harten Code-Dateien sogar stärker.
Der „Timing“-Test: Vielleicht war die KI-Nutzung in Woche 1 nur ein Zeichen für eine „produktive Stimmung“, die in Woche 2 anhielt?
- Test: Sie prüften, ob die KI-Nutzung der Vorwoche den Output der aktuellen Woche vorhersagte.
- Ergebnis: Nein. Der Boost trat nur in der exakten gleichen Woche auf, in der die KI genutzt wurde.
Das Fazit
Die Studie kommt zu dem Schluss, dass GitHub Copilot Ingenieure tatsächlich effizienter macht.
Wenn ein Ingenieur das Tool intensiver nutzt, erledigt er etwa 40 % mehr Arbeit in der gleichen Zeit. Es ist nicht nur so, dass produktive Menschen das Tool nutzen; das Tool selbst scheint als Kraftverstärker zu wirken, der Ingenieuren hilft, mehr zu erreichen, ohne dass sie länger arbeiten müssen.
Die Forscher weisen jedoch vorsorglich darauf hin: Diese Studie misst die Effizienz (mehr erledigen pro Stunde). Sie misst nicht die gesamte Zeitersparnis. Wenn die KI Ihnen hilft, eine Aufgabe in 30 Minuten statt in einer Stunde zu erledigen, steigt Ihre „Effizienz“, aber Sie hören vielleicht auch einfach früher auf zu arbeiten. Die Studie beweist, dass die Geschwindigkeit steigt, sagt uns aber nicht genau, wie Ingenieure die gewonnene Zeit verbringen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.