Beyond the Commit: Developer Perspectives on Productivity with AI Coding Assistants
Diese Mixed-Methods-Studie bei BNY Mellon, die 2.989 Umfrageantworten und 11 Interviews umfasst, argumentiert, dass die Bewertung von KI-gestützten Programmierassistenten einen ganzheitlichen, facettenreichen Ansatz erfordert, der langfristige, menschenzentrierte Faktoren wie technische Expertise und Arbeitsverantwortung einbezieht, anstatt sich ausschließlich auf traditionelle kurzfristige Produktivitätsmetriken zu verlassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie leiten ein riesiges Bauunternehmen. Jahrelang haben Sie die Produktivität Ihrer Bauarbeiter gemessen, indem Sie gezählt haben, wie viele Ziegel sie pro Stunde legen oder wie viele Wände sie pro Tag fertigstellen. Doch vor kurne erst haben Sie jedem Bauarbeiter einen magischen Roboter-Assistenten an die Hand gegeben, der sofort den nächsten Ziegel vorschlagen, die Baupläne schreiben und sogar Fehler korrigieren kann.
Jetzt sind Sie verwirrt. Die Roboter sind beliebt, aber machen sie das Unternehmen tatsächlich schneller? Und wenn sie es tun, bedeutet „schneller“ dann dasselbe wie früher?
Dieses Papier ist wie eine tiefgreifende Untersuchung von einem Team aus Forschern (von der Carnegie Mellon University und BNY Mellon), die mit fast 3.000 dieser „Bauarbeiter“ (Softwareentwickler) gesprochen haben, um herauszufinden, wie man Erfolg im Zeitalter dieser KI-Roboter misst.
Hier ist die Geschichte dessen, was sie herausgefunden haben, unterteilt in einfache Teile:
1. Die große Verwirrung: Glücklich vs. Schnell
Die Forscher stellten zuerst eine einfache Frage: „Sind Sie mit Ihrem Roboter-Assistenten zufrieden?“ und „Wie viel Zeit spart er Ihnen?“
- Das Ergebnis: Die meisten Entwickler sagten: „Ja, ich liebe den Roboter! Er macht meinen Tag leichter.“ (86 % waren zufrieden).
- Die Wendung: Aber als die Frage gestellt wurde: „Wie viel Zeit haben Sie gespart?“, sagten die meisten: „Nicht viel. Vielleicht 30 Minuten pro Woche.“
Die Analogie: Stellen Sie sich vor, Sie haben ein superschnelles Auto, das Sie in 5 Minuten zur Arbeit bringt, aber Sie verbringen 45 Minuten im Stau. Sie lieben das Auto vielleicht, weil es Spaß macht und zuverlässig ist, aber Sie kommen nicht schneller zur Arbeit als zuvor. Die Studie fand heraus, dass Entwickler das Gefühl, den KI-Assistenten zu nutzen, lieben, dies sich aber nicht immer in großen Zeitersparnissen niederschlägt. Dies beweist, dass man nicht nur eine einzige Kennzahl (wie „gesparte Zeit“) verwenden kann, um zu beurteilen, ob das Werkzeug funktioniert.
2. Die sechs neuen Regeln des Spiels
Da die alte Art des Zählens (Ziegel pro Stunde) nicht mehr funktioniert, interviewten die Forscher 11 Entwickler, um neue Wege zu finden, Erfolg zu messen. Sie fanden sechs unterschiedliche Faktoren, die wichtig sind, und gruppierten diese in drei Projektphasen:
Phase A: Während des Bauens (Das „Im-Moment-Gefühl“)
- Selbstgenügsamkeit (Die „Do-it-yourself“-Superkraft):
- Früher: Wenn ein Bauarbeiter nicht wusste, wie man ein undichtes Rohr repariert, musste er aufhören, einen erfahrenen Experten rufen oder in einer riesigen Bibliothek von Handbüchern suchen.
- Heute: Der Roboter flüstert ihm die Antwort direkt ins Ohr. Er fühlt sich wie ein Superheld, der Probleme lösen kann, ohne seinen Schreibtisch zu verlassen.
- Frustration & Mentale Belastung (Der „Mentale Tauziehkampf“):
- Der Haken: Der Roboter ist nicht perfekt. Manchmal schlägt er eine Lösung vor, die richtig aussieht, aber eigentlich falsch ist. Der Entwickler muss innehalten, intensiv nachdenken und alles doppelt und dreifach prüfen. Dies kann ihn sogar müder und frustrierter machen, selbst wenn er schneller tippt.
Phase B: Die Übergabe der Schlüssel (Der Team-Check)
- Aufgabenerfüllungsgeschwindigkeit (Der „Durchsatz“-Check):
- Dies ist die klassische Kennzahl: Wie schnell haben wir den Job erledigt? Die Studie fand heraus, dass die KI zwar hilft, dies aber nicht unbedingt bedeutet, dass die Arbeit schneller erledigt wird. Manchmal bedeutet es nur, dass die Arbeit mit weniger Aufwand erledigt wird, aber die Zeitersparnis ist gering.
- Peer-Review (Die „Sicherheitsinspektion“):
- Früher hat ein erfahrener Bauarbeiter die Arbeit eines Juniors überprüft. Jetzt, wenn der Junior den Roboter nutzt, muss der Senior fragen: „Hast du das geschrieben oder der Roboter?“ Wenn der Roboter es geschrieben hat, muss der Senior zusätzliche Zeit aufwenden, um den Code zu verstehen, um sicherzustellen, dass er sicher ist. Manchmal lässt der Roboter den Code „zu perfekt“ oder verwirrend erscheinen, was die Sicherheitsprüfung erschwert.
Phase C: Die Langstrecke (Die Zukunft des Bauarbeiters)
- Technische Expertise (Die „Lernkurve“):
- Das Risiko: Wenn ein Junior-Bauarbeiter den Roboter übernimmt, das ganze Denken für ihn zu erledigen, lernt er vielleicht nie, wie man ein undichtes Rohr selbst repariert. Er wird vielleicht gut darin, Knöpfe zu drücken, aber schlecht darin, die Sanitäranlagen zu verstehen. Die Studie warnt davor, dass wir – wenn wir nicht vorsichtig sind – eine Generation von Entwicklern erschaffen könnten, die ohne den Roboter nicht arbeiten können.
- Ownership (Der „Stolz der Schöpfung“):
- Das Gefühl: Entwickler lieben es zu sagen: „Ich habe das gebaut.“ Wenn der Roboter 90 % des Codes geschrieben hat, fühlen sie sich dann noch stolz? Fühlen sie sich auch verantwortlich, wenn etwas kaputt geht? Die Studie fand heraus, dass Entwickler besorgt sind, dass sie – wenn sie den Code nicht selbst geschrieben haben – keine tiefe Verbindung dazu aufbauen und deshalb langsamer reagieren könnten, wenn er später einmal bricht.
3. Es kommt darauf an, was man tut
Die Forscher fanden auch heraus, dass die KI je nach Aufgabe unterschiedlich hilft:
- Etwas Neues bauen: Der Roboter ist großartig darin, einen Vorsprung zu verschaffen, aber man muss vorsichtig sein, nicht einfach blind zu kopieren und einzufügen.
- Alten Code reparieren: Hier hat der Roboter Schwierigkeiten, weil er viel Kontext benötigt. Es ist, als würde man versuchen, ein 50 Jahre altes Haus mit einem Roboter zu reparieren, der nur weiß, wie man neue Häuser baut.
- Handbücher oder Tests schreiben: Hier glänzt der Roboter. Es ist, als hätte man einen Roboter, der augenblicklich die Bedienungsanleitung für das Haus schreibt, das man gerade eben gebaut hat. Das spart am meisten Zeit.
Das Fazit
Das Papier kommt zu dem Schluss, dass wir aufhören müssen, nach einer einzigen „magischen Zahl“ zu suchen, um die Produktivität zu messen.
Die Analogie: Stellen Sie sich vor, Sie versuchen, das Geschick eines Kochs zu beurteilen, indem Sie lediglich zählen, wie viele Teller er serviert. Wenn er einen Roboter zum Gemüsehacken benutzt, serviert er vielleicht mehr Teller, aber wenn der Roboter das Essen schlecht schmecken lässt oder der Koch vergisst, wie man kocht, scheitert das Restaurant langfristig.
Um wirklich zu verstehen, ob KI-Coding-Assistenten helfen, müssen wir das Gesamtbild betrachten:
- Sind die Entwickler zufrieden?
- Lernen sie oder kopieren sie nur?
- Fühlen sie sich für den Code verantwortlich?
- Überprüft das Team die Arbeit effektiv?
Die Autoren sagen, wir brauchen eine „ganzheitliche“ Sichtweise – eine ausgewogene Bewertung, die die menschliche Erfahrung und das langfristige Wachstum wertschätzt, nicht nur die Geschwindigkeit des Outputs.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.