Developers' Experience with Generative AI Beyond Productivity Assessment -- Insights from an Empirical Mixed-Methods Field Study
Diese Mixed-Methods-Feldstudie zeigt auf, dass professionelle Entwickler generative KI-Tools zwar im Allgemeinen als vorteilhaft für repetitive Aufgaben empfinden und Produktivitätssteigerungen berichten, die Effektivität spezifischer Interaktionsmodi (In-Code-Vorschläge vs. Chat) jedoch je nach Komplexität der Aufgabe variiert, wobei die Kombination beider Modi bei entwicklungsintensiver Arbeit oft die Vorteile verringert und die kognitive Belastung erhöht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Softwareentwickler als Sterneköche in einer geschäftigen Küche vor. Jahrelang haben sie Gemüse gehackt, Pfannen geschwenkt und Gerichte angerichtet – alles rein von Hand. Vor kurzem wurde ein neuer „intelligenter Sous-Chef“ (Generative KI) eingeführt, um ihnen zu helfen. In dieser Arbeit geht es nicht nur darum, wie viel schneller die Küche arbeitet; es geht darum, wie sich die Köche bei der Arbeit mit diesem neuen Assistenten fühlen, welche Art von Hilfe sie sich tatsächlich wünschen und ob der Assistent ihnen manchmal im Weg steht.
Hier ist eine Aufschlüsselung der Studienergebnisse in verständlichem Deutsch:
Der Aufbau: Ein viertägiges „Küchen“-Experiment
Forscher luden 22 professionelle Softwareentwickler (die Köche) von SAP ein, vier Tage lang mit einem speziellen KI-Tool namens GitHub Copilot zu arbeiten.
- Die „kontrollierten“ Tage: Zwei Tage glichen einem Kochwettbewerb. Den Köchen wurden spezifische, vorgegebene Rezepte (Coding-Aufgaben) gegeben, die sie in einer Laborumgebung lösen mussten, während die Forscher jeden ihrer Schritte beobachteten, ihren Stress missten und ihre Bildschirmaktivität aufzeichneten.
- Die „echten Leben“-Tage: Zwei Tage waren ganz normaler Arbeitsalltag. Die Köche kehrten in ihre gewöhnliche Küche zurück, taten das, was sie normalerweise tun, führten aber ein Tagebuch darüber, was sie taten und wie hilfreich die KI war.
Was die Köche vor dem Experiment dachten
Vor der Studie standen die Köche der Idee des intelligenten Sous-Chefs grundsätzlich positiv gegenüber.
- Das Gute: Sie empfanden die KI als großartigen Helfer für langweilige, repetitive Aufgaben wie das Hacken von Gemüse (Schreiben von Boilerplate-Code) oder das Aufräumen des Arbeitsplatzes (Schreiben von Unit-Tests). Es gab ihnen das Gefühl, produktiver zu sein und weniger erschöpft zu sein.
- Das Schlechte: Sie waren sich unsicher, ob die KI die Arbeit erfüllender machte. Tatsächlich hatten einige das Gefühl, dass sie, weil die KI die „lustigen“, kreativen Teile übernahm, weniger zufrieden mit ihrem Job waren.
- Die Angst: Sie sorgten sich, dass die KI Fehler machen könnte (wie ein verbranntes Gericht zu servieren) oder dass sie das Kochen von Grund auf verlernen könnten, wenn sie sich zu sehr auf sie verlassen würden.
Die große Entdeckung: Nicht mitten in der Aufgabe das Werkzeug wechseln
Die überraschendste Erkenntnis betraf das Wie die Köche die KI nutzten. Die KI bot zwei Hauptwege der Interaktion an:
- Der „Autocomplete“-Modus: Die KI flüstert Vorschläge direkt neben dem Code ein, während man tippt (wie ein Sous-Chef, der einem die nächste Zutat reicht, noch bevor man danach fragt).
- Der „Chat“-Modus: Man unterbricht das Tippen und führt ein Gespräch mit der KI in einem separaten Fenster, um nach einem kompletten Rezept zu fragen oder ein komplexes Problem zu erklären.
Die Faustregel:
- Wenn man eine einfache, repetitive Aufgabe erledigt (wie das Schreiben einer Standardfunktion), nutzt man den Autocomplete-Modus. Das ist schnell und hält einen im Arbeitsfluss.
- Wenn man eine komplexe Aufgabe erledigt (wie das Debuggen einer defekten Maschine oder das Brainstorming für ein neues Menü), nutzt man den Chat-Modus. Dieser liefert das große Ganze und Erklärungen.
Die Falle: Die Studie fand heraus, dass Köche, die versuchten, beide Modi für dieselbe Aufgabe zu nutzen – also ständig zwischen dem Flüstern von Vorschlägen und einem Chat-Gespräch hin- und herzuwechseln –, tatsächlich langsamer wurden und sich gestresster fühlten, als wenn sie die KI gar nicht benutzt hätten. Es war, als würde man versuchen, gleichzeitig Radio zu hören und mit einem Freund zu sprechen, während man kocht; man wird einfach verwirrt und lässt den Löffel fallen.
Die Überraschung beim „Mental Load“
Man könnte denken, dass die Arbeit eines Kochs geistig leichter wird, wenn er einen Helfer hat. Überraschenderweise stellte die Studie fest, dass Entwickler bei ihren schwierigsten Aufgaben eine höhere mentale Belastung (kognitive Last) verspürten, obwohl sie die Arbeit im gleichen Tempo abschlossen.
Warum? Weil die Nutzung der KI eine neue Ebene der Arbeit hinzufügt: Man muss lesen, was die KI geschrieben hat, prüfen, ob es richtig ist, und es korrigieren, falls es falsch ist. Es ist, als würde einem Sous-Chef eine vorgeschnittene Zwiebel reichen, aber man muss sie trotzdem kontrollieren, um sicherzustellen, dass sie nicht verfault ist. Wenn die „Hilfe“ der KI gut ist, fühlt sich der Koch produktiv. Wenn die Hilfe schlecht ist, fühlt er sich einfach so, als würde er Mehrarbeit leisten.
Die Zukunft der Küche
Die Köche sind offen für den Einsatz dieser neuen Technologie, haben aber eine klare Vision ihrer zukünftigen Rollen:
- Die KI wird die langweiligen, repetitiven und zeitaufwendigen Aufgaben übernehmen (Hacken, Reinigen, Grundvorbereitung).
- Der menschliche Koch konzentriert sich auf die anspruchsvolleren Dinge: das Entwerfen der Speisekarte, das Verständnis des Kundengeschmacks und die Sicherstellung, dass das fertige Gericht sicher und köstlich ist.
Sie sorgen sich jedoch, dass sie durch zu viel Abhängigkeit von der KI ihr eigenes „Muskelgedächtnis“ beim Kochen verlieren könnten. Zudem merkten sie an, dass sie zwar Tipps bei der KI schneller abfragen als bei ihren menschlichen Kollegen, aber bei wirklich schwierigen Problemen immer noch ihren menschlichen Teamkollegen mehr vertrauen.
Das Fazit
Die Studie kommt zu dem Schluss, dass KI ein mächtiges Werkzeug ist, aber kein Zauberstab. Um das Beste aus ihr herauszuholen, müssen Entwickler gezielt vorgehen:
- Wählen Sie den richtigen „Modus“ für die Aufgabe (Autocomplete für Einfaches, Chat für Komplexes).
- Wechseln Sie nicht ständig zwischen den Modi hin und her, sonst werden Sie nur müde.
- Denken Sie daran, dass die KI ein Helfer ist, kein Ersatz für menschliches Urteilsvermögen.
Indem sie die KI als ein spezifisches Werkzeug und nicht als ständigen Begleiter behandeln, können Entwickler ihren Stress niedrig und ihre Produktivität hoch halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.