Usage, Effects and Requirements for AI Coding Assistants in the Enterprise: An Empirical Study
Diese Arbeit präsentiert eine empirische Studie, die 57 Entwickler befragt und 35 bestehende Umfragen analysiert, um die Bereitschaft, die Auswirkungen und die Anforderungen von KI-gestützten Coding-Assistenten und CodeLLMs für die Softwareentwicklung in Unternehmen zu bewerten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Chefkoch in einer riesigen, hochkarätigen Küche (dem Unternehmen). Jahrelang mussten Sie jedes Gemüse selbst schneiden, jedes Gewürz abmessen und jedes Rezept von Grund auf neu schreiben. Dann kommt ein neuer Küchenassistent an: ein KI-Coding-Assistent. Es ist wie ein superintelligenter Sous-Chef, der Ihnen sofort Rezepte vorschlagen, Gemüse in Blitzgeschwindigkeit schneiden und sogar das Menü für Sie schreiben kann.
Dieses Papier ist ein Zeugnis darüber, wie gut dieser neue Sous-Chef tatsächlich in realen Unternehmensküchen arbeitet. Die Autoren (Forscher von IBM) haben den Assistenten nicht nur bei der Arbeit beobachtet; sie haben 57 echte Köche (Entwickler) aus verschiedenen Abteilungen (Finanzen, Forschung, Vertrieb) gefragt, wie sie ihn empfinden. Sie haben sich auch 3 und 35 andere Berichte aus der ganzen Welt angesehen, um das Gesamtbild zu erfassen.
Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einfacher Analogien:
1. Der „Geschwindigkeit vs. Qualität“-Trade-off
Die Behauptung: Die meisten Köche fühlen sich schneller. Etwa 88 % der Entwickler sagten, dass die KI sie produktiver gemacht hat. Einige sagten, sie seien doppelt so schnell.
Die Analogie: Es ist wie ein Akkuschrauber statt eines Handschraubendrehers. Man kann Regale in der Hälfte der Zeit anbringen. Aber nur weil man ein Loch schnell bohren kann, heißt das nicht, dass das Regal perfekt gerade ist. Das Papier stellt fest, dass zwar die Geschwindigkeit gestiegen ist, aber gleichzeitig Sorgen bestehen, ob der Code (das Regal) sicher und später leicht zu reparieren ist. Einige Köche sind so sehr von dem Akkuschrauber überzeugt, dass sie vergessen zu prüfen, ob die Wand überhaupt stabil ist.
2. Einheitslösungen passen nicht (One Size Does NOT Fit All)
Die Behauptung: Das Papier fand heraus, dass verschiedene Abteilungen die KI aus völlig unterschiedlichen Gründen nutzen.
Die Analogie:
- Die Forscher nutzen die KI wie einen Bibliothekskatalog. Sie fragen sie nach obskuren Informationen oder lassen sie komplexe Datensätze generieren, um neue Theorien zu testen.
- Das Vertriebsteam nutzt sie wie einen Marketing-Texter. Sie wollen, dass sie hilft, „ein Produkt zu verkaufen“ oder synthetische Daten zu generieren, um Kunden etwas vorzuführen.
- Die Software-Ingenieure nutzen sie wie eine Rechtschreibprüfung und Autovervollständigung. Sie wollen, dass sie langweilige, repetitive Codeteile schreibt, damit sie sich auf das kreative Design der App konzentrieren können.
- Das Fazit: Man kann nicht jedem die gleichen Werkzeugeinstellungen geben. Ein „Einheitsansatz“ funktioniert nicht; die KI muss auf den spezifischen Job zugeschnitten sein.
3. Das „Vertrauen, aber Verifizieren“-Problem
Die Behauptung: Entwickler behalten etwa 25 % bis 50 % des von der KI geschriebenen Codes. Sie kopieren nicht einfach alles per Copy-Paste.
Die Analogie: Stellen Sie sich die KI als einen jungen Praktikanten vor. Der Praktikant ist großartig darin, einen Bericht zu entwerfen, aber er könnte Fakten erfinden oder den falschen Ton treffen. Der erfahrene Entwickler (der Mensch) muss jedes Wort lesen, die Fehler korrigieren und sicherstellen, dass es richtig klingt.
- Wenn die KI Code schreibt, der perfekt aussieht, aber eine versteckte Sicherheitslücke hat (wie ein Schloss, das gut aussieht, aber eigentlich nicht abschließt), muss der Mensch dies abfangen.
- Das Papier fand heraus, dass wenn die KI zu viele Fehler macht oder wenn der Mensch mehr Zeit damit verbringt, die Arbeit der KI zu korrigieren, als sie selbst zu schreiben, das Werkzeug zur Belastung statt zur Hilfe wird.
4. Was die Köche als Nächstes wollen (Die Wunschliste)
Die Entwickler sagten den Forschern genau, was sie als Nächstes von dem „Super-Sous-Chef“ erwarten. Sie unterteilten diese Wünsche in zwei Kategorien:
Kurzfristige Wünsche (Die „Fehler beheben“-Liste):
- Besseres Gedächtnis: Die KI muss die ganze Küche kennen, nicht nur die Arbeitsplatte, auf der sie gerade steht. Sie muss die gesamte Codebasis (die gesamte Geschichte des Restaurants) verstehen, ohne verwirrt zu werden.
- Nahtlose Integration: Hören Sie auf, dass wir ständig die Fenster wechseln müssen. Die KI sollte direkt in dem Werkzeug integriert sein, das wir verwenden – wie ein eingebauter Backofentimer und nicht wie eine separate App, die wir erst öffnen müssen.
- Ehrlichkeit: Wenn die KI sich unsicher ist, sollte sie sagen: „Ich bin mir hier nicht zu 100 % sicher“, anstatt selbstbewusst eine falsche Antwort zu geben.
Langfristige Wünsche (Die „Sci-Fi-Traum“-Liste):
- Der Architekt: Anstatt nur Gemüse zu schneiden, sollte die KI in der Lage sein, das gesamte Küchendesign basierend auf einer vagen Idee von Grund auf zu entwerfen.
- Der autonome Agent: Die KI sollte in der Lage sein, die gesamte Schicht zu leiten. Sie sollte einen Bug finden, ihn beheben, testen und die Arbeit einreichen können, ohne dass der Mensch eingreifen muss.
- Der Experte: Sie muss die spezifischen Regeln des Gebäudes kennen (Compliance, Sicherheitsgesetze), damit sie beim Kochen nicht versehentlich gegen das Gesetz verstößt.
5. Die „Hausaufgaben“-Lücke
Die Behauptung: Die meisten bestehenden Studien untersuchten nur Studenten oder sehr spezifische Aufgaben. Diese Studie untersuchte echte, erfahrene Profis in großen Unternehmen.
Die Analogy: Frühere Studien waren wie ein Testlauf eines neuen Autos auf einer ruhigen, leeren Rennstrecke mit Testfahrern. Diese Studie fuhr mit diesem Auto im Berufsverkehr mit echten Pendlern. Sie fanden heraus, dass das Auto zwar schnell ist, aber der Verkehr (komplexe Unternehmensregeln, Sicherheit, verschiedene Sprachen) die Nutzung schwieriger macht, als die Tests auf der Rennstrecke vermuten ließen.
Zusammenfassung
Das Papier kommt zu dem Schluss, dass KI-Coding-Assistenten ein mächtiger Produktivitätsbooster sind, aber sie sind keine Magie. Sie sind wie ein sehr schneller, sehr wissender, aber gelegentlich halluzinierender Junior-Partner.
- Gut: Sie sparen Zeit bei langweiligen Aufgaben und helfen Menschen, neue Sprachen zu lernen.
- Schlecht: Sie können Sicherheitslücken einführen und sie verstehen den spezifischen Kontext der einzigartigen Regeln eines Unternehmens nicht immer.
- Zukunft: Um wirklich nützlich zu sein, müssen sie aufhören, nur „Autovervollständigung“ zu sein, und statfangen, „autonome Architekten“ zu werden, die das gesamte Projekt verstehen und nicht nur die Zeile Code, die sie gerade tippen.
Die Autoren betonen, dass wir aufhören müssen, diese Werkzeuge als „Einrichten und Vergessen“-Lösung zu behandeln, und anfangen müssen, sie als kollaborativen Partner zu betrachten, der menschliche Aufsicht, Anpassung und Vertrauensbildung erfordert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.