Usage, Effects and Requirements for AI Coding Assistants in the Enterprise: An Empirical Study
Dit artikel presenteert een empirische studie waarbij 57 ontwikkelaars zijn ondervraagd en 35 bestaande enquêtes zijn geanalyseerd om de gereedheid, impact en vereisten van AI-coderingsassistenten en CodeLLM's voor enterprise software engineering te evalueren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een chef bent in een enorme, veeleisende keuken (het bedrijf). Jarenlang moest je elke groente zelf snijden, elke specerij afmeten en elk recept vanaf nul schrijven. Dan arriveert er een nieuwe keukenhulp: een AI Coding Assistant. Het is als een superintelligente sous-chef die direct recepten kan suggereren, groenten met lichtsnelheid kan snijden en zelfs het menu voor je kan schrijven.
Dit document is een rapportcijfer voor hoe goed deze nieuwe sous-chef eigenlijk werkt in echte bedrijfskeukens. De auteurs (onderzoekers van IBM) hebben de assistent niet alleen aan het werk gezet; ze hebben 57 echte chefs (ontwikkelaars) uit verschillende afdelingen (finance, onderzoek, sales) gevraagd hoe zij erover denken. Ze hebben ook naar 35 andere rapporten van over de hele wereld gekeken om het grotere plaatje te zien.
Hier is de uitsplitsing van hun bevindingen, gebruikmakend van eenvoudige analogieën:
1. De "Snelheid vs. Kwaliteit" afweging
De claim: De meeste chefs voelen zich sneller. Ongeveer 88% van de ontwikkelaars zei dat de AI hen productiever maakte. Sommigen zeiden dat ze twee keer zo snel waren.
De analogie: Het is als het hebben van een accuboor in plaats van een handmatige schroevendraaier. Je kunt planken ophangen in de helft van de tijd. Echter, alleen omdat je een gat snel kunt boren, betekent dat niet dat de plank perfect recht staat. Het papier merkt op dat hoewel de snelheid omhoog gaat, er zorgen zijn over de vraag of de code (de plank) veilig en makkelijk te repareren is later. Sommige chefs zijn zo zelfverzekerd door de accuboor dat ze vergeten te controlen of de muur wel stevig is.
2. Één maat past niet voor iedereen
De claim: Het papier vond dat verschillende afdelingen de AI voor totaal andere redenen gebruiken.
De analogie:
- De Onderzoekers gebruiken de AI als een bibliotheekcatalogus. Ze vragen de AI om obscure informatie te vinden of complexe datasets te genereren om nieuwe theorieën te testen.
- Het Sales Team gebruikt het als een marketingtekstschrijver. Ze willen dat het hen helpt "een product te verkopen" of synthetische data te genereren om klanten te tonen.
- De Software Engineers gebruiken het als een spellingscontrole en autocomplete. Ze willen dat het saaie, repetitieve code schrijft, zodat zij zich kunnen concentreren op het creatieve ontwerp van de app.
- De les: Je kunt niet iedereen dezelfde tool-instellingen geven. Een "one-size-fits-all" benadering werkt niet; de AI moet worden afgestemd op de specifieie taak.
3. Het "Vertrouw maar Controleer" probleem
De claim: Ontwikkelaars houden ongeveer 25% tot 50% van de code die de AI schrijft over. Ze kopiëren niet zomaar alles en plakken het erin.
De analogie: Denk aan de AI als een junior stagiair. De stagiair is geweldig in het opstellen van een conceptverslag, maar kan feiten verzinnen of de verkeerde toon gebruiken. De senior ontwikkelaar (de mens) moet elk woord lezen, fouten herstellen en ervoor zorgen dat het klopt.
- Als de AI code schrijft die er perfect uitziet maar een verborgen beveiligingslek heeft (zoals een slot dat er mooi uitziet maar eigenlijk niet echt vergrendelt), moet de mens dit opmerken.
- Het papier vond dat als de AI te veel fouten maakt, of als de mens meer tijd kwijt is aan het repareren van het werk van de AI dan aan het zelf schrijven ervan, het hulpmiddel een last wordt in plaats van een hulp.
4. Wat de Chefs Nu Verlangen (De Wensenlijst)
De ontwikkelaars vertelden de onderzoekers precies wat ze de volgende keer van de "super sous-chef" nodig hebben. Ze verdeelden deze verzoeken in twee categorieën:
Korte termijn verzoeken (De "Los de kinkjes op" lijst):
- Beter Geheugen: De AI moet de hele keuken kennen, niet alleen het aanrecht waar hij staat. Hij moet de volledige codebase (de hele geschiedenis van het restaurant) begrijpen zonder in de war te raken.
- Naadloze Integratie: Laat ons niet constant van venster wisselen. De AI moet direct in de tool zitten die we gebruiken, zoals een ingebouwde oventimer, en niet een aparte app die we moeten openen.
- Eerlijkheid: Als de AI het niet zeker weet, moet hij zeggen: "Ik weet niet 100% zeker of dit klopt," in plaats van zelfverzekerd een fout antwoord te geven.
Lange termijn verzoeken (De "Sci-Fi Droom" lijst):
- De Architect: In plaats van alleen groenten te snijden, zou de AI de hele keukenlay-out vanaf nul kunnen ontwerpen op basis van een vaag idee.
- De Autonome Agent: De AI zou de hele dienst kunnen draaien. Hij zou een bug kunnen vinden, deze kunnen fixen, testen en het werk kunnen indienen zonder dat de mens er iets aan hoeft te doen.
- De Expert: Het moet de specifieke regels van het gebouw kennen (compliance, beveiligingswetten), zodat het niet per ongeluk de wet overtreedt tijdens het koken.
5. De "Huiswerk" Kloof
De claim: De meeste bestaande studies keken alleen naar studenten of zeer specifieke taken. Deze studie keek naar echte, ervaren professionals in grote bedrijven.
De analogie: Eerdere studies waren als het testen van een nieuwe auto op een rustige, lege racebaan met testrijders. Deze studie reed met die auto in de spitsdrukte met echte forenzen. Ze vonden dat hoewel de auto snel is, het verkeer (complexe bedrijfsregels, beveiliging, verschillende talen) het moeilijker maakt om te gebruiken dan de tests op de racebaan suggereerden.
Samenvatting
Het paper concludeert dat AI-codeerassistenten een krachtige productiviteitsverhoger zijn, maar ze zijn geen magie. Ze zijn als een zeer snelle, zeer deskundige, maar incidenteel hallucinerende junior partner.
- Goed: Ze besparen tijd op saaie taken en helpen mensen nieuwe talen te leren.
- Slecht: Ze kunnen beveiligingslekken introduceren en ze begrijpen de specifieke context van de unieke regels van een bedrijf niet altijd.
- Toekomst: Om echt nuttig te zijn, moeten ze stoppen met slechts "autocomplete" te zijn en transformeren naar "autonome architecten" die het hele project begrijpen, en niet alleen de regel code die ze op dit moment typen.
De auteurs benadrukken dat we moeten stoppen met deze tools te behandelen als een "instellen en vergeten" oplossing, en ze moeten gaan behandelen als een collaboratieve partner die menselijk toezicht, aanpassing en vertrouwen vereist.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.