Using LLMs in Software Design: An Empirical Study of GitHub and A Practitioner Survey
Dit artikel presenteert een empirisch onderzoek met gemengde methoden dat een mining-analyse van 291 GitHub-conversaties combineert met een enquête onder 65 professionals om te karakteriseren hoe ontwikkelaars LLM's inzetten voor softwareontwerptaken, waarbij negen onderscheidende toepassingscategorieën, zeven belangrijke voordelen en zes aanzienlijke beperkingen worden blootgelegd die de huidige spanning tussen het potentieel van de technologie en de praktische uitdagingen onderstrepen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je softwareontwerp voor als het proces van het ontwerpen van een enorme, complexe stad. Voordat er ook maar één baksteen wordt gelegd, moeten architecten beslissen waar de wegen komen, hoe de gebouwen met elkaar verbonden zijn, welke materialen er worden gebruikt en hoe het rioolstelsel werkt. Dit is "softwareontwerp".
Decennialang werd deze taak volledig uitgevoerd door menselijke experts. Maar recentelijk is er een nieuw gereedschap bijgekomen: Grote Taalmodellen (LLM's), zoals ChatGPT. Denk aan deze modellen als super-slimme, ongelooflijk snelle stagiairs die bijna elk boek ooit geschreven over programmeren en stedenplanning hebben gelezen. Ze kunnen met je praten, vragen beantwoorden en zelfs blauwdrukken tekenen.
Dit artikel is een veldstudie om een eenvoudige vraag te beantwoorden: Hoe gebruiken echte softwarearchitecten deze "super-stagiairs" eigenlijk om hun steden te ontwerpen, en werkt het?
De onderzoekers deden niet alleen maar gissingen; ze keken naar twee bronnen van bewijs:
- Het "Dagboek" (Mining-studie): Ze bekeken 291 echte gesprekken die op GitHub werden gedeeld, waarbij ontwikkelaars met ChatGPT chatten over ontwerpproblemen.
- Het "Interview" (Enquête): Ze vroegen 65 softwareontwikkelaars direct: "Hoe gebruik je deze tools, en wat vind je ervan of wat haat je eraan?"
Hier is wat ze ontdekten, opgesplitst in eenvoudige concepten:
1. Welke taken doen de "stagiairs"? (De taken)
De studie vond uit dat ontwikkelaars de AI niet alleen vragen om een enkele regel code te schrijven. Ze gebruiken het voor negen specifieke soorten ontwerpwerk, variërend van het grote plaatje tot de kleine details:
- Het Grote Plaatje (Architectuur): Beslissen of de stad één groot gebouw moet zijn of een cluster van kleine huizen (microservices).
- De Blauwdruk (Data-modellen): Ontwerpen hoe informatie wordt opgeslagen, zoals het organiseren van het archiefsysteem van een bibliotheek.
- De Verkeersregels (Interfaces): Uitzoeken hoe verschillende onderdelen van het systeem met elkaar praten.
- De Veiligheidscontroles (Beveiliging): Plannen hoe de deuren en ramen worden afgesloten.
- Het "Reparatie"-team (Refactoring): Een oud, rommelig ontwerp nemen en het opknappen.
De Analogie: Het is alsof je een stagiair inhuurt die je kan helpen bij het schetsen van de stadsplattegrond, het tekenen van de loodgietersdiagrammen en het voorstellen van beveiligingspoorten, maar jij moet nog steeds de pen vasthouden en de uiteindelijke beslissing nemen.
2. Hoe praten ze met de "stagiair"? (De interactie)
De onderzoekers ontdekten dat dit geen "eenmalige" interactie is.
- Het is een Gesprek, geen Bevel: Gemiddeld gaan een ontwikkelaar en de AI ongeveer 6 keer heen en weer om één ontwerpprobleem op te lossen.
- Het Patroon: De ontwikkelaar stelt een vraag, de AI geeft een antwoord, de ontwikkelaar zegt: "Dat is te vaag" of "Probeer het op deze manier", en de AI probeert het opnieuw.
- De Focus: De meeste van deze gesprekken vinden plaats op het niveau van "Gedetailleerd Ontwerp". Dit is als ruzie maken over het specifieke type baksteen dat moet worden gebruikt of de exacte plaatsing van een raam, in plaats van ruzie maken over waar de hele stad moet worden gebouwd.
De Analogie: De AI gebruiken voor ontwerp is als een doolhof navigeren met een GPS die soms verdwaalt. Je moet het blijven corrigeren, zeggen: "Nee, draai hier linksaf, niet rechts", totdat je eindelijk de uitgang vindt.
3. Wat zijn de superkrachten? (De voordelen)
De ontwikkelaars meldden zeven hoofdvordelen, waarbij de top twee zijn:
- De "Bessere Google": De AI is vaak sneller en behulpzamer dan een traditionele zoekmachine voor het vinden van ontwerpidéetjes. Het fungeert als een deskundige bibliothecaris die complexe onderwerpen direct kan samenvatten.
- Het "Vroegtijdige Waarschuwingssysteem": De AI is verrassend goed in het opsporen van fouten in een ontwerp voordat iemand het bouwt. Het kan zeggen: "Hé, als je het zo bouwt, raakt het verkeer later vast", waardoor het team toekomstige hoofdpijn bespaart.
Andere voordelen waren het helpen van nieuwe teamleden om het project snel te begrijpen en het voorstellen van nieuwe, creatieve ideeën waar de mensen niet aan hadden gedacht.
4. Wat zijn de super-schwaktes? (De beperkingen)
Echter, de "super-stagiair" heeft enkele ernstige gebreken die het gebruik lastig maken:
- Het "Muur van Tekst"-probleem: De AI schrijft vaak veel te veel. In plaats van een duidelijke blauwdruk, krijg je een 50-pagina's lang essay. Ontwikkelaars vonden dit moeilijk te lezen en frustrerend.
- Het "Gebroken Blauwdruk"-probleem: Soms genereert de AI code of ontwerpen die er goed uitzien op papier maar niet echt werken als je ze probeert uit te voeren. Het is als een architect die een brug tekent die er prachtig uitziet, maar zou instorten als je er een auto op zet.
- Het "Amnesie"-probleem: De AI is zeer gevoelig voor context. Als je niet genoeg details geeft over je specifieke project, kan het hallucineren (dingen verzinnen) of advies geven dat bij een hele andere stad past.
- De "Bestand Uploaden"-strijd: Het is moeilijk om hele projectmappen naar de AI te uploaden. Het is alsof je probeert de plattegrond van je stad uit te leggen door een lijst met straatnamen één voor één voor te lezen, in plaats van een kaart te tonen.
Het Conclusie
Het artikel concludeert dat LLM's uitstekende "verkenners" zijn, maar nog geen "beslissers".
Ze zijn fantastisch voor:
- Brainstormen over ideeën.
- Controleren op voor de hand liggende fouten.
- Snel nieuwe concepten leren.
- Het opstellen van eerste schetsen.
Maar ze zijn niet klaar om de menselijke architect te vervangen. De mens moet het werk nog steeds verifiëren, de gebroken onderdelen repareren en de uiteindelijke beslissingen nemen. De relatie is een partnerschap: de AI levert het ruwe materiaal en de suggesties, maar de mens levert het oordeel en de uiteindelijke afwerking.
Kortom: Een LLM gebruiken voor softwareontwerp is als het hebben van een zeer snelle, zeer deskundige, maar af en toe hallucinerende copiloot. Het kan je helpen sneller te vliegen en stormen vroeg te spotten, maar je moet je handen nog steeds op de bediening houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.