Using LLMs in Software Design: An Empirical Study of GitHub and A Practitioner Survey
Dieser Beitrag stellt eine empirische Studie mit gemischten Methoden vor, die eine Mining-Analyse von 291 GitHub-Konversationen und eine Umfrage unter 65 Praktikern kombiniert, um zu charakterisieren, wie Entwickler LLMs für Software-Design-Aufgaben nutzen, und enthüllt neun unterschiedliche Anwendungskategorien, sieben wesentliche Vorteile und sechs signifikante Einschränkungen, die die aktuelle Spannung zwischen dem Potenzial der Technologie und ihren praktischen Herausforderungen verdeutlichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Softwaredesign als den Prozess der Architektur einer riesigen, komplexen Stadt vor. Bevor auch nur ein einziger Ziegelstein verlegt wird, müssen Architekten entscheiden, wo die Straßen verlaufen, wie die Gebäude miteinander verbunden sind, welche Materialien verwendet werden und wie das Abwassersystem funktioniert. Dies ist „Softwaredesign".
Seit Jahrzehnten wurde diese Aufgabe ausschließlich von menschlichen Experten erledigt. Doch vor kurzem ist ein neues Werkzeug hinzugekommen: Large Language Models (LLMs), wie ChatGPT. Betrachten Sie diese Modelle als überaus intelligente, unglaublich schnelle Praktikanten, die fast jedes je geschriebene Buch über Programmierung und Stadtplanung gelesen haben. Sie können mit Ihnen sprechen, Fragen beantworten und sogar Baupläne zeichnen.
Diese Studie ist eine Feldstudie, um eine einfache Frage zu beantworten: Wie nutzen echte Softwarearchitekten diese „Super-Praktikanten" tatsächlich, um ihre Städte zu entwerfen, und funktioniert das?
Die Forscher haben nicht nur geraten; sie haben zwei Quellen von Beweisen untersucht:
- Das „Tagebuch" (Mining-Studie): Sie analysierten 291 echte Gespräche auf GitHub, in denen Entwickler mit ChatGPT über Designprobleme diskutierten.
- Das „Interview" (Umfrage): Sie fragten 65 Softwareentwickler direkt: „Wie nutzen Sie diese Tools, und was gefällt oder missfällt Ihnen daran?"
Hier ist das Ergebnis, aufgeteilt in einfache Konzepte:
1. Welche Aufgaben übernehmen die „Praktikanten"? (Die Aufgaben)
Die Studie ergab, dass Entwickler die KI nicht nur bitten, einen einzelnen Codezeile zu schreiben. Sie nutzen sie für neun spezifische Arten von Designarbeit, die vom großen Ganzen bis zu den kleinen Details reichen:
- Das große Ganze (Architektur): Entscheiden, ob die Stadt ein einziges riesiges Gebäude oder eine Ansammlung kleiner Häuser (Mikrodienste) sein soll.
- Der Bauplan (Datenmodelle): Entwerfen, wie Informationen gespeichert werden, ähnlich wie die Organisation eines Archivsystems in einer Bibliothek.
- Die Verkehrsregeln (Schnittstellen): Herausfinden, wie verschiedene Teile des Systems miteinander kommunizieren.
- Die Sicherheitschecks (Sicherheit): Planen, wie Türen und Fenster abgeschlossen werden.
- Das „Reparatur-Team" (Refactoring): Einen alten, unordentlichen Entwurf nehmen und aufräumen.
Die Analogie: Es ist, als würde man einen Praktikanten einstellen, der Ihnen hilft, den Stadtplan zu skizzieren, die Rohrleitungsdiagramme zu zeichnen und Sicherheitstore vorzuschlagen, aber Sie müssen immer noch derjenige sein, der den Stift hält und die endgültige Entscheidung trifft.
2. Wie sprechen sie mit dem „Praktikanten"? (Die Interaktion)
Die Forscher entdeckten, dass dies keine „Einmal-und-fertig"-Interaktion ist.
- Es ist ein Gespräch, kein Befehl: Im Durchschnitt gehen ein Entwickler und die KI etwa sechsmal hin und her, um ein einzelnes Designproblem zu lösen.
- Das Muster: Der Entwickler stellt eine Frage, die KI gibt eine Antwort, der Entwickler sagt: „Das ist zu vage" oder „Versuch es so", und die KI versucht es erneut.
- Der Fokus: Die meisten dieser Gespräche finden auf der Ebene des „detaillierten Designs" statt. Das ist, als würde man über die spezifische Art des zu verwendenden Ziegels oder die genaue Platzierung eines Fensters streiten, anstatt darüber zu diskutieren, wo die gesamte Stadt gebaut werden soll.
Die Analogie: Die Nutzung der KI für das Design ist wie die Navigation durch ein Labyrinth mit einem GPS, das manchmal den Weg verliert. Sie müssen es ständig korrigieren und sagen: „Nein, hier links abbiegen, nicht rechts", bis Sie schließlich den Ausgang finden.
3. Was sind die Superkräfte? (Die Vorteile)
Die Entwickler berichteten über sieben Hauptvorteile, wobei die beiden wichtigsten sind:
- Der „bessere Google": Die KI ist für das Finden von Designideen oft schneller und hilfreicher als eine herkömmliche Suchmaschine. Sie fungiert wie eine sachkundige Bibliothekarin, die komplexe Themen sofort zusammenfassen kann.
- Das „Frühwarnsystem": Die KI ist überraschend gut darin, Mängel in einem Entwurf zu erkennen, bevor jemand etwas baut. Sie könnte sagen: „Hey, wenn Sie es so bauen, wird der Verkehr später zum Stillstand kommen", und spart dem Team damit zukünftige Kopfschmerzen.
Zu den weiteren Vorteilen gehörten die Hilfe für neue Teammitglieder, das Projekt schnell zu verstehen, sowie das Vorschlagen neuer, kreativer Ideen, auf die die Menschen nicht gekommen wären.
4. Was sind die Super-Schwächen? (Die Grenzen)
Der „Super-Praktikant" hat jedoch einige ernsthafte Mängel, die seine Nutzung schwierig machen:
- Das „Textwand"-Problem: Die KI schreibt oft viel zu viel. Statt eines klaren Bauplans erhalten Sie einen 50-seitigen Aufsatz. Entwickler fanden dies schwer zu lesen und frustrierend.
- Das „kaputte Bauplan"-Problem: Manchmal generiert die KI Code oder Designs, die auf dem Papier gut aussehen, aber nicht funktionieren, wenn man versucht, sie auszuführen. Es ist, als würde ein Architekt eine Brücke zeichnen, die wunderschön aussieht, aber einstürzen würde, wenn man ein Auto darauf stellt.
- Das „Amnesie"-Problem: Die KI ist sehr empfindlich gegenüber Kontext. Wenn Sie ihr nicht genügend Details über Ihr spezifisches Projekt geben, könnte sie halluzinieren (sich Dinge ausdenken) oder Ratschläge geben, die zu einer ganz anderen Stadt passen.
- Der „Datei-Upload"-Kampf: Es ist schwierig, ganze Projektordner in die KI hochzuladen. Es ist, als würde man versuchen, den Stadtplan zu erklären, indem man eine Liste von Straßennamen einzeln vorliest, anstatt eine Karte zu zeigen.
Das Fazit
Die Studie kommt zu dem Schluss, dass LLMs hervorragende „Entdecker", aber noch keine „Entscheider" sind.
Sie sind hervorragend geeignet für:
- Ideenfindung (Brainstorming).
- Überprüfung auf offensichtliche Fehler.
- Schnelles Erlernen neuer Konzepte.
- Erstellen erster Skizzen.
Aber sie sind nicht bereit, den menschlichen Architekten zu ersetzen. Der Mensch muss die Arbeit weiterhin überprüfen, die kaputten Teile reparieren und die endgültigen Entscheidungen treffen. Die Beziehung ist eine Partnerschaft: Die KI liefert das Rohmaterial und die Vorschläge, aber der Mensch liefert das Urteil und den finalen Schliff.
Kurz gesagt: Die Nutzung eines LLM für Softwaredesign ist wie das Haben eines sehr schnellen, sehr sachkundigen, aber gelegentlich halluzinierenden Co-Piloten. Es kann Ihnen helfen, schneller zu fliegen und Stürme frühzeitig zu erkennen, aber Sie müssen Ihre Hände weiterhin auf den Kontrollen behalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.