LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda
Diese systematische Literaturübersicht analysiert 50 Studien aus den Jahren 2020–2025, um das aktuelle Spektrum der Anwendungen großer Sprachmodelle im empirischen Softwareengineering zu kartieren, wobei deren vorwiegende Nutzung in datenverarbeitenden Aufgaben mit hohem Automatisierungsgrad hervorgehoben wird, während gleichzeitig kritische Lücken in der menschenzentrierten Integration, Transparenz und Reproduzierbarkeit identifiziert werden, um eine zukünftige Forschungsagenda zu leiten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Feld der Empirischen Softwaretechnik (ESE) als eine riesige, hochriskante Detektei vor. Diese Detektive (Forscher) verbringen ihre Zeit damit, Rätsel darüber zu lösen, wie Software gebaut wird, warum sie kaputtgeht und wie Entwickler arbeiten. Um diese Fälle zu lösen, müssen sie sich durch Berge von Beweismaterial wühlen: Millionen von Codezeilen, Tausende von Fehlerberichten und endlose Interviews mit Entwicklern.
Seit Jahren erledigen diese Detektive diese Arbeit manuell oder mit sehr spezifischen, einzweckgebundenen Werkzeugen. Doch der Beweisberg wird für menschliche Hände allein zu groß. Hier kommen Large Language Models (LLMs) ins Spiel – denken Sie an sie als superkluge, unermüdliche Roboter-Praktikanten, die Texte mit Blitzgeschwindigkeit lesen, zusammenfassen und kategorisieren können.
Dieser Artikel ist ein Systematischer Literaturüberblick, was im Grunde ein „Zeugnis" darüber ist, wie diese Roboter-Praktikanten derzeit in der Detektei eingesetzt werden. Die Autoren untersuchten 50 aktuelle Studien, um zu sehen, was die Praktikanten tatsächlich tun, wie gut sie es tun und ob die Detektive genügend Notizen machen, um nachzuweisen, wie die Arbeit erledigt wurde.
Hier ist die Aufschlüsselung ihrer Erkenntnisse, unter Verwendung einfacher Analogien:
1. Was machen die Roboter-Praktikanten eigentlich? (Die Aufgaben)
Die Studie ergab, dass die Praktikanten hauptsächlich zum Sortieren und Bewerten eingesetzt werden, nicht zum Lösen des Rätsels von Grund auf.
- Die Rolle des „Sortierers": Die häufigste Aufgabe besteht darin, einen riesigen Haufen von Papieren oder Code zu nehmen und in Schubladen zu sortieren (z. B. „Relevant" vs. „Irrelevant" oder „Fehler" vs. „Funktion").
- Die Rolle des „Bewerter": Oft wird ihnen aufgefordert, etwas zu bewerten oder zu kennzeichnen (z. B. „Ist diese Code-Review hilfreich? Ja/Nein").
- Die Rolle des „Filters": Sie wirken wie ein Sieb, das nur wichtige Informationen durchlässt und den Lärm blockiert.
Die Metapher: Stellen Sie sich einen Bibliothekar vor, der hervorragend darin ist, Bücher nach Farbe oder Größe zu organisieren, aber noch nicht gebeten wurde, eine neue Geschichte zu schreiben oder ein komplexes Rätsel zu lösen. Die Praktikanten sind großartig bei der langweiligen, repetitiven Ablagearbeit, aber sie sind noch nicht die „leitenden Detektive".
2. Wo arbeiten sie im Prozess? (Die Phasen)
Der Forschungslebenszyklus hat verschiedene Stufen: Planung, Beweissammlung, Beweisanalyse und Berichtserstellung.
- Der Sweet Spot: Die Praktikanten werden stark in den mittleren Phasen (Sammeln und Analysieren) eingesetzt. Hier findet die „Datenverarbeitung" statt.
- Die Lücken: Sie werden selten am ganz Anfang (Planung der Studie) oder am ganz Ende (Schreiben des Abschlussberichts) eingesetzt.
- Die Metapher: Es ist, als würde man einen Roboter einstellen, um das Geschirr zu spülen und die Wäsche zu falten, aber Sie müssen das Essen selbst kochen und den Tisch decken. Der Roboter übernimmt die chaotische, repetitive Aufräumarbeit, aber die kreativen und abschließenden Handgriffe bleiben dem Menschen vorbehalten.
3. Wie arbeiten sie mit Menschen zusammen? (Die Integration)
Die Autoren fanden heraus, dass die Beziehung meist Automatisierung und nicht Zusammenarbeit ist.
- Automatisierung (der „Mach es selbst"-Modus): In den meisten Fällen gibt der Mensch dem Roboter einen Befehl, und der Roboter erledigt die gesamte Aufgabe allein, ohne zurückzublicken. Der Mensch nimmt nur das Ergebnis entgegen.
- Entscheidungsunterstützung (der „Berater"-Modus): Dies ist selten. Dies wäre, wenn der Roboter sagen würde: „Ich denke, Option A ist am besten, aber hier sind drei andere Möglichkeiten und warum", wobei die endgültige Wahl dem Menschen überlassen bleibt.
- Die Metapher: Derzeit ist der Roboter wie ein Selbstbedienungskasse. Sie legen die Artikel hinein, er scannt sie, und Sie gehen weg. Er ist nicht wie ein persönlicher Einkäufer, der mit Ihnen geht, Artikel vorschlägt und fragt: „Mögen Sie diesen?", bevor Sie kaufen.
4. Was sind die guten und schlechten Teile? (Vorteile vs. Einschränkungen)
Das Gute (Vorteile):
- Geschwindigkeit: Die Roboter sind unglaublich schnell. Sie können Jahre an Daten in Minuten verarbeiten.
- Skalierbarkeit: Sie können riesige Beweismengen bewältigen, für die ein Mensch Jahre zum Lesen bräuchte.
- Konsistenz: Sie werden nicht müde oder gelangweilt, wenden also dieselben Regeln auf jeden Artikel an.
Das Schlechte (Einschränkungen):
- Halluzinationen: Manchmal erfindet der Roboter Dinge. Er könnte selbstbewusst eine Tatsache behaupten, die völlig falsch ist.
- Empfindlichkeit: Der Roboter ist sehr empfindlich darauf, wie Sie die Frage stellen. Wenn Sie ein Wort in Ihrer Anweisung ändern, kann sich die Antwort völlig ändern.
- Inkonsistenz: Wenn Sie dieselbe Frage zweimal stellen, erhalten Sie möglicherweise zwei verschiedene Antworten.
- Die Metapher: Der Roboter ist wie ein sehr schneller, sehr selbstbewusster Schüler, der manchmal rät. Er kann eine ganze Bibliothek in einer Stunde lesen, aber wenn Sie nicht vorsichtig sind, könnte er ein Buch erfinden, das es nicht gibt.
5. Führen sie gute Notizen? (Reproduzierbarkeit)
Dies ist ein wichtiges Ergebnis der Studie. Die meisten Detektive schreiben nicht auf, wie sie die Praktikanten eingesetzt haben.
- Um eine Studie zu wiederholen (Reproduzierbarkeit), müssen Sie genau wissen, welchen Roboter Sie verwendet haben, welche Version des Roboters es war und welche Anweisungen (Prompts) Sie ihm genau gegeben haben.
- Die Studie ergab, dass viele Studien vergessen haben, dies aufzuschreiben. Sie sagten nur: „Wir haben eine KI verwendet", ohne zu sagen, welche oder wie sie sie fragten.
- Die Metapher: Stellen Sie sich vor, ein Koch veröffentlicht ein Rezept mit den Worten: „Ich habe ein spezielles Gewürz verwendet, damit dies großartig schmeckt", sagen aber nicht, welches Gewürz, wie viel oder wann sie es hinzugefügt haben. Sie können das Gericht nicht nachkochen. Die Studie sagt, dass die Softwaretechnik-Community derzeit schlecht darin ist, das „Rezept" für die Verwendung dieser KI-Tools zu teilen.
Das Fazit im Großen und Ganzen
Die Studie kommt zu dem Schluss, dass der Einsatz von KI in der Softwareforschung schnell wächst, aber derzeit sehr eng ist.
- Wir verwenden KI, um die „schwere Arbeit" zu erledigen (Sortieren, Filtern, Bewerten).
- Wir verwenden sie noch nicht, um Menschen beim Denken, Planen oder Treffen komplexer Entscheidungen zu helfen.
- Wir sind nicht vorsichtig genug beim Aufschreiben, wie wir sie verwenden, was es schwierig macht, den Ergebnissen zu vertrauen oder die Experimente zu wiederholen.
Die endgültige Erkenntnis: Die Roboter-Praktikanten sind hilfreich für die Schwerarbeit, aber die menschlichen Detektive müssen anfangen, sie als Partner und nicht nur als Werkzeuge zu behandeln, und sie müssen anfangen, genau aufzuschreiben, wie sie sie verwenden, damit andere aus ihrer Arbeit lernen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.