SLRMentor: An LLM-Based Tool Supporting Learning of SLR in Software Engineering
Dieses Paper stellt SLRMentor vor, einen auf LLMs basierenden konversationellen Assistenten, der Software-Engineering-Studierende durch den Prozess der systematischen Literaturrecherche führt, indem er Erklärungen zur Methodik bereitstellt und Planungsaufgaben wie die Konstruktion von Suchstrings unterstützt, wodurch die Barrieren für unerfahrene Forscher gesenkt und gleichzeitig die aktive methodische Urteilskraft gefördert werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Student, der versucht, eine gewaltige Forschungsarbeit zu schreiben, die man „Systematische Literaturübersicht“ (Systematic Literature Review, SLR) nennt. Betrachten Sie diese Aufgabe wie den Versuch, ein komplexes Möbelstück aus einer riesigen, verwirrenden Bedienungsanleitung zu bauen, die in einer Fremdsprache verfasst ist. Sie wissen, dass Sie bestimmte Teile (Forschungsstudien) finden, sortieren und zusammenfügen müssen, aber die Regeln dafür sind streng, und ein einziger falscher Schritt kann das gesamte Projekt ruinieren.
Hier kommt SLRMentor ins Spiel.
Was ist SLRMentor?
Stellen Sie sich SLRMentor als einen freundlichen, sachkundigen Reiseführer für Ihre Forschungsreise vor. Es ist kein Roboter, der die Möbel für Sie baut; stattdlich ist es ein konversationeller Assistent (ein Chatbot, der auf fortschrittlicher KI basiert), der an Ihrer Seite geht, Ihnen erklärt, warum Sie jeden Schritt unternehmen, und Ihnen hilft, den besten Weg zu finden.
Das Tool wurde speziell für Software-Engineering-Studenten entwickelt, die neu in dieser Art der Forschung sind. Es konzentriert sich auf die Planungsphase – den Teil, in dem Sie entscheiden, wonach Sie suchen und wie Sie es finden werden.
Wie funktioniert es?
Die Arbeit beschreibt drei Haupt„Räume“ oder Werkzeuge innerhalb von SLRMentor, die Ihnen bei der Planung helfen:
Der „Mentor Chat“ (Der allgemeine Führer):
Stellen Sie sich vor, Sie sind in einem Museum verloren und haben eine Frage zu einer Ausstellung. Sie fragen den Führer: „Was ist das?“ und er erklärt es Ihnen ganz einfach. Dieser Chat hilft Ihnen, das große Ganze zu verstehen: „Was ist eine systematische Übersicht?“ oder „Warum müssen wir vorsichtig mit Verzerrungen (Bias) sein?“ Er räumt Unklarheiten über den Prozess selbst aus dem Weg.Der „Search String Chat“ (Der Ersteller der Schatzkarte):
Um die richtigen Forschungsarbeiten zu finden, müssen Sie sehr spezifische Suchwörter (wie einen Geheimcode) in riesigen Bibliotheksdatenbanken verwenden. Wenn Sie den Code falsch machen, finden Sie entweder gar nichts oder nur Müll. Dieses Tool fungiert als Kartenzeichner. Sie sagen ihm Ihr Forschungsziel, und es hilft Ihnen, dies in den korrekten „Geheimcode“ (Search String) zu übersetzen. Entscheidend ist, dass es Ihnen nicht nur den Code gibt, sondern auch erklärt, warum es diese spezifischen Wörter und Symbole gewählt hat, wodurch Sie lernen, in Zukunft Ihre eigenen Karten zu erstellen.Der „Criteria Chat“ (Der Torwächter):
Sob' Sie einen Haufen potenzieller Arbeiten gefunden haben, müssen Sie entscheiden, welche Sie behalten und welche Sie wegwerfen. Dieses Tool fungiert als Torwächter, der Ihnen hilft, die Regeln für das Tor festzulegen. Es hilft Ihnen bei der Entscheidung: „Sollten wir nur Studien aus den letzten 5 Jahren berücksichtigen?“ oder „Sollten wir uns nur auf Studien über mobile Apps konzentrieren?“ Es hilft Ihnen, diese Entscheidungen zu begründen, damit Ihre endgültige Liste von Arbeiten fair und genau ist.
Was sagten die Studenten?
Die Forscher haben dieses Tool mit einer kleinen Gruppe von Doktoranden (vier von ihnen) getestet, die diese Übersichtsarbeiten zum ersten oder zweiten Mal durchführten. Hier ist, was sie herausfanden:
- Es ist ein Lernwerkzeug, kein Spickzettel: Die Studenten nutzten das Tool nicht einfach, um Antworten zu erhalten und diese zu kopieren. Stattdessen nutzten sie es, um ihr Denken zu klären. Es half ihnen zu verstehen, warum sie bestimmte Entscheidungen trafen.
- Es senkt den „Angstfaktor“: Für Anfänger wirkt der Prozess überwältigend. Das Tool fungte als Gerüst (ähnlich wie das temporäre Gestell, das Bauarbeiter benutzen, um hohe Wände zu erreichen). Es half den Studenten, anzufangen und ihre Gedanken zu strukturieren, ohne die schwere Arbeit für sie zu erledigen.
- Man muss weiterhin selbst denken: Die Arbeit stellt sehr klar: Das Tool ersetzt nicht das menschliche Urteilsvermögen. Die Studenten mussten die Vorschläge dennoch prüfen, verfeinern und die endgültigen Entscheidungen treffen. Das Tool erklärt das „Wie“ und „Warum“, aber der Student muss das „Was“ und das endgültige „Ja/Nein“ liefern.
Das Fazit
SLRMentor ist wie ein Stützrädchen-System für die Forschung. Es hilft unerfahrenen Forschern zu lernen, wie man das Fahrrad der systematischen Übersichtsarbeiten fährt, ohne sofort umzukippen. Es macht die verwirrenden Regeln der Forschungsplanung klarer und zugänglicher, erwartet aber, dass der Fahrer schließlich lernt, alleine das Gleichgewicht zu halten und zu steuern.
Die Arbeit kommt zu dem Schluss, dass dieses Tool hervorragend für das Lernen und Verstehen geeignet ist, aber es ist kein magischer Knopf, der die Forschung für Sie schreibt. Es unterstützt das Gehirn des Studenten, es ersetzt es nicht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.