Agile Story-Point Estimation: Is RAG a Better Way to Go?
Die Studie untersucht, ob Retrieval Augmented Generation (RAG) die manuelle Schätzung von Story Points in der agilen Softwareentwicklung automatisieren kann, und stellt fest, dass RAG zwar in einigen Fällen Baseline-Modelle übertrifft, jedoch keine statistisch signifikanten Verbesserungen in Bezug auf Projektgröße oder Embedding-Modelle zeigt, was weitere Forschungsarbeiten zur Genauigkeitssteigerung erforderlich macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du leitest ein Team von Handwerkern, die ein riesiges Haus bauen wollen. Bevor sie mit dem nächsten Raum beginnen, müssen sie alle gemeinsam einschätzen: Wie viel Arbeit ist das? Brauchen wir dafür 2 Stunden oder 2 Tage?
In der Software-Welt nennt man das „Agile Entwicklung". Die Teams treffen sich, um diese Schätzung zu machen. Ein beliebtes Werkzeug dafür ist das „Planning Poker". Dabei halten sich alle Teammitglieder eine Karte mit einer Zahl hoch (z. B. 1, 2, 3, 5, 8 – wie bei einer Fibonacci-Folge). Wer eine hohe Zahl hält, denkt, die Aufgabe ist schwer; wer eine niedrige hält, denkt, sie ist einfach. Dann diskutieren sie, bis alle eine Meinung haben.
Das Problem:
Das ist super für den Teamgeist, aber es dauert ewig! Bei großen Projekten mit tausenden Aufgaben könnte man wochenlang nur Karten hochhalten und diskutieren. Außerdem sind Menschen oft voreingenommen: Der Chef sagt „Das ist einfach", und die Junior-Mitarbeiter stimmen ihm aus Angst zu, auch wenn sie es eigentlich schwer finden.
Die Idee der Forscher:
Die Autoren dieses Papers (Lamyea Maha, Tajmilur Rahman und Chanchal Roy) dachten sich: „Können wir das nicht automatisieren?" Sie wollten einen KI-Assistenten bauen, der die Arbeit macht.
Stell dir diesen Assistenten wie einen sehr fleißigen Bibliothekar vor, der Zugriff auf eine riesige Datenbank aller vergangenen Bauprojekte hat.
Wie funktioniert ihr System (RAG)?
Ihr System heißt RAG (Retrieval-Augmented Generation). Das klingt kompliziert, ist aber eigentlich ganz einfach:
- Der Sucher (Retriever): Wenn eine neue Aufgabe kommt (z. B. „Fenster im Wohnzimmer reparieren"), schaut der Sucher in die Datenbank. Er sucht nach Aufgaben, die sehr ähnlich klingen (z. B. „Fenster im Schlafzimmer reparieren" oder „Tür einbauen"). Er nutzt dabei eine Art „Gedächtnis-Verstärker" (sogenannte Embedding-Modelle), um zu verstehen, dass „Fenster reparieren" und „Fenster tauschen" fast das Gleiche sind, auch wenn die Wörter unterschiedlich sind.
- Der Erklärer (Generator): Der Sucher holt sich die 2 oder 3 ähnlichsten alten Aufgaben mit ihren alten Schätzungen. Diese Informationen gibt er an einen KI-Modell (einen „Erklärer", hier Llama-3) weiter.
- Die Schätzung: Der Erklärer liest die alten Beispiele und sagt: „Okay, das hier ist wie das alte Fenster-Projekt, das wir mit 5 Punkten bewertet haben. Also schätze ich auch 5 Punkte."
Das Ziel war: Schneller, fairer und ohne menschliche Vorurteile.
Was haben sie herausgefunden? (Die Ergebnisse)
Die Forscher haben dieses System mit 23 verschiedenen Software-Projekten getestet (von kleinen Hobbys-Projekten bis zu riesigen Systemen wie Linux). Sie haben zwei verschiedene „Gedächtnis-Verstärker" (Embedding-Modelle) ausprobiert und verschiedene Einstellungen getestet.
Hier ist das Fazit in einfachen Worten:
- Die KI ist gut, aber nicht magisch: Das System funktioniert! Es kann Aufgaben lesen und Schätzungen abgeben. Es ist oft genauso gut wie die alten, manuellen Methoden oder andere Computer-Programme, die sie vorher getestet haben.
- Kein großer Unterschied bei der Größe: Man dachte vielleicht, bei kleinen Projekten funktioniert die KI besser, weil die Datenbank übersichtlicher ist, und bei großen Projekten schlechter, weil es zu viel „Rauschen" gibt. Aber: Nein. Die KI hat bei kleinen, mittleren und großen Projekten fast gleich gut (oder gleich schlecht) gearbeitet.
- Die Wahl des „Gedächtnis-Verstärkers" ist egal: Sie haben zwei verschiedene Technologien verglichen. Eine war etwas moderner als die andere. Aber im Ergebnis: Es machte keinen signifikanten Unterschied. Beide haben ähnlich gut gearbeitet.
- Der große Haken: Obwohl die KI oft gute Ergebnisse lieferte, war sie nicht statistisch signifikant besser als die alten Methoden. Das bedeutet: Sie ist nicht so viel besser, dass man sagen kann: „Wir brauchen Planning Poker nicht mehr, die KI macht es perfekt."
Die Metapher vom Koch
Stell dir vor, du willst ein neues Gericht kochen.
- Planning Poker ist, als würdest du mit 5 anderen Köchen in der Küche stehen, probieren, diskutieren und gemeinsam entscheiden, wie viel Salz rein muss. Es dauert lange, aber am Ende schmeckt es oft gut, weil viele Meinungen einfließen.
- Die RAG-KI ist wie ein Kochbuch, das dir sagt: „Für dieses Gericht haben wir letztes Jahr 2 Esslöffel Salz genommen."
Die Forscher haben herausgefunden: Das Kochbuch (die KI) ist schnell und konsistent. Es liefert sofort eine Antwort. Aber es ist nicht unbedingt besser als die Diskussion der Köche. Manchmal ist das Kochbuch sogar etwas ungenau, weil es nicht versteht, dass der neue Koch vielleicht weniger Salz mag oder die Zutaten eine andere Qualität haben.
Das Fazit für uns alle
Die Studie sagt uns: Ja, wir können KI nutzen, um Arbeit zu sparen. Sie kann dem Team helfen, indem sie Vorschläge macht („Schaut mal, das hier war früher so schwer").
Aber: Wir können die menschliche Diskussion noch nicht komplett durch eine Maschine ersetzen. Die KI ist ein toller Assistent, der die Karten für das Poker-Spiel schon auf den Tisch legt, aber die Menschen müssen sie immer noch ansehen und entscheiden, ob die Schätzung stimmt.
Die Zukunft liegt darin, die KI noch besser zu trainieren und vielleicht Daten aus echten Firmen (nicht nur Open Source) zu nutzen, damit sie die „menschliche Nuance" noch besser versteht. Bis dahin ist sie ein nützliches Werkzeug, aber kein Wunderheilmittel.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.