Entity and non-functional-requirement extraction from user stories: evidence from supervised sequence models and reproducible LLM benchmarking
Diese Arbeit evaluiert überwachte Sequenzmodelle und Open-Weight-LLMs für die Extraktion von Entitäten und nicht-funktionalen Anforderungen aus User Stories und zeigt auf, dass ein BiLSTM-CRF-Modell auf einem neu veröffentlichten, reproduzierbaren Benchmark Zero-Shot- und One-Shot-LLMs signifikant übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Software-Teams schreiben ihre Pläne oft in Form von kurzen, natürlichen Sätzen, die als User Stories bezeichnet werden. Diese Notizen folgen einem einfachen Muster: „Als [Person] möchte ich [Aktion], damit [Grund].“ Sie sollen erfassen, was ein Stück Software tun soll und warum es wichtig ist. Während Menschen diese Notizen leicht lesen können, haben Computer Schwierigkeiten, sie zu verstehen. Die Sätze sind oft unordentlich, unvollständig oder so geschrieben, dass sie nicht in eine strikte Vorlage passen. Um bessere Werkzeuge für die Verwaltung von Software zu entwickeln, müssen Forscher einen Weg finden, wie sie Computer lehren können, diese Geschichten zu lesen und die spezifischen Informationsteile herauszuziehen: wer beteiligt ist, was sie tun wollen und warum sie es wollen. Sie müssen auch versteckte Anforderungen erkennen, wie etwa Regeln über Geschwindigkeit, Privatsphäre oder die Benutzerfreundlichkeit des Systems, die oft im Text verborgen oder gar nicht ausgesprochen sind.
Ein Team von Forschern setzte sich zum Ziel, dieses Problem zu lösen, indem es zwei verschiedene Ansätze testete, um Computer beizubringen, wie man diese Details extrahiert. Der erste Ansatz verwendet eine spezialisierte Art von Computerprogramm, das auf Tausenden von Beispielen trainiert wurde, um wie ein sorgfältiger Editor zu fungieren, der die exakten Wörter hervorhebt, die in die jeweilige Kategorie passen. Der zweite Ansatz nutzt Large Language Models, welche leistungsstarke KI-Systeme sind, die in der Lage sind, menschliche Sprache zu verstehen und zu generieren, ohne für die spezifische Aufgabe ein spezielles Training zu benötigen. Die Forscher wollten sehen, welche Methode die korrekten Informationen aus einer großen Sammlung von Software-Stories genauer extrahieren konnte und ob die neueren, flexibleren KI-Werkzeuge die älteren, starreren Methoden übertreffen könnten.
Das Team begann mit der Zusammenstellung einer massiven Sammlung von 2.234 englischen User Stories aus verschiedenen öffentlichen Quellen, darunter Software-Entwickler-Communities und Anforderungsdatenbanken. Sie beschrifteten diese Stories von Hand, indem sie genau markierten, welche Wörter die Person, die Aktion und das Ziel repräsentierten. Dann testeten sie eine Reihe von Computermodellen an diesen Daten. Das erfolgreichste Modell war ein System, das Text gleichzeitig in beide Richtungen liest, was ihm ermöglicht, den Kontext eines Wortes zu verstehen, indem es sich die Wörter davor und danach ansieht. Dieses Modell identifizierte, wenn es auf der ursprünglichen Sammlung trainiert wurde, die Schlüsselteile der Geschichten zu 96,2 % der Zeit korrekt. Als die Forscher mehr Beispiele zum Trainingsdatensatz hinzufügten, indem sie leichte Variationen der bestehenden Geschichten erstellten, verbesserte sich die Genauigkeit des Modells auf 98,6 %. Dieses System erwies sich auch als sehr gut darin, die fünf spezifischen Qualitätsaspekte zu erkennen, nach denen das Team gesucht hatte: Privatsphäre, Leistung, Benutzerfreundlichkeit, Skalierbarkeit und Wartbarkeit.
Um sicherzustellen, dass ihre Ergebnisse fair und für andere überprüfbar waren, erstellten die Forscher einen neuen, gemeinsamen Testdatensatz, der vom Trainingsdatensatz getrennt gehalten wurde. Sie luden sieben verschiedene Large Language Models ein, dieselbe Aufgabe zu versuchen. Diesen Modellen wurden die Stories vorgelegt, und sie wurden angewiesen, die Antworten in einem strikten Format zurückzugeben, ohne zusätzliche Erklärungen. Die Forscher maßen den Erfolg, indem sie prüften, ob die Antwort des Computers wortwörtlich und in der exakt gleichen Reihenfolge mit der von Menschen beschrifteten Antwort übereinstimmte. Die Ergebnisse zeigten eine deutliche Lücke zwischen den beiden Arten von Technologie. Das spezialisierte Computerprogramm, das auf die spezifischen Daten trainiert wurde, erreichte einen Genauigkeitswert von 0,953 auf dem neuen Testdatensatz. Selbst als die Forscher eine kleine Anzahl sicherer, modifizierter Beispiele zu seinem Training hinzufügten, stieg der Wert auf 0,961.
Im Gegensatz dazu hatten die Large Language Models, selbst die leistungsfähigsten, die verfügbar waren, erhebliche Schwierigkeiten, wenn es darum ging, die exakten Grenzen der Wörter einzuhalten. Das am besten abschneidende Large Language Model, das ohne spezifische Beispiele zum Lernen eingesetzt wurde, erreichte nur 0,414. Als die Forscher diesem Modell ein Beispiel gaben, um es in die Aufgabe einzuführen, verbesserte sich sein Wert leicht auf 0,434. Das Hauptproblem war, dass diese Modelle zwar oft die allgemeine Bedeutung der Geschichte verstanden, aber häufig zu viele oder zu wenige Wörter in ihren Antworten enthielten oder die falschen Start- und Endpunkte für die Phrasen wählten. Da die Testanforderung eine exakte Übereinstimmung verlangte, zählten diese kleinen Fehler als Fehler. Das spezialisierte Programm hingegen war darauf ausgelegt, genau diese exakten Grenzen zu finden, was es für diese spezifische Aufgabe weitaus zuverlässiger machte.
Die Studie untersuchte auch, wie schnell diese Systeme arbeiteten. Das spezialisierte Programm konnte eine einzelne Story in weniger als einer halben Millisekunde auf einem Standardcomputer verarbeiten, was es für große Sammlungen von Daten unglaublich schnell macht. Die Large Language Models benötigten viel länger und brauchten im Durchschnitt etwa 0,7 Sekunden pro Story, was ein signifikanter Unterschied ist, wenn man mit Tausenden von Dokumenten arbeitet. Die Forscher merkten an, dass Large Language Models zwar exzellent darin sind, die allgemeine Idee zu verstehen, und hilfreich für eine schnelle Überprüfung durch einen Menschen sein können, aber noch nicht bereit sind, die spezialisierten Programme für Aufgaben zu ersetzen, die eine präzise, automatisierte Extraktion spezifischer Details erfordern.
Die Forscher waren sorgfältig darauf bedacht, die Grenzen ihrer Arbeit aufzuzeigen. Sie konnten ein früheres, größeres Experiment nicht vollständig reproduzieren, da einige der ursprünglichen Daten und Protokolle fehlten. Sie merkten auch an, dass der von ihnen erstellte gemeinsame Benchmark die Labels für die Qualitätsaspekte (NFR) absichtlich leer ließ, da die verfügbaren Quelldaten nicht für Story-Ebene-Kategorien validiert worden waren. Folglich erlaubt dieser neue gemeinsame Testdatensatz keinen fairen Vergleich darüber, wie gut die Large Language Models diese spezifischen nicht-funktionalen Anforderungen bearbeitet haben. Die Studie kommt zu dem Schluss, dass für Teams, die tausende von Software-Stories automatisch nach spezifischen Akteuren, Aktionen und Zielen sortieren müssen, das spezialisierte Computerprogramm das genaueste und effizienteste Werkzeug bleibt. Die Large Language Models können als hilfreicher Assistent für einen menschlichen Analysten dienen, aber sie können noch nicht darauf vertraut werden, die Arbeit allein ohne sorgfältige Prüfung zu erledigen. Die Forscher haben ihre Daten und Werkzeuge veröffentlicht, damit andere Wissenschaftler diese Ergebnisse verifizieren und die Technologie weiter verbessern können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.