ARQM: A Tool for Requirements Quality Analysis

Stellen Sie sich vor, Sie sind der Herausgeber einer riesigen, chaotischen Bibliothek, in der jedes Buch ein Bauplan für etwas Neues ist – eine Brücke, ein Videospiel oder ein Raumschiff. Doch bevor der erste Stein gelegt oder die erste Zeile Code geschrieben wird, müssen die Architekten genau aufschreiben, was sie benötigen. Diese Notizen nennt man „Anforderungen“ (Requirements). Aber hier ist der Haken: Menschen sind schlecht darin, diese Notizen perfekt zu schreiben. Wir werden müde, wir verwenden vage Wörter wie „vielleicht“ oder „schnell“, und manchmal schreiben wir versehentlich Dinge, die einander widersprechen. Wenn der Bauplan unordentlich ist, stürzt das Gebäude ein oder das Spiel stürzt ab. Dies ist die Welt des Requirements Engineering: der chaotische, risikoreiche Prozess, menschliche Ideen in klare, strikte Anweisungen für Maschinen zu verwandeln.

Um dies zu beheben, bauen Wissenschaftler schon seit Jahrzehnten digitale „Korrekturleser“. Traditionell waren diese Korrekturleser wie strenge Bibliothekare mit einem roten Stift und einer Liste einfacher Regeln: „Wenn du das Wort ‚muss‘ siehst, ist es eine Anforderung. Wenn du das Wort ‚Prozess‘ siehst, ist es keine.“ Aber diese alten Regeln übersehen oft die Nuancen der menschlichen Sprache. Hier kommt die Künstliche Intelligenz (KI) und das Maschinelle Lernen (ML) ins Spiel. Betrachten Sie diese nicht als bloße Regelbefolger, sondern als äußerst aufmerksame Lehrlinge, die Millionen von Dokumenten gelesen haben. Anstatt nur nach bestimmten Wörtern zu suchen, lernen sie den „Vibe“ eines Satzes und verstehen den Kontext und die Bedeutung auf eine Weise, wie es einfache Listen nie könnten. Die große Frage, die sich die Forscher stellen, lautet: Können diese klugen Lehrlinge einen besseren Job machen als die alten, regelbasierten Bibliothekare, indem sie schlechte Baupläne erkennen, noch bevor der Bau beginnt?

Dieses Paper stellt einen neuen digitalen Lehrling namens ARQM (Automated Requirements Quality Management) vor. Die Forscher der Pennsylvania State University haben dieses Werkzeug entwickelt, um als unermüdlicher, hyperaufmerksamer Editor für Anforderungsdokumente zu fungieren. Im Gegensatz zu seinen Vorgängern, die auf veralteten, starren Regeln basierten, nutzt ARQM moderne KI, um Dokumente zu „lesen“ und zwei Hauptaufgaben auszuführen. Erstens fungiert es als Filter, der durch einen ungeordneten Textstapel sortiert, um zu entscheiden: „Ist dieser Satz tatsächlich eine Anforderung oder ist es nur Hintergrundrauschen?“ Zweitens fungiert es als Qualitätsprüfer, der überprüft, ob die Anforderungen, die den Filter passieren, auch wirklich gut sind. Es sucht nach spezifischen „Gerüchen“ oder Verstößen basierend auf dem IEEE 29148 Standard – einem globalen Regelwerk darüber, was eine Anforderung klar, testbar und eindeutig macht.

Das Team hat das Werkzeug nicht nur gebaut; sie haben es durch ein strenges Trainingslager geschickt. Sie fütterten es mit Tausenden von Sätzen aus einem öffentlichen Datensatz namens PURE (PUblic REquirements), um es darauf zu trainieren, Anforderungen zu erkennen. Dann testeten sie es an einem speziellen Satz von Dokumenten, die von menschlichen Experten sorgfältig etikettiert worden waren, um vier spezifische Arten von Qualitätsproblemen zu prüfen: Ambiguität (ist es verwirrend?), Machbarkeit (kann es tatsächlich umgesetzt werden?), Singularität (versucht es zu viele Dinge gleichzeitig zu tun?) und Verifizierbarkeit (kann man beweisen, dass es funktioniert?).

Die Ergebnisse legen nahe, dass der KI-Lehrling in der Tat eine leistungsstarke neue Einstellung ist. Wenn es darum ging, schlichtweg zu identifizieren, was eine Anforderung ist und was nicht, schnitt das fortschrittlichste Modell des Tools, DistilBERT, besser ab als fast jede andere getestete Methode und erreichte ein hohes Maß an Genauigkeit. Es lernte, dass Anforderungen oft formal und starr klingen (Wörter wie „soll“ oder „muss“ verwenden), während Nicht-Anforderungen oft wie administratives Geplapper klingen. Das Paper merkt jedoch an, dass die KI nicht magisch ist; sie hat immer noch Schwierigkeiten mit den subtilsten, menschlichen Nuancen. Zum Beispiel war die KI sehr gut darin, Anforderungen zu erkennen, die „singular“ (fokussiert auf eine Sache) waren, aber sie fiel es schwerer, mit Menschen darüber übereinzustimmen, was als „ambig" oder „verifizierbar“ galt. Dies deutet darauf darauf hin, dass die KI zwar offensichtliche Fehler finden kann, die schwierigsten, subjektivsten Fehler jedoch immer noch eine menschliche Hand erfordern.

Eines der coolsten Merkmale von ARQM ist die Nutzung von Explainable AI (XAI). Anstatt nur zu sagen: „Dieser Satz ist schlecht“, hebt das Tool die spezifischen Wörter hervor, die es zu dieser Entscheidung bewogen haben. Es ist, als würde ein Lehrer genau diese Phrase mit einem Kreis markieren und daneben schreiben: „Dieses Wort ist zu vage.“ Dies hilft dem menschlichen Autor zu verstehen, warum seine Anforderung korrigiert werden muss, anstatt nur eine kryptische Fehlermeldung zu erhalten.

Die Forscher weisen vorsichtig darauf hin, dass ihr Werkzeug noch kein perfektes, gelöstes Problem ist. Sie fanden heraus, dass ihre Trainingsdaten einige Lücken aufwiesen; zum Beispiel gab es sehr wenige Beispiele für „unmachbare“ Anforderungen, was es der KI erschwerte, diese spezifische Lektion zu lernen. Sie stellten auch fest, dass die menschlichen Experten, die die Daten etikettiert hatten, nicht immer übereinstimmten, was bedeutete, dass die KI manchmal von widersprüchlichen Anweisungen lernen musste. Trotz dieser Einschränkungen legt die Studie nahe, dass moderne KI-Methoden ein bedeutender Schritt nach vorn sind. Sie können allgemeine Muster lernen, die alte regelbasierte Tools übersehen haben, und bieten einen schnelleren, ganzheitlicheren Weg, um die Baupläne unserer digitalen Welt zu bereinigen. Das Paper schließt mit dem Schlusswort, dass ARQM ein starker Anfang ist, aber die Zukunft dieser Technologie darin liegt, sie mit noch vielfältigeren Daten zu trainieren und ihr zu helfen, den tieferen Kontext der Projekte zu verstehen, bei denen sie hilft.