ReqGenX: An Empirical Study of Atomic Decomposition, Artifact Regeneration, and Reconstruction for Legacy SRS Documents
Dieses Paper stellt ReqGenX vor, eine empirische Studie, die demonstriert, dass die Zerlegung von Legacy-Software-Anforderungsspezifikationsdokumenten (SRS) in rückverfolgbare, atomare Aussagen und deren Regeneration als synthetische Pre-SRS-Artefakte eine feingliedrige Evaluierung der LLM-basierten SRS-Generierung ermöglicht, während gleichzeitig kritische Abwägungen zwischen Treue, Informationserhalt und Artefaktvollständigkeit aufgedeckt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem brillanten, superschnellen Roboter beizubringen, ein Regelwerk für ein neues Videospiel zu schreiben. Sie übergeben dem Roboter ein unordentliches, handgeschriebenes Notizbuch aus den 1990er Jahren, das voller vager Ideen, hingekritzelter Notizen und halbfertiger Gedanken ist. Ihr Ziel ist es, dass der Roboter dieses chaotische Notizbuch in ein perfektes, professionelles Regelwerk verwandelt. Aber hier ist der Haken: Der Roboter ist so begierig, hilfreich zu sein, dass er versehentlich neue Regeln erfinden, alte vergessen oder zwei verschiedene Ideen zu einem verwirrenden Satz vermischen könnte. Das ist die Welt der Erstellung von Software Requirements Specifications (SRS). In der Tech-Welt ist eine SRS der „Master-Blaupause“, die Ingenieuren genau sagt, was eine Software tun soll. Obwohl Large Language Models (LLMs) – dieselbe Art von KI, die Gedichte schreibt und Fragen beantwortet – immer besser darin werden, diese Blaupausen zu schreiben, ist es unglaublich schwer zu überprüfen, ob sie tatsächlich die Wahrheit sagen oder nur Dinge erfinden. Wir brauchen eine Möglichkeit, jeden einzelnen Satz, den der Roboter schreibt, auf das ursprüngliche, chaotische Notizbuch zurückzuverfolgen, um zu sehen, ob er originalgetreu ist oder halluziniert.
Genau das wollten die Forscher hinter ReqGenX lösen. Sie haben die KI nicht einfach nur ein neues Regelwerk schreiben lassen; sie haben eine clevere, schrittweise „Fabrik“ gebaut, um zu testen, wie gut die KI in der Lage ist, alte, unordentliche Dokumente in winzige, unbestreitbare Fakten zu zerlegen, diese Fakten in spezifische Arten von Notizen (wie „User Stories“ oder „Qualitätsprüfungen“) zu verwandeln und dann zu sehen, ob diese Notizen verwendet werden können, um die ursprüngliche Idee wieder aufzubauen, ohne etwas zu verlieren. Stellen Sie sich das vor wie das vorsichtige Auseinandernehmen eines komplexen Lego-Schlosses, bei dem man jeden einzelnen Stein einzeln beschriftet, sie in spezifische Boxen sortiert und dann versucht, das Schloss nur unter Verwendung dieser sortierten Boxen wieder aufzubauen. Die Forscher wollten wissen: Kann die KI dies tun, ohne einen einzigen Stein zu verlieren oder eine neue Farbe zu erfinden, die gar nicht existierte?
Die Fabrik: ReqGenX
Das Team entwickelte eine Pipeline namens ReqGenX, die als kontrolliertes Labor für dieses Experiment fungiert. Anstatt die KI einfach nur ein neues Dokument „schreiben“ zu lassen, zwangen sie sie durch drei strenge Phasen, die wie ein Qualitätskontrolleur bei jedem Schritt agiert.
Stufe 1: Die atomare Zerlegung
Zuerst nimmt die KI ein Textstück aus einem alten Dokument und versucht, es in „Atome“ zu zerlegen. Stellen Sie sich einen Satz wie vor: „Das Produkt verwendet die Qt-Bibliothek und muss auf allen unterstützten Betriebssystemen laufen.“ Für einen Menschen ist das ein einziger Satz. Für die KI besteht dies eigentlich aus zwei verschiedenen, zusammengemischten Ideen. Das Ziel ist es, sie in „atomare Aussagen“ zu zerlegen – winzige, in sich geschlossene Wahrheiten, die nicht weiter unterteilt werden können. Ein Atom wird zu „Das Produkt verwendet die Qt-Bibliothek“ und das andere zu „Das Produkt muss auf allen unterstützten Betriebssystemen laufen“. Die Forscher fanden heraus, dass die KI darin tatsächlich sehr gut ist. Wenn sie überprüften, ob diese winzigen Atome dem Originaltext treu waren, waren die Werte unglaublich hoch, normalerweise zwischen 0,96 und 0,99 auf einer Skala, bei der 1,0 perfekt ist. Sie bemerkten jedoch auch, dass die KI manchmal etwas zu eifrig ist und ein Stück Information weglässt oder umgekehrt ein Stück behält, das zu vage ist, um nützlich zu sein.
Stufe 2: Der Sprechende Hut
Sobend der Text in Atome zerlegt wurde, muss die KI entscheiden, welcher Art von Notiz jedes Atom angehört. Dies ist wie der Sprechende Hut in einer Zaubererschule. Gehört diese Tatsache zu einer „User Story“ (eine Notiz darüber, was eine Person tun möchte)? Gehört sie zu einer „Qualitätsnotiz“ (eine Regel darüber, wie schnell oder sicher das System sein muss)? Oder ist es nur eine „Systemkontext“-Notiz (Hintergrundinformationen)? Die Forscher setzten ein Team verschiedener KI-Modelle ein, um über diese Kategorien abzustimmen. Sie fanden heraus, dass die KI zwar gut darin ist, allgemeine Ideen zu sortieren, aber manchmal mit sehr spezifischen technischen Bezeichnungen Schwierigkeiten hat. Zum Beispiel, wenn versucht wurde zu entscheiden, ob ein Satz eine „funktionale Anforderung“ oder eine „Qualitätsanforderung“ war, stimmten die KI-Modelle untereinander oft nicht überein, wobei die Übereinstimmungswerte in einigen Fällen auf bis zu 0,31 sanken. Dies deutet darauf darauf hin, dass die KI zwar den Wald sehen kann, sich aber manchmal über die spezifischen Arten von Bäumen verwirrt fühlt.
Stufe 3: Die Rekonstruktion
Schließlich nimmt die KI diese sortierten, beschrifteten Atome und versucht, sie in ein neues, professionell aussehendes Dokument zu schreiben. Dies ist der Moment der Wahrheit: Kann die KI aus diesen winzigen, sortierten Fakten wieder eine kohärente Geschichte schreiben? Die Forscher testeten dies, indem sie die von der KI generierten Notizen nahmen und eine andere KI baten, das ursprüngliche Dokument aus ihnen wieder aufzubauen. Sie fanden heraus, dass die KI das Dokument zwar tatsächlich wieder aufbauen konnte, es aber keine perfekte Kopie war. Die „semantische Ähnlichkeit“ (wie sehr die Bedeutung übereinstimmte) war passabel und lag zwischen 0,69 und 0,75, aber die „faktische Unterstützung“ (bewies der neue Text tatsächlich die alten Fakten?) war etwas variabler.
Das Urteil: Treu, aber fehlerhaft
Was haben die Forscher also tatsächlich herausgefunden?
Erstens bestätigten sie, dass KI ein sehr guter Bibliothekar sein kann. Sie kann ein unordentliches, altes Dokument nehmen und es in winzige, wahre Fakten zerlegen, mit einer sehr hohen Erfolgsquote. Meistens sind die Atome, die sie erstellt, zu 96 % bis 99 % dem Quelltext treu. Das bedeutet, dass die KI nicht einfach Dinge aus dem Nichts erfindet; sie hält sich meistens an das Skript.
Sie fanden jedoch auch einige wichtige „Aber“.
- Das „Fehlender-Stein-Problem“: Obwohl die KI treu ist, ist sie nicht perfekt darin, alles zu bewahren. Je nach Dokument und verwendetem KI-Modell variierte die Menge der erfolgreich bewahrten ursprünglichen Informationen (Coverage) stark und lag zwischen 35,6 % und 93,5 %. Das bedeutet nicht, dass die KI gelogen hat; es bedeutet, dass die KI für einige Dokumente entschied, dass ein großer Teil des ursprünglichen Textes zu vage, redundant oder strukturell bedingt war, um als eigenständiges „Atom“ erhalten zu werden, während sie bei anderen fast alles bewahrte.
- Die „Perfekte-Vorlage-Falle“: Wenn die KI versuchte, diese Atome in spezifische Dokumenttypen (wie eine „Qualitätsnotiz“) zu verwandst, hatte sie manchmal Schwierigkeiten, alle Lücken zu füllen, ohne künstliche Details hinzuzufügen. Während die KI einen einfachen „Richter-Test“ fast 100 % der Zeit bestand, zeigte ein strengerer, kritischerer Test (genannt Prometheus), dass nur 54,8 % bis 97,1 % der Artefakte wirklich vollständig und hochwertig waren. Dies deutet darauf hin, dass die KI Dinge zwar richtig aussehen lassen kann, aber manchmal die tiefen Details fehlen, die sie wirklich nützlich machen würden.
- Die Rekonstruktionslücke: Als sie versuchten, das ursprüngliche Dokument aus den Notizen der KI wieder aufzubauen, war die neue Version ein „rückverfolgbares Entwurfsdokument“, aber keine perfekte Replik. Sie erfasste die Hauptideen, aber einige Nuancen gingen in der Übersetzung verloren.
Was dies für die Zukunft bedeutet
Die Forscher sagen nicht, dass die KI das Problem der Erstellung von Software-Regelbüchern gelöst hat. Stattdessen sagen sie, dass KI ein mächtiges Werkzeug zum Prüfen und Organisieren von Informationen ist, aber sie braucht einen menschlichen Wegweiser.
Sie fanden heraus, dass der größte Engpass nicht die Fähigkeit der KI zu schreiben ist, sondern die Granularität der Beweise. Wenn das Originaldokument vage ist oder zu viele Ideen vermischt, hat die KI Schwierigkeiten, es in ein sauberes, nutzbares Format zu bringen. Die KI kann den fehlenden Kontext nicht magisch erfinden; sie kann nur mit dem arbeiten, was ihr gegeben wird.
Letztendlich legt diese Studie nahe, dass wir KI verwenden können, um „rückverfolgbare synthetische Artefakte“ zu erstellen – digitale Notizen, die sich auf die Originalquelle beziehen, damit wir genau sehen können, woher jede Idee stammt. Dies ist ein riesiger Schritt nach vorn, um zu prüfen, ob eine KI die Wahrheit sagt. Aber es dient auch als Erinnerung: Nur weil die KI ein sauberes, professionelles Dokument produziert, bedeutet das nicht, dass sie jedes einzelne Detail des Originals erfasst hat. Die KI ist eine fantastische Assistentin, aber sie braucht immer noch einen Menschen, der die Karte hält und sicherstellt, dass kein Stein zurückgelassen wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.