ReqGenX: An Empirical Study of Atomic Decomposition, Artifact Regeneration, and Reconstruction for Legacy SRS Documents
Dit artikel introduceert ReqGenX, een empirische studie die aantoont dat het deconstrueren van legacy Software Requirements Specification (SRS) documenten naar traceerbare, atomaire beweringen en het regenereren ervan als synthetische pre-SRS artefactën, een fijnmazige evaluatie van LLM-gebaseerde SRS-generatie mogelijk maakt terwijl het kritieke afwegingen tussen getrouwheid, informatiebehoud en artefact-volledigheid onthult.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante, razendsnelle robot probeert te leren hoe hij een regelboek voor een nieuwe videogame moet schrijven. Je overhandigt de robot een slordig, handgeschreven notitieboek uit de jaren '90, vol vage ideeën, gekrabbelde aantekeningen en half afgemaakte gedachten. Je doel is om de robot die slordige notitieboek te laten veranderen in een perfect, professioneel regelboek. Maar hier komt de crux: de robot is zo enthousiast om behulpzaam te zijn dat hij per ongeluk nieuwe regels kan verzinnen, oude kan vergeten, of twee verschillende ideeën tot één verwarrende zin kan samenvoegen. Dit is de wereld van de generatie van Software Requirements Specification (SRS). In de techwereld is een SRS het "meesterontwerp" dat ingenieurs precies vertelt wat een stuk software moet doen. Hoewel Large Language Models (LLM's) — hetzelfde soort AI dat gedichten schrijft en vragen beantwoordt — steeds beter worden in het schrijven van deze blauwdrukken, is het ontzettend moeilijk om te controleren of ze daadwerkelijk de waarheid spreken of gewoon dingen verzinnen. We hebben een manier nodig om elke zin die de robot schrijft terug te kunnen leiden naar het oorspronkelijke, slordige notitieboek om te zien of hij trouw is aan de bron of aan het hallucineren is.
Dit is precies wat de onderzoekers achter ReqGenX probeerden op te lossen. Ze vroegen de AI niet alleen om een nieuw regelboek te schrijven; ze bouwden een slimme, stapsgewijze "fabriek" om te testen hoe goed AI oude, slordige documenten kan afbreken in kleine, onbetwistbare feiten, die feiten kan omzetten in specifieke soorten aantekeningen (zoals "User Stories" of "Quality Checks"), en vervolgens te kijken of die aantekeningen gebruikt kunnen worden om het oorspronkelijke idee te reconstrueren zonder dat er iets verloren gaat. Denk eraan als het uit elkaar halen van een complex Lego-kasteel, waarbij je elke steen voorzichtig losklikt om te labelen, ze sorteert in specifieke dozen, en dan probeert het kasteel weer op te bouwen met behulp van alleen die gesorteerde dozen. De onderzoekers wilden weten: Kan de AI dit doen zonder een enkele steen te verliezen of een nieuwe kleur uit te vinden die niet bestond?
De Fabriek: ReqGenX
Het team creëerde een pijplijn genaamd ReqGenX om te fungeren als een gecontroleerd laboratorium voor dit experiment. In plaats van de AI gewoon een nieuw document te laten "schrijven", dwongen ze de AI om door drie strikte fasen te gaan, waarbij de AI bij elke stap fungeerde als een kwaliteitscontroleur.
Fase 1: De Atomische Afbraak
Eerst neemt de AI een tekstfragment uit een oud document en probeert dit af te breken in "atomen". Stel je een zin voor als: "Het product gebruikt de Qt-bibliotheek en moet op alle ondersteunde besturingssystemen draaien." Voor een mens is dat één zin. Voor de AI zijn dit eigenlijk twee verschillende ideeën die aan elkaar zijn geplakt. Het doel is om ze op te splitsen in "atomaire verklaringen": kleine, op zichzelf staande waarheden die niet verder kunnen worden afgebroken. Eén atoom wordt "Het product gebruikt de Qt-bibliotheek" en de andere wordt "Het product moet op alle ondersteunde besturingssystemen draaien." De onderzoekers ontdekten dat de AI hier eigenlijk erg goed in is. Wanneer ze controleerden of deze kleine atomen getrouw waren aan de oorspronkelijke tekst, waren de scores ongelooflijk hoog, meestal tussen de 0,96 en 0,99 op een schaal waarbij 1,0 perfect is. Ze merkten echter ook op dat de AI soms te enthousiast wordt en een stukje informatie weglaat, of omgekeerd, een stukje behoudt dat te vaag is om nuttig te zijn.
Fase 2: De Sorteerhoed
Zodra de tekst in atomen is afgebroken, moet de AI beslissen wat voor soort aantekening elk atoom is. Dit is als een sorteerhoed in een toverschool. Hoort dit feit bij een "User Story" (een notitie over wat een persoon wil doen)? Hoort het bij een "Quality Note" (een regel over hoe snel of veilig het systeem moet zijn)? Of is het gewoon een "System Context" notitie (achtergrondinformatie)? De onderzoekers gebruikten een team van verschillende AI-modellen om over deze categorieën te stemmen. Ze ontdekten dat de AI geweldig is in het sorteren van algemene ideeën, maar soms moeite heeft met zeer specifieke technische labels. Bijvoorbeeld, wanneer de AI moest beslissen of een zin een "functionele eis" of een "kwaliteitseis" was, waren de AI-modellen het flink met elkaar oneens, waarbij de overeenstemmingsscores in sommige gevallen daalden tot wel 0,31. Dit suggereert dat de AI wel het bos kan zien, maar soms in de war raakt over de specifieke bomen.
Fase 3: De Reconstructie
Ten slotte neemt de AI deze gesorteerde, gelabelde atomen en probeert deze in een nieuw, professioneel ogend document te schrijven. Dit is het moment van de waarheid: kan de AI van deze kleine, gesorteerde feiten weer een samenhangend verhaal maken? De onderzoekers testten dit door de door AI gegenereerde aantekeningen te nemen en een andere AI te vragen het oorspronkelijke document vanuit deze aantekeningen te reconstrueren. Ze kwamen tot de conclusie dat de AI de documenten inderdaad kon reconstrueren, maar het was geen perfecte kopie. De "semantische gelijkenis" (hoezeer de betekenis overeenkwam) was redelijk, variërend van 0,69 tot 0,75, maar de "feitelijke ondersteuning" (bewees de nieuwe tekst daadwerkelijk de oude feiten?) was wat variabeler.
Het Oordeel: Getrouw maar Gebrekkig
Wat hebben de onderzoekers nu eigenlijk ontdekt?
Ten eerste bevestigden ze dat AI een zeer goede bibliothecaris kan zijn. Het kan een slordig, oud document nemen en dit afbreken in kleine, waarheidsgetrouwe feiten met een zeer hoog succespercentage. Meestal zijn de atomen die het creëert voor 96% tot 99% getrouw aan de bron. Dit betekent dat de AI niet zomaar dingen verzint; het houdt zich meestal aan het script.
Ze vonden echter ook een paar belangrijke "maarren".
- Het "Ontbrekende Steentje"-probleem: Hoewel de AI getrouw is, is hij niet perfect in het behouden van alles. Afhankelijk van het document en het gebruikte AI-model varieerde de hoeveelheid succesvol behouden oorspronkelijke informatie (dekking) sterk, van 35,6% tot 93,5%. Dit betekent niet dat de AI loog; het betekent dat de AI voor sommige documenten besloot dat een groot deel van de oorspronkelijke tekst te vaag, redundant of structureel was om als een op zichzelf staande "atoom" te worden behouden, terwijl het voor andere bijna alles behield.
- De "Perfect Template"-valstrik: Wanneer de AI probeerde deze atomen om te zetten in specifieke documenttypen (zoals een "Quality Note"), had het soms moeite om de gaten in te vullen zonder valse details toe te voegen. Hoewel de AI bijna 100% van de tijd een basis "rechter"-test doorstond, toonde een strengere, kritischere test (genaamd Prometheus) aan dat slechts 54,8% tot 97,1% van de artefacten echt compleet en van hoge kwaliteit waren. Dit suggereert dat de AI dingen correct kan laten lijken, maar dat er soms diepe details ontbreken die nodig zijn om echt nuttig te zijn.
- De Reconstructie-kloof: Wanneer ze probeerden het oorspronkelijke document te reconstrueren vanuit de aantekeningen van de AI, was de nieuwe versie een "traceerbaar concept", geen perfect replica. Het legde de hoofdideeën vast, maar de nuance ging verloren tijdens de vertaling.
Wat dit betekent voor de toekomst
De onderzoekers beweren niet dat AI het probleem van het schrijven van software-regelboeken heeft opgelost. In plaats daarvan zeggen ze dat AI een krachtig hulpmiddel is voor het controleren en organiseren van informatie, maar dat het een menselijke gids nodig heeft.
Ze ontdekten dat de grootste flessenhals niet het vermogen van de AI om te schrijven is, maar de granulariteit van het bewijs. Als het oorspronkelijke document vaag is of te veel ideeën combineert, heeft de AI moeite om het in een schoon, bruikbaar formaat om te zetten. De AI kan de ontbrekende context niet magisch verzinnen; het kan alleen werken met wat het krijgt aangeboden.
Uiteindelijk suggereert dit onderzoek dat we AI kunnen gebruiken om "traceerbare synthetische artefacten" te creëren — digitale aantekeningen die terugverwijzen naar de oorspronkelijke bron, zodat we precies kunnen zien waar elk idee vandaan komt. Dit is een enorme stap voorwaarts voor het controleren of de AI de waarheid spreekt. Maar het dient ook als een herinnering: alleen omdat de AI een schoon, professioneel ogend document produceert, betekent dat niet dat het elk enkel detail van het origineel heeft vastgelegd. De AI is een fantastische assistent, maar het heeft nog steeds een mens nodig om de kaart vast te houden en ervoor te zorgen dat er geen enkele steen wordt achtergelaten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.