Technische Samenvatting: AutoRE-NS

Probleemstelling

Moderne industriële softwaresystemen worden geconfronteerd met een exponentiële escalatie in het volume en de complexiteit van eisen, wat klassieke handmatige engineeringprocessen tot een bottleneck maakt. Hoewel er bestaande geautomatiseerde oplossingen zijn, zijn deze voornamelijk beperkt tot syntactische analyse en basisconsistentievalidatie. Deze traditionele tools falen in het bieden van het diepe semantische begrip dat nodig is voor geavanceerde conflictdetectie, kwaliteitsoptimalisatie en contextuele analyse, wat vaak resulteert in rigide regelgebaseerde systemen of "black-box" machine learning-modellen die gebrek aan uitlegbaarheid vertonen.

Methodologie

Het paper stelt AutoRE-NS voor, een flexibel, geautomatiseerd framework ontworpen om de kwaliteit van eisen te verbeteren en complexiteit te beoordelen. Het systeem maakt gebruik van een neuro-symbolische architectuur geïntegreerd met reinforcement learning, gestructureerd in drie afzonderlijke lagen:

1. Neuro-Perceptie Laag (Semantische Analyse):

   • Maakt gebruik van getrainde transformer-modellen die specifely zijn afgestemd op de terminologie van requirements engineering en domeinafhankelijke taal.
   • Voert contextuele embedding, requirement-encoding, classificatie, relatie-extractie en kwaliteitsscoring uit.
   • Vertaalt ongestructureerde natuurlijke taal-eisen naar gestructureerde semantische representaties.

2. Symbolische Redeneringslaag (Formele Validatie):

   • Maakt gebruik van een kennisbank die best practices voor requirements engineering, domeinrestricties en kwaliteitheuristieken bevat.
   • Voert een verificatiemotor uit die controleert op consistentie, volledigheid en haalbaarheid.
   • Genereert een uitgebreide toestandsvector ($S$) die genormaliseerde kwaliteitsmetrieken representeert (bijv. consistentie, ambiguïteit, testbaarheid).

3. Adaptieve Beleidslaag (Optimalisatie):

   • Implementeert een Markov Decision Process (MDP) om de selectie en verfijning van eisen te optimaliseren.
   • Wordt aangedreven door een Deep Q-Network (DQN) die optimale beleidsregels leert door interactie met een gesimuleerde projectomgeving.
   • Adapteert dynamisch om conflicten op te lossen en redundantie te elimineren, terwijl menselijk toezicht behouden blijft.

Het framework is ontworpen als Explainable AI (XAI), waarbij het begrijpelijke rechtvaardigingen biedt voor zijn beslissingen, waardoor de kloof tussen geautomatiseerde efficiëntie en engineering-vertrouwen wordt overbrugd.

Belangrijkste Bijdragen

Het paper schetst vier primaire bijdragen:

1. Neuro-Symbolische Architectuur: Een nieuw drie-lagen framework voor uitgebreide eisenanalyse dat neurale patroonherkenning combineert met symbolische redenering.
2. Adaptieve Optimalisatie: De implementatie van deep reinforcement learning om eisen adaptief te optimaliseren, waarmee men verder gaat dan statische regelsets.
3. Uitlegbaarheid: Een ontwerp dat ervoor zorgt dat alle geautomatiseerde beoordelingen en optimalisaties vergezeld gaan van transparante, voor mensen leesbare rechtvaardigingen.
4. Empirische Validatie: Rigoureuze tests uitgevoerd op grootschalige industriële datasets om praktische haalbaarheid aan te tonen.

Experimentele Resultaten

Het framework werd geëvalueerd op een dataset van 2.548 eisen verspreid over zes industriële domeinen (Gezondheidszorg, Automotive, Embedded Systemen, E-commerce, Financiën en Telecommunicatie).

Efficiëntie en Reductie:

• Eisvolume: Bereikte een reductie van 87,2% in het totaal aantal eisen (van 2.548 naar 326) door redundantie te elimineren terwijl de semantische inhoud behouden bleef.
• Conflictresolutie: Loste 86,6% van de kritieke conflicten en 83,1% van de matige conflicten op. (Opmerking: De abstract vermeldt een algemeen cijfer van 83,5% voor opgeloste conflicten, terwijl Tabel 3 specifiek 83,1% voor matige conflicten vermeldt).
• Eliminatie van Duplicaten: Elimineerde 97,0% van de exacte duplicaten en 94,4% van de semantische duplicaten.
• Verwerkingstijd: Verminderde de gemiddelde verwerkingstijd van 52,7 uur naar 2,4 uur (een verbetering van 95,4%).

Verbeteringen in Kwaliteitsmetrieken:
Statistische analyse (p < 0,001 voor de meeste metrieken) toonde significante verbeteringen in kwaliteitsdimensies:

• Ambiguïteit: Verminderd met 38,4%.
• Consistentie: Verbeterd met 25,7%.
• Verifieerbaarheid: Verbeterd met 30,8%.
• Traceerbaarheid: Verbeterd met 26,8%.
• Volledigheid: Toegenomen met 14,2%.
• Atomiciteit: Toegenomen met 9,8%.

Vergelijkbare Prestaties:
AutoRE-NS presteerde beter dan baseline-benaderingen (REQANALYZER, SMART-RE, Regelgebaseerde Systemen) in conflictresolutie (86,6% vs. 48,3–61,5%) en duplicatendetectie (95,7% vs. 58,9–76,8%). Hoewel handmatige beoordeling een iets hogere conflictresolutie liet zien (94,2%), bood AutoRE-NS een significant voordeel in verwerkingssnelheid en schaalbaarheid.

Betekenis en Claims

Het paper claimt dat AutoRE-NS een belangrijke stap voorwaarts is in het automatiseren van requirements engineering, met name voor veiligheidsgeoriënteerde, nalevingsgerichte en complexe industriële systemen waar de kwaliteit van eisen cruciaal is voor het projectsucces.

De auteurs stellen dat het framework er succesvol in slaagt de bottleneck van exponentiële eisengroei aan te pakken door een robuuste, uitlegbare oplossing te bieden die een balans vindt tussen automatisering en menselijk toezicht. De uitgebreide validatie op industriële datasets van grote schaal demonstreert de praktische betrouwbaarheid van de aanpak. Het paper concludeert dat hoewel de huidige resultaten veelbelovend zijn, toekomstig werk zich moet richten op het verbeteren van cross-domein adaptatie, real-time mens-AI integratie en diepere integratie met ontwikkeltools.

Noot: De auteurs erkennen bedreigingen voor de validiteit, waarbij zij opmerken dat hoewel de interne validiteit werd versterkt door code-reviews en hyperparameteroptimalisatie, en de externe validiteit werd ondersteund door multi-domein testen, verdere longitudinale studies en bredere domeinbereiken nodig zijn om de bevindingen volledig te generaliseren.