🤖 AI

Automating the Detection of Requirement Dependencies Using Large Language Models

Dit paper introduceert LEREDD, een op Large Language Models gebaseerde aanpak die Retrieval-Augmented Generation en In-Context Learning combineert om afhankelijkheden tussen requirements automatisch en nauwkeurig te detecteren, waarbij het significant beter presteert dan bestaande methoden en een nieuw geannoteerd dataset beschikbaar stelt.

Oorspronkelijke auteurs: Ikram Darif, Feifei Niu, Manel Abdellatif, Lionel C. Briand, Ramesh S., Arun Adiththan

Gepubliceerd 2026-02-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ikram Darif, Feifei Niu, Manel Abdellatif, Lionel C. Briand, Ramesh S., Arun Adiththan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🚗 De "Super-Regisseur" voor Software: LEREDD

Stel je voor dat je een enorm groot bouwproject hebt, zoals het bouwen van een moderne auto. Duizenden mensen werken eraan, en er zijn duizenden instructies (eisen) geschreven in gewone taal. Bijvoorbeeld: "De auto moet remmen als er een obstakel is" en "Het systeem moet de snelheid controleren."

Het probleem? Deze instructies zijn niet los van elkaar. Ze zijn met elkaar verbonden. Als je de remmen aanpast, moet je misschien ook het systeem voor de snelheid controleren. Als je dit niet ziet, kan de auto gevaarlijk worden of niet werken.

Het probleem:
Mensen zijn niet goed in het vinden van al deze verbindingen. Het is te veel werk, te saai, en de taal is vaak vaag. Het is alsof je in een bibliotheek met miljoenen boeken moet zoeken naar welke bladzijden op elkaar verwijzen, zonder een index.

De oplossing: LEREDD
De auteurs van dit paper hebben een slimme computerprogramma bedacht, genaamd LEREDD. Dit is geen gewone computer, maar een AI die een "Super-Regisseur" is.

Hoe werkt LEREDD? (De 3 Trucs)

Stel je voor dat LEREDD een detective is die twee instructies (eisen) naast elkaar zet en vraagt: "Zijn deze twee met elkaar verbonden?" Om dit goed te doen, gebruikt hij drie slimme trucs:

De "Context-Bibliotheek" (RAG):
Stel je voor dat de detective alleen de twee zinnen leest. Dat is vaak niet genoeg. LEREDD kijkt eerst in de hele "handboek" van de auto (het SRS-document) om te zien wat de auto eigenlijk is.
- Vergelijking: Het is alsof je een raadsel probeert op te lossen. Als je alleen de vraag ziet, is het lastig. Maar als je ook het hele verhaal erbij pakt, snap je de context. LEREDD haalt die context erbij zodat hij weet dat "BCS" betekent dat het systeem remt.
De "Voorbeeld-Map" (In-Context Learning):
De detective kijkt niet alleen naar de regels, maar pakt ook een map met voorbeelden. "Kijk, hier is een paar instructies dat 'Ja, ze hangen samen' betekent, en hier is een paar dat 'Nee, dat is los' betekent."
- Vergelijking: Het is alsof je een student bent die een examen doet. In plaats van alleen de vraag te zien, mag hij een paar voorbeeldvragen met antwoorden bekijken om te snappen wat de leraar bedoelt. LEREDD zoekt de beste voorbeelden uit zijn geheugen om de AI te helpen.
De "Redenering" (Self-Reflection):
De AI zegt niet alleen "Ja" of "Nee". Hij moet ook uitleggen waarom en geeft een vertrouwensscore (bijvoorbeeld: "Ik ben 90% zeker").
- Vergelijking: Het is alsof een detective niet alleen de dader aanwijst, maar ook een verslag schrijft met de redenen en zegt hoe zeker hij is. Dit voorkomt dat de AI zomaar wat verzint.

Wat hebben ze ontdekt? (De Resultaten)

De onderzoekers hebben LEREDD getest tegen andere slimme methoden (zoals oude zoekmachines en andere AI-modellen). Het resultaat was indrukwekkend:

Hij is een meester in het vinden van "Nee": LEREDD is fantastisch in het zeggen: "Deze twee instructies hebben niets met elkaar te maken." Dit is heel belangrijk, want in de echte wereld zijn de meeste instructies niet met elkaar verbonden. Door deze "losse" instructies snel weg te filteren, bespaart hij mensen uren aan werk.
Hij is beter dan de rest: Andere methoden (zoals de "gewone" AI zonder voorbeelden) maakten veel fouten bij de moeilijke, fijne details. LEREDD deed het veel beter, vooral bij de complexe verbindingen.
Hij werkt ook zonder voorbeelden: Zelfs als LEREDD wordt getest op een nieuwe auto waar hij nog nooit van gehoord heeft (en waar dus geen voorbeelden van zijn), werkt hij nog steeds heel goed. Andere methoden vielen daar vaak op in.

Waarom is dit geweldig?

Vroeger moesten mensen urenlang zitten om te kijken of instructies met elkaar verbonden waren. Nu kan LEREDD als een slimme filter fungeren.

Hij pakt alle duizenden instructies.
Hij zegt: "Deze 90% hebben niets met elkaar te maken, die kunnen jullie negeren."
Hij zegt: "Deze 10% zijn belangrijk, kijk daar even naar."

Dit maakt het werk voor software-engineers veel sneller, goedkoper en veiliger. Het is alsof je van een hele berg papierwerk een stapeltje hebt gemaakt dat je in 5 minuten kunt afwerken.

Kortom: LEREDD is een slimme AI-assistent die, met behulp van voorbeelden en context, de ingewikkelde web van software-regels doorziet en ons helpt om fouten te voorkomen voordat de auto (of software) überhaupt gebouwd is.

Titel: Automatisering van het Detecteren van Vereiste-afhankelijkheden met Grote Taalmodellen (LLM's)

Auteurs: Ikram Darif, Feifei Niu, Manel Abdellatif, Lionel C. Briand, Ramesh S en Arun Adiththan.
Context: Universiteit van Ottawa, École de technologie supérieure, Lero Centre, en General Motors.

1. Het Probleem

Moderne softwaresystemen worden steeds complexer, wat leidt tot een groot aantal vereisten (requirements) die sterk met elkaar verbonden zijn. Het identificeren, classificeren en beheren van deze vereiste-afhankelijkheden (requirement dependencies) is cruciaal voor impactanalyse, consistentie en kwaliteitsborging. Echter, deze taak is:

Moeilijk en tijdrovend: Vereisten worden vaak in onduidelijk natuurlijk taal (Natural Language - NL) geschreven.
Foutgevoelig: Manuele detectie is subjectief en vatbaar voor menselijke fouten.
Beperkt door bestaande methoden:
- Retrieval-based methoden (zoals TF-IDF/LSA) missen domeinspecifieke context en inferentie.
- Kennis-based methoden (ontologieën) zijn arbeidsintensief om te onderhouden.
- Machine Learning (ML) methoden vereisen grote, gelabelde datasets en worstelen met class imbalance (onafhankelijke vereisten zijn veel talrijker dan afhankelijke).
Onderbenutte potentie: Hoewel Large Language Models (LLM's) sterk zijn in NL-verwerking, is hun effectiviteit voor het automatisch detecteren van diverse soorten vereiste-afhankelijkheden nog niet grondig onderzocht.

2. Methodologie: LEREDD

De auteurs stellen LEREDD (LLM-Enabled REquirement Dependency Detection) voor, een geautomatiseerde aanpak die LLM's combineert met Retrieval-Augmented Generation (RAG) en In-Context Learning (ICL).

Het Framework:
Het proces bestaat uit twee fasen:

Kennisretrieval (Knowledge Retrieval):
- Contextuele Retrieval (RAG): Het systeem haalt domeinspecifieke informatie uit het Software Requirement Specification (SRS)-document. Dit wordt gedaan door het document te chunken en de $k=10$ meest semantisch vergelijkbare chunks op te halen om context te bieden (bijv. definities van subsystemen).
- Dynamische Voorbeeld-Retrieval (ICL): Voor elke te analyseren paar vereisten worden relevante voorbeelden opgehaald uit een gelabelde dataset. Er worden voorbeelden gezocht voor elke afhankelijkheidstypus (en het "geen-afhankelijkheid"-geval) om het model te trainen in de context van de prompt. De selectie gebeurt via SBERT-embeddings en een specifieke similariteitsformule (maximale similariteit tussen de paren).
Afhankelijkheidsinferentie (Dependency Inference):
- Een LLM (in dit geval GPT-4.1) ontvangt een verrijkte prompt met: de twee vereisten, formele definities van de afhankelijkheidstypen, de opgehaalde context (RAG), en de opgehaalde voorbeelden (ICL).
- Het model moet een voorspelling doen, een onderbouwing (rationale) geven en een betrouwbaarheidsscore (0-5) leveren. Dit stimuleert "self-reflection" en reduceert hallucinaties.

Ondersteunde Afhankelijkheidstypen:
Het systeem detecteert zeven typen: Requires, Implements, Conflicts, Contradicts, Details, Is similar, en Is a variant, naast de categorie No dependency.

3. Experimentele Opzet

Dataset: Een nieuw, handmatig gelabeld dataset van 813 vereistenparen uit drie verschillende automobiel-systemen (Traffic Jam Assist, Automated Parking Assist, Adaptive Driving Beam).
Benchmarks: Vergelijking met twee state-of-the-art baselines:
1. TF-IDF & LSA (Retrieval-based).
2. Fine-tuned BERT (ML-based).
Evaluatievragen (RQ's):
- Welke LLM presteert het beste in een zero-shot setting?
- Wat is de beste prompting-strategie (zero-shot vs. few-shot vs. RAG)?
- Hoe presteert LEREDD binnen dezelfde dataset (intra-dataset)?
- Hoe presteert LEREDD over verschillende datasets heen (cross-dataset)?

4. Belangrijkste Resultaten

De resultaten tonen aan dat LEREDD de bestaande methoden aanzienlijk overtreft:

Zero-shot Beperkingen: Zelfs de beste zero-shot LLM (GPT-4.1) presteert matig op fijne-granulairheidsafhankelijkheden (gemiddelde F1-score 0.39), hoewel hij goed is in het detecteren van "geen afhankelijkheid".
Effectiviteit van LEREDD:
- Algemene prestatie: LEREDD bereikt een nauwkeurigheid van 92,66% en een F1-score van 84,33% over alle typen en systemen.
- Geen-afhankelijkheid (No Dependency): LEREDD bereikt een F1-score van 96% voor deze categorie, die de meerderheid van de paren uitmaakt. Dit is cruciaal voor het filteren van irrelevante paren.
- Fijne-granulairheid: Voor de Requires-afhankelijkheid overtreft LEREDD de baselines met relatieve winsten van 94,87% en 105,41% in F1-score.
Robuustheid (Cross-Dataset):
- Waar fine-tuned BERT sterk degradeert bij het testen op een ander systeem dan het trainingssysteem (vanwege data-imbalance en overfitting), behoudt LEREDD zijn hoge prestaties. De nauwkeurigheid daalt slechts met 1,61% bij cross-dataset evaluatie.
Optimale Configuratie: De beste resultaten werden behaald met SBERT-embeddings, Euclidische afstand, een "Max"-similariteitsstrategie, 4 voorbeelden per type, en 10 chunks van 500 karakters (RAG).

5. Belangrijkste Bijdragen

LEREDD Framework: Een nieuwe, geautomatiseerde aanpak die RAG en ICL combineert voor vereiste-afhankelijkheidsdetectie, specifiek ontworpen voor natuurlijke taalvereisten.
Empirisch Bewijs: Een uitgebreide evaluatie die aantoont dat LLM's met contextuele verrijking superieur zijn aan traditionele ML en retrieval-methoden, vooral bij class imbalance en cross-system generalisatie.
Open Dataset: De publicatie van een nieuw, handmatig gelabeld dataset van 813 vereistenparen uit drie industriële systemen, beschikbaar voor de gemeenschap om reproduceerbaarheid en toekomstig onderzoek te ondersteunen.
Praktische Impact: Het vermogen om "geen-afhankelijkheid"-paren met hoge zekerheid te filteren, vermindert de manuele inspanning voor analisten aanzienlijk.

6. Betekenis en Conclusie

Dit paper toont aan dat LLM's, wanneer ze correct worden gestuurd via RAG en ICL, een krachtig instrument zijn voor Requirements Engineering. Ze lossen het probleem van gebrek aan grote trainingdatasets op (door gebruik te maken van in-context learning) en overwinnen de beperkingen van statische ML-modellen door dynamische, domeinspecifieke context te integreren.

De belangrijkste conclusie is dat zero-shot LLM's onvoldoende zijn voor industriële toepassingen, maar dat een hybride aanpak (LEREDD) niet alleen nauwkeuriger is, maar ook robuust genoeg om in nieuwe, ongezien systemen toegepast te worden zonder opnieuw getraind te hoeven worden. Dit opent de weg voor schaalbare, geautomatiseerde impactanalyse en kwaliteitsborging in complexe softwaresystemen.