🤖 AI

Neuro-Symbolic Agents for Hallucination-Free Requirements Reuse

Dit artikel introduceert een neuro-symbolisch multi-agent systeem dat Large Language Models als heuristieken combineert met een deterministische symbolische validator om hallucinatienvrije, structureel valide hergebruik van eisen binnen het OOMRAM-kader mogelijk te maken, waarbij 100% dekking en bijna nul beperkingsschendingen worden bereikt.

Oorspronkelijke auteurs: Ahmed Ibrahim

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ahmed Ibrahim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een op maat gemaakt huis probeert te bouwen, maar je moet kiezen uit een enorme, vooraf goedgekeurde catalogus van plattegronden. Deze catalogus heet OOMRAM. Het is als een gigantische, strenge stroomdiagram die zegt: "Als je een keuken wilt, moet je ook een gootsteen hebben," en "Je kunt kiezen voor een rode deur of een blauwe deur, maar nooit beide."

Het probleem is dat de oorspronkelijke manier om deze catalogus te gebruiken, lijkt op een robot die alleen exacte codes begrijpt. Als je zegt: "Ik wil een gezellig huis met een grote tuin," kan de robot je niet helpen tenzij je de exacte code kent voor "gezellig huis".

Dan komen Large Language Models (LLM's) in beeld. Dit zijn als super-slimme, pratende architecten die je natuurlijke taal perfect begrijpen. Je kunt tegen hen zeggen: "Ik wil een gezellig huis," en ze zullen ideeën voorstellen. Maar er is een addertje onder het gras: deze pratende architecten zijn vatbaar voor hallucinaties. Ze kunnen een "vliegende trap" uitvinden die niet in de catalogus bestaat, of ze kunnen proberen een rode deur en een blauwe deur op hetzelfde huis te plaatsen, waardoor de regels worden geschonden.

Dit paper introduceert een nieuw team van werknemers – een Neuro-Symbolisch Multi-Agent Systeem – om dit op te lossen. Denk hierbij aan een bouwteam met vier specifieke rollen:

De Navigator: Een gids die de catalogus bekijkt en zegt: "Oké, we moeten nu beslissen over het dak."
De Interpreter (De LLM): De pratende architect. Hij luistert naar je idee van een "gezellig huis" en stelt specifieke onderdelen uit de catalogus voor (bijvoorbeeld: "Laten we het leistenen dak kiezen").
De Validator (De Strenge Inspecteur): Dit is het belangrijkste onderdeel. De Validator is geen AI; het is een starre, wiskundige regelcontroleur. Hij kijkt naar het voorstel van de Interpreter en controleert dit tegen de strenge regels van de catalogus.
- Scenario: Als de Interpreter "Rode Deur EN Blauwe Deur" voorstelt, slaat de Validator onmiddellijk met de hamer: "STOP! Dat schendt de regels. Je kunt er maar één kiezen."
- De Validator stuurt het voorstel vervolgens terug naar de Interpreter om het opnieuw te proberen.
De Schrijver: Zodra de Inspecteur tevreden is, schrijft deze persoon de definitieve, goedgekeurde lijst met onderdelen op.

Hoe het in de praktijk werkt:
Het systeem draait in een lus. De Interpreter raadt, de Validator controleert, en als er een fout is, gaan ze heen en weer totdat de regels perfect worden gevolgd. Omdat de Validator een strikt computerprogramma is (geen gokkende AI), garandeert hij dat het definitieve huisplan logisch correct is en elke enkele regel van de catalogus volgt.

De Resultaten:
De onderzoekers testten dit op twee soorten "catalogi": één voor digitale administratiesystemen en één voor slimme woningen.

Geen Gebroken Regels: Het systeem behaalde 100% structurele validiteit. Elke enkele eis die het genereerde, volgde de regels. Het elimineerde "hallucinaties" (uitgevonden onderdelen of illegale combinaties) bijna volledig.
De "F1-Score" Verwarring: Bij standaard AI-tests wordt gemeten hoe dicht het antwoord van de AI bij één enkel "perfect" menselijk antwoord ligt. Dit systeem behaalde daar een "gemiddelde" score. Waarom? Omdat er voor een "gezellig huis" niet slechts één juist antwoord is. Er zijn honderden geldige combinaties. Het systeem vond er één die geldig was, alleen niet precies die ene die een menselijke tester zou hebben gekozen. Het paper betoogt dat het vinden van een geldige, regels-volgende oplossing belangrijker is dan het matchen van één menselijke gok.
Snelheid: Het duurde een paar minuten per project, wat snel genoeg is voor echt gebruik.

De Grote Conclusie:
Dit paper bewijst dat je het beste van twee werelden kunt hebben: de flexibiliteit van een pratende AI die menselijke taal begrijpt, gecombineerd met de veiligheid van een starre regelcontroleur die fouten voorkomt. Door de "creatieve" AI gescheiden te houden van de "strenge" regelcontroleur, creëerden ze een systeem dat vage ideeën automatisch kan omzetten in perfect gestructureerde, foutloze technische vereisten zonder dingen uit te vinden.

Kortom: Ze bouwden een team waar de creatieve dromer altijd wordt begeleid door een strenge accountant, zodat het definitieve plan zowel verbeeldingskrachtig als wettelijk correct is.

Technische Samenvatting: Neuro-symbolische Agenten voor Hallucinatievrije Hergebruik van Eisen

1. Probleemstelling

Requirements Engineering (RE) is inherent kostbaar en foutgevoelig. Hoewel het hergebruiken van gevalideerde eisen uit softwareproductlijnen (bijvoorbeeld via de Object-Oriented Method for Requirements Authoring and Management, of OOMRAM) een strategie biedt om de inspanning te verminderen, staan bestaande frameworks voor een kritieke knelpunt: exacte identifier-matching. Traditionele OOMRAM-retrieval vereist dat gebruikers precieze requirement-ID's specificeren, wat de automatische generatie van specificaties uit natuurlijke-taal projectbeschrijvingen verhindert.

Grote Taalmodellen (LLM's) bieden de linguïstische flexibiliteit om vage stakeholder-visies te interpreteren en deze af te beelden op eisen. Echter, LLM's zijn vatbaar voor hallucinaties, zoals het verzinnen van niet-bestaande identifier's, het negeren van verplichte beperkingen, of het combineren van onderling uitsluitende opties. Huidige RE-tools die LLM's benutten, missen vaak formele correctheidsgaranties, waardoor gegenereerde specificaties kwetsbaar zijn voor logische inconsistenties en structurele ongeldigheid, wat bijzonder gevaarlijk is in veiligheidskritieke of sterk gereguleerde domeinen.

2. Methodologie: Een Neuro-symbolisch Multi-Agent Systeem

De auteurs stellen een neuro-symbolische multi-agent architectuur voor die het hergebruik van eisen reconceptualiseert als een Model-Driven Elicitatie proces. Het systeem operationaliseert het formele OOMRAM-rooster als een deterministisch domeinmodel, waarbij een LLM uitsluitend wordt gebruikt als een niet-deterministische heuristiek voor het traverseren van dit model.

Kernarchitectuur

Gebaseerd op LangGraph, maakt het systeem gebruik van vier gespecialiseerde agenten die een getypeerde staat (AgentState) delen:

Navigator: Simuleert een diepte-eerst traversatie van het requirement-rooster en selecteert de volgende discriminant-knoop om uit te breiden op basis van de projectvisie en de huidige staat.
Interpreter (LLM): Een niet-deterministische agent (met llama3.1:8b en temperatuur 0) die de natuurlijke-taal visie interpreteert en een set child requirement-ID's voor de huidige knoop voorstelt. Het output gestructureerde JSON.
Validator (Symbolisch): Een deterministisch, algoritmisch component (pure Python, geen LLM) dat fungeert als runtime guardrail. Het controleert elke voorgestelde selectie tegen de Booleaanse satisfiabiliteitsbeperkingen ( $\Phi$ $Φ$ ) van het roosterschema. Het handhaaft:
- Kerneisen: Alle verplichte knopen moeten worden geselecteerd.
- Single Adaptor (SA/XOR): Exact één kind moet worden geselecteerd.
- Multiple Adaptor (MA/OR): Minstens één kind moet worden geselecteerd.
- Structurele Integriteit: Geen verweesde knopen (een kind kan niet worden geselecteerd zonder zijn ouder).
- Mechanisme: Als een overtreding wordt gedetecteerd, verwerpt de Validator het voorstel en retourneert een foutlogboek naar de Interpreter, waardoor een herziening wordt afgedwongen. Deze lus gaat door totdat de beperkingen zijn voldaan.
Scribe: Compileert de definitieve, gevalideerde set requirement-ID's naar een opgemaakte specificatie.

Belangrijkste Technische Strategieën

Sub-graf Navigatie: Om grote industriële roosters te hanteren en "lost-in-the-middle" redeneringsfouten te voorkomen, beperkt het systeem de context van de Interpreter tot een gelokaliseerde subset (frontier) van het rooster bij elke stap. Dit zorgt voor een constante contextgrootte ( $O(1)$ ) en lineaire schaling ( $O(N)$ ) met het aantal beslispunten.
Semantische Routing: Een voorlopige router gebruikt sentence-transformer embeddings om de geschikte roostersfamilie (bijvoorbeeld eRecordKeeping, SmartHome) te selecteren op basis van de input visietekst, waardoor multi-domein ondersteuning mogelijk is zonder handmatige selectie.
Formele Specificatie: Het systeem definieert het rooster als een Gerichte Acyclische Grafiek (DAG) $L = (V, E, T, \Phi)$ en handhaaft een globale consistentiepredicaat $\Psi(S)$ , waarbij wordt gegarandeerd dat de definitieve selectieset een geldig exemplaar is van het metamodel.

3. Belangrijkste Bijdragen

Operationalisering van OOMRAM voor het LLM-tijdperk: Dit is het eerste werk dat exact-ID-selectie vervangt door LLM-gedreven natuurlijke-taal traversatie, waardoor het formele OOMRAM-rooster praktisch toepasbaar wordt voor moderne RE.
Deterministische Hallucinatie-remming: De introductie van een volledig deterministische Validator die fungeert als een hard-coded bewaker. Door beperkingen algoritmisch af te dwingen binnen de generatielus, elimineert het systeem illegale eisencombinaties volledig, in plaats van te vertrouwen op heuristische filtering.
Reproduceerbaar Autonomisch Benchmark: De auteurs leveren een benchmark die betrouwbare traversatie, bijna-nul beperkingsovertredingen en volledige structurele validiteit over diverse applicatiefamilies demonstreert.
Model-onafhankelijke Implementatie: Een open-source framework gebaseerd op LangGraph en lokale Ollama, ontworpen om te schalen naar grotere industriële roosters en privacy/reproduceerbaarheid te garanderen.

4. Experimentele Evaluatie en Resultaten

Het systeem werd geëvalueerd in autonome simulatiemodus op tien projectvisies afkomstig uit twee applicatiefamilies: het originele eRecordKeeping-rooster (ongeveer 60 eisen) en een synthetisch SmartHome-rooster (ongeveer 20 eisen). Het corpus werd uitgebreid om 12 families op te nemen die zijn gebaseerd op real-world standaarden (bijvoorbeeld ISO 26262, ISO 20022, TM Forum eTOM).

Kwantitatieve Resultaten

Structurele Validiteit: Het systeem behaalde 100% voltooiing en 100% structurele validiteit over alle geteste visies.
Beperkingsovertredingen: De uiteindelijke rate van beperkingsovertredingen was 0,2% (1 overtreding gedetecteerd en gecorrigeerd tijdens het proces). In tegenstelling hiermee resulteerde een ablatiestudie waarbij de Validator werd verwijderd in een gemiddelde overtredingsrate van 5,1 en slechts 14% structurele validiteit.
F1-Score: Tegenover handmatig samengestelde gouden standaarden varieerde de F1-score van 0,47 tot 0,81. De auteurs betogen dat deze gematigde score geen falen is, maar een gevolg van de enorme "Valid Configuration Space" in productlijnen, waar meerdere legitieme optionele/alternatieve keuzes bestaan.
Latentie: De gemiddelde wandklokkentijd was 210 seconden per visie, met een gemiddelde van 78 LLM-aanroepen. De Validator voegde verwaarloosbare runtime toe.

Kwalitatieve Bevindingen

Opzettelijk Conflict: Het systeem navigeert succesvol door conflicten waarbij de LLM probeert stakeholder-wensen te bevredigen (bijvoorbeeld "goedkoop systeem") door verplichte beperkingen te schenden (bijvoorbeeld beveiliging). De Validator verwerpt deze, waardoor de LLM wordt gedwongen een conforme alternatief te vinden (bijvoorbeeld het selecteren van de goedkoopste geldige optie).
Fouttypologie: Pre-validatie hallucinaties varieerden per domein (bijvoorbeeld kardinaliteitsfouten in HR/Lonen, structurele weeskinderen in Telecom, verwaarlozing van beperkingen in Smart Grid), maar de symbolische Validator verlaagde de definitieve foutrate naar 0% in alle gevallen.

5. Betekenis en Claims

Het artikel stelt dat de toekomst van RE-automatisering niet ligt in het schalen van LLM-parameters, maar in de harmonische koppeling van neurale probabilistische redenering met hard-coded symbolische logica.

Verschuiving in Metrieken: De auteurs betogen dat voor RE met hoge naleving Structural Validity Rate (SVR) en Mandatory Recall kritiekere metrieken zijn dan traditionele NLP-metrieken zoals Precision of F1-score. Het bereiken van 100% SVR bewijst dat het systeem stochastische generatie transformeert naar een formeel engineeringproces.
Betrouwbare AI: Door het open-ended taalbegrip van de LLM te scheiden van een regelgebaseerde beperkingenafdwinger, biedt het systeem een betrouwbare pijplijn die specificatiedrift voorkomt terwijl de flexibiliteit om vage visies te interpreteren behouden blijft.
Schaalbaarheid: De sub-graf navigatiestrategie zorgt ervoor dat het systeem theoretisch kan schalen naar industriële roosters zonder de redeneringskwaliteit te degraderen, mits het contextvenster constant blijft.

Het werk concludeert dat LLM's weliswaar nuttig zijn voor het interpreteren van intentie, maar fundamenteel onbetrouwbaar zijn voor structurele logica, een taak die moet worden uitbesteed aan symbolische componenten om hallucinatievrij hergebruik van eisen te garanderen.