💻 computer science

From Chat to Interview: Agentic Requirements Elicitation with an Experience Ontology

Dit artikel introduceert OntoAgent, een interviewagent die gebruikmaakt van een automatisch geconstrueerde ervaringsontologie om grote taalmodellen te sturen bij het uitvoeren van gestructureerde, systematische en efficiënte requirements-elicitation-interviews, waarbij deze agent aanzienlijk beter presteert dan bestaande basismethoden op zowel effectiviteit als vraagefficiëntie.

Oorspronkelijke auteurs: Dongming Jin, Zhi Jin, Yaotian Yang, Linyu Li, Zheng Fang, Yuanpeng He, Wenchun Jing, Xiaohong Chen

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dongming Jin, Zhi Jin, Yaotian Yang, Linyu Li, Zheng Fang, Yuanpeng He, Wenchun Jing, Xiaohong Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Gezellige" Interviewer versus de "Ervaren" Detective

Stel je voor dat je een op maat gemaakte woning wilt bouwen. Je huurt een aannemer in om je vragen te stellen over wat je nodig hebt.

De Oude Manier (Vrije Chat): Je huurt een aannemer in die gewoon met je kletst. Hij vraagt misschien: "Vind je blauw mooi?", dan "Vind je rood mooi?", dan "Vind je blauw mooi?". Hij vergeet te vragen naar de sanitairinstallatie, het dak of de garage omdat hij alleen maar "praat". Hij mist de verborgen details die je niet bedacht hebt om te noemen (zoals: "Ik heb een geluidsdichte kamer nodig voor mijn band"). Dit is vergelijkbaar met het gebruik van een standaard AI-chatbot om eisen te verzamelen: het is vriendelijk, maar mist vaak het grote geheel en stelt dezelfde vragen twee keer.
De Manier van de Menselijke Expert: Een veteraan-aannemer heeft een mentale checklist. Hij weet dat hij, voordat hij het heeft over verfkleuren, eerst de fundering moet controleren. Hij weet dat hij het indeling van de keuken moet bespreken voordat hij de badkamer behandelt. Hij volgt een verborgen kaart van "wat er gevraagd moet worden" gebaseerd op jarenlange ervaring.

Het Doel van het Artikel: De auteurs wilden een AI leren zich te gedragen als die veteraan-aannemer, niet als een gezellige vriend. Zij bouwden een systeem genaamd OntoAgent.

De Oplossing: De "Ervaringskaart" (Ontologie)

De kernidee van dit artikel is dat je een AI niet zomaar "op zijn eigen houtje" moet laten werken. In plaats daarvan geef je het een gestructureerde kaart gebaseerd op real-world ervaring.

De auteurs noemen deze kaart een "Ervaringsontologie". Denk hierbij aan een boom of een stamboom voor eisen:

De Stam (Aspecten): De grote categorieën (bijvoorbeeld: "Hoe de gebruiker interacteert", "Welke inhoud wordt getoond", "Hoe het eruitziet").
De Takken (Dimensies): Specifieke gebieden onder die categorieën (bijvoorbeeld: onder "Interactie" heb je "Zoeken" en "Inloggen").
De Bladeren (Slots): De kleine, specifieke details die verduidelijking nodig hebben (bijvoorbeeld: onder "Zoeken" moet je weten: "Willen ze filteren op datum?").

Hoe OntoAgent de Kaart Bouwt:
Voordat het iemand interviewt, leest de AI duizenden beschrijvingen van eerdere projecten (zoals het lezen van oude blauwdrukken). Het gebruikt een Large Language Model (LLM) om deze ervaringen automatisch te organiseren in die "Boom"-structuur. Dit wordt zijn "Ervaringskaart".

Hoe het Interview Werkt: De 4-Stappen Dans

Wanneer OntoAgent een gebruiker interviewt, gokt het niet zomaar de volgende vraag. Het volgt een strikte 4-stappen routine voor elke beurt in het gesprek:

Luisteren (ParseUser): Het luistert naar wat de gebruiker zojuist heeft gezegd. Hebben ze bevestigd dat ze een inlogfunctie nodig hebben? Zeiden ze dat ze geen zoekbalk nodig hebben?
De Kaart Scoren (ScoreOnto): Het kijkt naar zijn "Ervaringskaart". Gebaseerd op wat de gebruiker heeft gezegd, geeft het punten aan verschillende takken. Als de gebruiker "aandelen" noemde, krijgt de "Zoeken"-tak een hoge score. Als ze "stijl" niet noemden, krijgt de "Stijl"-tak een lage score.
Opnieuw Rangschikken (ReRankOnto): Naarmate het gesprek vordert, wordt de kaart bijgewerkt. Misschien zei de gebruiker: "Het maakt me niet uit wat de kleur is", dus verlaagt de AI de prioriteit van "Stijl"-vragen en verhoogt de prioriteit van "Functie"-vragen. Het herschikt voortdurend de lijst van wat er als volgende moet worden gevraagd.
Takken Snoeien (GatePrune): Dit is de efficiëntie-boost. Als de AI drie vragen stelt over "Inloggen" en de gebruiker zegt: "Nee, we hebben geen inloggen nodig", snijdt de AI die hele tak van de boom direct af. Het stopt met vragen over inlogwachtwoorden, e-mailformaten, enzovoort, omdat dat pad gesloten is. Dit bespaart tijd.

Tot slot pakt het de beste vraag uit die lijst en stelt deze in natuurlijke taal.

De Resultaten: Waarom Het Beter Is

De auteurs testten dit systeem tegenover andere AI-interviewers (de "gezellige" ones) met 101 verschillende scenario's (zoals het bouwen van een website voor een salon of een skiresort).

Het Vinden van Verborgen Dingen (Effectiviteit): De "gezellige" AI's misten veel verborgen eisen (zoals specifieke regels voor hoe data wordt gesorteerd). OntoAgent vond 33% meer van deze verborgen details. Het was als de detective die bedacht om de kelder te controleren, terwijl de anderen alleen in de woonkamer keken.
Sneller de Juiste Vragen Stellen (Efficiëntie): De "gezellige" AI's verspilden tijd door voor de hand liggende vragen te stellen of hetzelfde twee keer te vragen. OntoAgent stelde de belangrijkste vragen 21% sneller. Het raakte niet vast in lussen.
Werken met Verschillende Hersenen: Het systeem werkte goed, zelfs toen ze de "hersenen" (het onderliggende AI-model) verwisselden voor verschillende soorten AI. Het bewees dat de "Ervaringskaart" de geheime saus is, niet alleen het specifieke AI-model dat wordt gebruikt.
Menselijke Feedback: Wanneer echte mensen (studenten en experts) optraden als de "klanten" en met de AI spraken, beoordeelden ze OntoAgent hoger. Zij vonden dat het effectiever, efficiënter en aanpasbaarder was dan de andere methoden.

De Conclusie

Het artikel beweert dat door een AI een gestructureerde "Ervaringskaart" (een ontologie) te geven die is afgeleid van eerdere werk, we een chaotische, vrij vloeiende chat kunnen omzetten in een systematisch, expert-niveau interview.

Het is het verschil tussen het vragen aan een vriend: "Wat wil je voor het avondeten?" (die misschien gewoon zegt "Pizza" en het feit dat je vegetariër bent mist) versus het vragen aan een professionele chef die een checklist heeft met dieetbeperkingen, smaakprofielen en kookmethoden om ervoor te zorgen dat niets wordt gemist.

Belangrijkste Leerpunt: Om de beste resultaten uit AI te halen bij complexe taken, laat het niet zomaar vrij kletsen; geef het een gestructureerde kaart van menselijke ervaring om zijn vragen te sturen.

Technische Samenvatting: OntoAgent voor Requirements Elicitatie

Probleemstelling

Interviews voor requirements elicitation vormen een hoeksteen van requirements engineering, maar blijven sterk afhankelijk van de ervaring van menselijke analisten. Deze afhankelijkheid brengt aanzienlijke tijd- en opleidingskosten met zich mee en introduceert risico's op menselijke bias en communicatieve misverstanden. Hoewel Large Language Models (LLM's) een weg bieden om dit proces te automatiseren, lijden bestaande "vrije vorm"-benaderingen—waarbij een LLM optreedt als interviewer zonder structurele begeleiding—aan kritieke beperkingen. Empirische studies wijzen uit dat deze modellen moeite hebben om impliciete requirements aan het licht te brengen, vaak generieke of redundante vragen genereren in de vroege fasen van de dialoog, en gebrek hebben aan interpreteerbaarheid en controleerbaarheid. Bijgevolg falen ze in het systematisch verkennen van de requirement-ruimte, wat leidt tot een onvolledige vastlegging van requirements.

Methodologie: OntoAgent

Om deze beperkingen aan te pakken, stellen de auteurs OntoAgent voor, een interviewagent die LLM's integreert met een gestructureerde Experience Ontology. Het kernontwerpprincipe is het expliciet modelleren van het gestructureerde cognitieve raamwerk dat ervaren analisten gebruiken, waarbij wat er gevraagd wordt (geleid door de ontologie) wordt ontkoppeld van hoe het wordt gevraagd (gegenereerd door de LLM).

Het raamwerk werkt in twee onderling gerelateerde fasen:

1. Inductie van Experience Ontology

OntoAgent bouwt automatisch een hiërarchische, drie-niveau boomstructuur op vanuit domeinspecifieke requirementteksten. Deze ontologie fungeert als een gestructureerde vragenruimte:

Aspecten (Niveau 1): Hoge-niveau abstracties van systeemrequirements (bijv. Interactie, Inhoud, Stijl). Deze worden door domeinexperts aangeleverd om stabiliteit te waarborgen.
Dimensies (Niveau 2): Kernfunctionele punten binnen een aspect (bijv. Zoeken, Weergave, Inloggen). Deze worden automatisch afgeleid met behulp van een LLM met een conservatieve uitbreidingsstrategie die semantische samenvoeging prioriteert boven het creëren van nieuwe dimensies.
Slots (Niveau 3): Gedetailleerde, verduidelijkbare requirementdetails (bijv. filteropties, sorteervolgorde). Deze worden geëxtraheerd als tuples van genormaliseerde items en kandidaat-verduidelijkingsvragen.

2. Ontologie-gestuurde Interviewing

Tijdens de meertrapsinterview voert OntoAgent een beslissingslus uit die vier kernoperaties omvat om dynamisch de meest relevante maar onvoldoende verkennde requirement-slot te selecteren:

ParseUser: Interpreteert stakeholderantwoorden ter ondersteuning van snoeibeslissingen op zowel het aspect- als het dimensieniveau.
ScoreOnto: Wijs initiële prioriteitsscores toe aan ontologienodes op basis van de initiële requirementbeschrijving om ervoor te zorgen dat de interview begint met hoog-relevante takken.
ReRankOnto: Evalueert en herschikt kandidaat-slots dynamisch op basis van de bijgewerkte dialooggeschiedenis om zich aan te passen aan nieuwe context.
GatePrune: Implementeert twee snoeimechanismen om redundantie te verminderen:
- Aspectniveau: Triggert een macro-bevestigingsvraag nadat $N$ vragen geen nieuwe requirements hebben opgeleverd; indien negatief, wordt de tak gesnoeid.
- Dimensieniveau: Snoeit slots onmiddellijk als een dimensie expliciet wordt afgewezen door de stakeholder.
QuestionGen: Combineert de geselecteerde slot met de huidige dialoogcontext om een vraag in natuurlijke taal te genereren die contextbewust is voor elicitation.

Belangrijkste Bijdragen

OntoAgent Framework: Het voorstellen van een interviewagent die interviewervaring expliciet modelleert als een ontologie en deze integreert met LLM's om gestructureerde vraaggeneratie te faciliteren.
Experience Ontology: De ontwikkeling van een drie-niveau hiërarchische boom (Aspecten, Dimensies, Slots) die dient als een interpreteerbare en gestructureerde vragenruimte.
Ontologie-gestuurde Mechanisme: Het ontwerpen van een besluitvormingsmechanisme bestaande uit vier operaties (ParseUser, ScoreOnto, ReRankOnto, GatePrune) om dynamisch requirement-slots te selecteren en contextbewuste vragen te genereren.
Uitgebreide Evaluatie: Uitgebreide kwantitatieve en kwalitatieve evaluaties die de effectiviteit en praktische toepasbaarheid van het raamwerk aantonen.

Experimentele Resultaten

De auteurs hebben OntoAgent geëvalueerd op 101 website-toepassingscenario's met behulp van de ReqElicitGym-omgeving, waarbij ze het vergeleken met vijf baselines (waaronder Non-CoT, CoT, LLMREI-kort/lang, en Mistake-guided Prompting).

Effectiviteit (IRE): OntoAgent behaalde een Implicit Requirements Elicitation Ratio (IRE) van 0,69, wat een relatieve verbetering van 33% vertegenwoordigt ten opzichte van de beste baseline (Mistake-guided Prompting met 0,52). Dit toont een superieure vermogen aan om impliciete requirements aan het licht te brengen.
Efficiëntie (TKQR): OntoAgent behaalde een Turn-discounted Key Question Rate (TKQR) van 0,59, een relatieve verbetering van 21% ten opzichte van de beste baseline. Dit wijst op een hogere vraagefficiëntie en het vermogen om sleutelrequirements eerder in de dialoog te identificeren.
Ablatiestudies: Incrementele toevoeging van componenten bevestigde dat de Experience Ontology de grootste prestatiewinst biedt, terwijl ScoreOnto, ReRankOnto en GatePrune de uitlijning, efficiëntie en reductie van redundantie verder verfijnen.
Robuustheid: Het raamwerk toonde sterke generalisatie over zes verschillende basis-LLM's (waaronder Claude, Gemini, DeepSeek, Kimi, GLM en Qwen), waarbij het concurrerende prestaties behield ongeacht het onderliggende model.
Type-specifieke Analyse: OntoAgent bood een gebalanceerde dekking over interactie-, inhouds- en stijlrequirements. Opmerkelijk is dat het de baselines significant overtrof bij het eliciteren van stijlrequirements (IRE 0,55 versus <0,01 voor sommige baselines), een categorie die vaak wordt verwaarloosd door vrije-vormbenaderingen.
Menselijke Evaluatie: In een studie met 6 deelnemers die als stakeholders optraden, ontving OntoAgent aanzienlijk hogere Likert-scores (p < 0,05) voor elicitation-effectiviteit, vraagefficiëntie en aanpasbaarheid in vergelijking met baselines.

Betekenis en Claims

Het artikel claimt dat OntoAgent de kloof succesvol dicht tussen de generatieve capaciteiten van LLM's en de gestructureerde cognitieve processen van ervaren analisten. Door vrije-vorm LLM-chats om te vormen tot systematische en interpreteerbare onderzoeksprocessen, adresseert OntoAgent de kritieke problemen van het weglaten van impliciete requirements en redundante vragen.

De auteurs stellen dat hun werk het belang aantoont van ontologie-gestuurde LLM-agents voor de vooruitgang van geautomatiseerde requirementsontwikkeling. Zij concluderen dat het expliciet modelleren van interviewervaring essentieel is voor het bereiken van hoge elicitation-dekking en -efficiëntie, en dat hun aanpak een praktische, uitbreidbare oplossing biedt voor real-world requirements elicitation-taken die verder gaan dan het geteste domein van webapplicaties.