ReqElicitGym: An Evaluation Environment for Interview Competence in Conversational Requirements Elicitation

Probleemstelling

Met de snelle verbetering van de code-generatiecapaciteiten van Large Language Models (LLMs) verschuift de belangrijkste bottleneck in geautomatiseerde softwareontwikkeling van het genereren van correcte code naar het nauwkeurig en volledig eliciteren van gebruikersvereisten. In de praktijk leiden veel softwarefouten niet tot implementatiefouten, maar tot misverstanden en omissies tijdens het vereisteneliciteren.

Hoewel er groeiende interesse is in conversational requirements elicitation (het ophalen van vereisten via gesprekken), blijft de interviewcompetentie van LLMs in dit domein onderzocht. Bestaande evaluaties kampen met drie grote tekortkomingen:

1. Gebrek aan evaluatiescenario's: Ze dekken vaak slechts een klein aantal scenario's, wat systematische vergelijking bemoeilijkt.
2. Afhankelijkheid van echte gebruikers: Evaluaties vertrouwen vaak op menselijke rolspellen (stakeholders of studenten), wat hoge kosten met zich meebrengt en variabiliteit introduceert door verschillen in menselijk gedrag.
3. Afwezigheid van objectieve metrics: Er ontbreken metrics die procesgericht zijn en kwantificeren welke vereisten in welke conversatierondes zijn opgehaald, wat reproduceerbare en kwantitatieve evaluatie verhindert.

Methodologie: ReqElicitGym

Om deze uitdagingen aan te pakken, stellen de auteurs ReqElicitGym voor: een interactieve en automatische evaluatieomgeving voor het beoordelen van interviewcompetentie. Het systeem bestaat uit drie kernmodules die samenwerken in een pipeline:

1. Evaluatie Dataset:

   • Bevat 101 scenario's voor het eliciteren van vereisten voor websites, verdeeld over 10 applicatietypes (bijv. e-commerce, dashboards, community platforms).
   • Elk scenario heeft drie componenten:
     • Initial Req: Een onvolledige, initiële beschrijving van de gebruikerswens.
     • Implicit Req: De grondwaarheid (ground truth) van kritieke, maar niet-expliciete details die via gesprek moeten worden opgehaald. Deze zijn gecategoriseerd in drie dimensies: Interactie, Content en Stijl.
     • Final Req: De complete specificatie na succesvol eliciteren.

2. Oracle User (De Geïnterviewde):

   • Een LLM-gebaseerde agent (gebaseerd op GPT-5.1) die een realistische stakeholder simuleert.
   • Ontwerpprincipes: De agent is "geground" in de vooraf gedefinieerde impliciete vereisten (geeft geen informatie die niet in de ground truth staat), reageert passief (geeft alleen informatie als er specifiek naar gevraagd wordt) en is contextbewust (houdt rekening met de volledige dialooggeschiedenis).
   • Validatie: Vergelijkbaar met echte gebruikers met een Cohen's $\kappa$ van 0.73, wat aangeeft dat het gedrag betrouwbaar menselijk gedrag nabootst.

3. Task Evaluator (De Beoordelaar):

   • Een LLM-gebaseerde expert die elke reactie van de interviewer analyseert.
   • Classificeert de strategie van de interviewer (verduidelijken, verkennen/proberen, of afronden).
   • Bepaalt of een vraag relevant is voor nog niet opgehaalde impliciete vereisten.
   • Validatie: Toont een hoge overeenstemming met menselijke experts (Cohen's $\kappa$ van 0.72 voor relevantie).

Evaluatiemetrics:

• IRE (Implicit Requirement Elicitation Rate): Het percentage opgehaalde impliciete vereisten.
• TKQR (Turn-discounted Key Question Rate): Meet de efficiëntie; hoe eerder cruciale vragen worden gesteld.
• ESR (Effective Strategy Ratio): Het percentage effectieve vragen binnen een bepaalde strategie (verduidelijken vs. verkennen).

Empirische Studie en Resultaten

De auteurs hebben een systematische studie uitgevoerd met 7 representatieve LLMs (waaronder GPT-5.2, Claude Opus 4.5, DeepSeek V3.2, Qwen3) onder twee inferentie-instellingen: zonder Chain-of-Thought (Non-CoT) en met Chain-of-Thought (CoT).

Belangrijkste bevindingen:

1. Beperkte Interviewcompetentie:

   • Zelfs de best presterende modellen (DeepSeek V3.2) halen slechts een IRE van 0.32. Dit betekent dat meer dan twee derde van de impliciete vereisten onopgemerkt blijft.
   • LLMs hebben moeite om systematisch verborgen informatie uit onvolledige prompts te halen.

2. Invloed van Chain-of-Thought (CoT):

   • CoT verbetert consistent de TKQR (vragen worden efficiënter en eerder gesteld) en verkort het aantal dialoogomwentelingen.
   • CoT verbetert echter niet consistent de IRE (het totale aantal opgehaalde vereisten). Soms daalt de dekking zelfs, wat suggereert dat modellen eerder stoppen of zich richten op makkelijke vereisten.

3. Strategiegebruik:

   • LLMs hebben een sterke voorkeur voor verkennen (probing) boven verduidelijking (clarification).
   • Verduidelijkingsvragen zijn zeldzaam en minder effectief (lage ESR). CoT verbetert de effectiviteit van beide strategieën, maar de disproportie blijft bestaan.

4. Afwijking per Vereistetype:

   • Er is een duidelijke kloof tussen het eliciteren van functionele en content-gerelateerde vereisten versus stijl-gerelateerde vereisten.
   • LLMs presteren redelijk op Interactie en Content, maar falen bijna volledig bij Stijl (IRE < 0.01). Dit wijst op een structurele zwakte in het begrijpen van subjectieve gebruikersvoorkeuren.

5. Invloed van Applicatietype:

   • De prestaties variëren sterk per domein. Gestructureerde applicaties (zoals Dashboards) worden beter geëvalueerd dan complexe of minder gestructureerde domeinen (zoals E-commerce of Lerende Platforms).

Belangrijkste Bijdragen

1. ReqElicitGym: Het eerste geautomatiseerde, reproduceerbare evaluatieomgeving specifiek voor interviewcompetentie in conversational requirements elicitation.
2. Nieuwe Dataset: Een dataset met 101 scenario's die expliciet de kloof tussen initiële, impliciete en finale vereisten modelleert.
3. Automatische Validatie: Een bewezen werkende "Oracle User" en "Task Evaluator" die menselijke deelname en subjectieve beoordeling vervangen zonder in te leveren op betrouwbaarheid.
4. Empirische Inzichten: Een gedetailleerde kwantitatieve analyse die aantoont dat huidige LLMs nog niet klaar zijn voor autonoom vereisteneliciteren, vooral wat betreft het opsporen van impliciete en subjectieve vereisten.

Significantie en Toekomstperspectief

De studie benadrukt dat conversatievaardigheid (fluency) van LLMs niet gelijkstaat aan systematische redeneercapaciteit die nodig is voor vereisteneliciteren. De auteurs stellen twee richtingen voor voor toekomstig onderzoek:

• Ontologie-gestuurde interviews: Het integreren van domeinspecifieke ontologieën om de LLM een gestructureerde ruimte te geven om door vereisten te navigeren in plaats van te vertrouwen op impliciete patronen.
• Versterkingslering (RL): Het trainen van agenten via RL om de timing en keuze van strategieën (verduidelijken vs. verkennen vs. stoppen) te optimaliseren op basis van dekking en efficiëntie.

ReqElicitGym biedt een cruciale basis voor het verder ontwikkelen van betrouwbare AI-assistenten in de software-engineering, waarbij de focus verschuift van code-generatie naar het correct definiëren van het probleem.