Technische Samenvatting: LENS – LLM-gebaseerde ontdekking van latente eisen uit gesprekken met belanghebbenden

Probleemstelling

Interviews met belanghebbenden zijn een primaire bron voor het ophalen van eisen (requirements elicitation), maar een aanzienlijk deel van de relevante eisen blijft impliciet. Belanghebbenden beschrijven vaak workflows, operationele uitdagingen en inefficiënties zonder expliciet de softwaremogelijkheden te formuleren die nodig zijn om deze aan te pakken. Hoewel recent onderzoek heeft onderzocht hoe Large Language Models (LLMs) requirements uit conversationele data kunnen extraheren, richten bestaande benaderingen zich primair op het identificeren van expliciet genoemde eisen. Deze beperking negeert latente eisen: plausibele kansen voor softwareautomatisering die pas duidelijk worden wanneer de verklaringen van belanghebbenden worden geïnterpreteerd in de context van bestaande organisatorische tools, workflows en infrastructuur. De uitdaging ligt in het automatiseren van de inferentie van deze latente eisen, terwijl de traceerbaarheid naar het oorspronkelijke gesprek behouden blijft en de gegenereerde eisen actiegericht zijn.

Methodologie: De LENS-benadering

De auteurs stellen LENS voor (LLM-Enabled Needs Discovery from Stakeholder Interviews), een tweestapsframework dat is ontworpen om interviewtranscripten van belanghebbenden te analyseren om zowel expliciete als latente eisen te extraheren.

Kernworkflow

1. Stap 1: Extractie van expliciete eisen:

   • De LLM analyseert de interviewtranscripten om de eisen te identificeren die door belanghebbenden expliciet zijn uitgesproken.
   • Het extraheert deze als gestructureerde user stories gekoppeld aan specifieke fragmenten uit het transcript en tijdstempels om traceerbaarheid te garanderen.
   • Het proces maakt gebruik van few-shot prompting met specifieke regels om onderscheid te maken tussen werkelijke eisen en louter beschrijvingen van huidige handmatige processen of bestaande automatisering.

2. Stap 2: Inferentie van latente eisen:

   • De LLM analyseert dezelfde transcripten samen met de organisatorische context, specifiek beschrijvingen van beschikbare softwaretools, infrastructuur en automatiseringsmogelijkheden.
   • Door te redeneren over de beschrijvingen van pijnpunten en inefficiënties door belanghebbenden in het licht van deze tools, leidt de LLM latente eisen af.
   • Voor elke afgeleide eis genereert LENS een gestructureerde rationale die uitlegt:
     • Het onderliggende probleem of de inefficiëntie.
     • Hoe de eis dit probleem aanpakt met behulp van specifieke organisatorische tools.
     • De verwachte impact op organisatorische praktijken (bijv. tijdwinst).

Technische Implementatie

• Model: De studie maakte gebruik van Claude Sonnet 4.5, gekozen vanwege de sterke redeneercapaciteiten en het grote contextvenster.
• Prompt Engineering: Het systeem maakt gebruik van prompts die bevatten:
  • Roldefinities (extractor versus inferencer).
  • Dertien criteria voor Quality User Stories (QUS) om helderheid, volledigheid en consistentie te waarborgen.
  • Specifieke regels voor het onderscheiden van expliciete intentie van conversationele ruis.
  • Few-shot voorbeelden om generatie te sturen.
  • Gestructureerde outputformaten (JSON) voor downstream integratie.
• Context Grounding: Stap 2 voert expliciet een lijst met organisatorische tools en hun capaciteiten in om de inferentie te funderen in technische haalbaarheid.

Empirische Evaluatie

De auteurs voerden een voorlopige evaluatie uit in een industriële setting bij eSentire, een wereldwijd cybersecuritybedrijf.

• Dataset: Twaalf semi-gestructureerde interviewtranscripten van een Security Operations Centre (SOC), die analyses van prestaties en rapportage-workflows beslaan. De transcripten gemiddeld ~60 minuten, bevattende ~8.900 woorden en 154 sprekerbeurten.
• Evaluatiemetrieken:
  • RQ1 (Nauwkeurigheid van expliciete extractie): Gemeten via Precisie, Recall en F1-score tegenover een grondwaarheid (ground-truth) die door een onderzoeker is geconstrueerd en gevalideerd door domeinexperts.
  • RQ2 (Bruikbaarheid van latente eisen): Geëvalueerd door twee onafhankelijke domeinexperts bij eSentire. Zij beoordeelden eisen op basis van tijdswinst (vergelijking tussen geautomatiseerde versus handmatige uitvoering), nieuwheid en haalbaarheid.

Belangrijkste Resultaten

• Expliciete Eisen (RQ1):
  • Bij een temperatuurinstelling van 0.7 behaalde LENS de beste prestaties:
    • Precisie: 73%
    • Recall: 100%
    • F1-score: 84,4%
  • False positives werden primair veroorzaakt door de LLM die meldingen van handmatig werk (zonder automatisatie-intentie), discussies over bestaande automatisering, of bevestigende taal (bijv. "klopt?") verkeerd interpreteerde als nieuwe eisen.
• Latente Eisen (RQ2):
  • Bruikbaarheid: Gemiddeld werd 75% van de afgeleide latente eisen door experts beoordeeld als het bieden van een Matige of Hoge Tijdswinst (d.w.z. nuttige automatisering of tijdsbesparing).
  • Nieuwheid: Experts merkten op dat de afgeleide eisen vaak inzichten en kansen boden die belanghebbenden zelf aanvankelijk niet hadden overwogen.
  • Uitdagingen in Haalbaarheid: Ongeveer 49% van de feedback van experts wees op een gebrek aan concrete technische details in de rationales. Andere problemen omvatten afhankelijkheden van specifieke databronnen/API's die niet volledig waren beschreven, en incidentele afstemming met de werkelijke capaciteiten van de voorgestelde tools.

Belangrijkste Bijdragen

1. LENS-framework: Een nieuwe benadering die de mogelijkheden van LLM's uitbreidt van het extraheren van expliciete eisen naar het afleiden van latente eisen door te redeneren over de organisatorische context (tools en infrastructuur).
2. Gestructureerde Output: De generatie van zowel expliciete als latente eisen als traceerbare user stories met gestructureerde rationales, gelinkt aan specifieke tijdstempels uit het transcript.
3. Industriële Voorlopige Evaluatie: Een realistische beoordeling van LLM-prestaties in een cybersecurity-domein, die een hoge nauwkeurigheid in extractie (84,4% F1) en significante waargenomen waarde in latente inferentie (75% potentieel voor tijdsbesparing) aantoont.

Betekenis en Claims

Het artikel positioneert LENS niet als een tool voor het produceren van direct implementatieklare functies, maar als een mechanisme om verdere discussie met belanghebbenden te stimuleren en iteratieve requirements elicitation mogelijk te maken.

• Vroege-fase Artefacten: De auteurs beweren dat afgeleide latente eisen dienen als waardevolle "early-stage elicitation artifacts". Ze helpen bij het herformuleren van gesprekken rond het mitigeren van inefficiënties en het realiseren van onbenut automatisatiepotentieel dat belanghebbenden wellicht niet expliciet hebben gearticuleerd.
• Human-in-the-Loop: De studie benadrukt dat expertreview cruciaal blijft. De matige inter-rater overeenstemming en feedback over haalbaarheid suggerieën dat door de LLM gegenereerde latente eisen moeten worden behandeld als startpunten voor ideeën in plaats van gefinaliseerde specificaties.
• Contextuele Noodzakelijkheid: De resultaten onderstrepen dat de kwaliteit en haalbaarheid van afgeleide eisen sterk afhankelijk zijn van rijke beschrijvingen van de tools en infrastructuur van de organisatie. Zonder deze fundering kunnen de suggesties van de LLM plausibel lijken, maar blijven ze niet afgestemd op de systeembeperkingen.

De auteurs concluderen dat hoewel hun bevindingen voorlopig zijn (beperkt tot één organisatie en domein), ze vroeg bewijs leveren dat LLM's effectief kunnen ondersteunen bij zowel de extractie van expliciete behoeften als de ontdekking van latente kansen in requirements engineering.