Technische Samenvatting: Extractie van Entiteiten en Niet-Functionele Eisen uit User Stories

1. Probleemdefinitie

User stories in agile ontwikkeling volgen doorgaans de "Als een... wil ik... zodat..." structuur, waarbij een actor, een gewenste capaciteit en een beoogd voordeel aan elkaar worden gekoppeld. Echter, in operationele backlogs wijken deze stories vaak af van het canonieke sjabloon, laten ze clausules weg of voegen ze capaciteiten samen, wat automatische verwerking bemoeilijkt.

Het artikel behandelt twee afzonderlijke extractie-uitdagingen:

1. Structurele Extractie (Entiteitsherkenning): Het identificeren van de USER (actor), FUNCTION (gewenste capaciteit) en GOAL (beoogd voordeel) binnen natuurlijke taaltekst.
2. Kwalitatieve Extractie (NFR's): Het herkennen van vijf niet-functionele eis-aspecten (NFR): Privacy, Performance, Usability, Scalability, en Maintainability.

De kernuitdaging ligt in de moeilijkheid om deze structuren betrouwbaar af te leiden uit ongestructureerde tekst en de noodzaak voor eerlijke, reproduceerbare vergelijkingen tussen traditionele gesuperviseerde sequentiemodellen en moderne Large Language Models (LLM's).

2. Methodologie

De studie hanteert een tweesporenbenadering, waarbij onderscheid wordt gemaakt tussen historische gesuperviseerde experimenten en een nieuwe, reproduceerbare benchmark.

A. Corpora en Data

• Origineel Corpus: 2.234 Engelse user stories verzameld uit requirements-datasets, Scrum Alliance-materialen en publieke bronnen.
• Geaugmenteerd Corpus: Een gerapporteerde expansie naar 6.980 stories middels synoniem-gebaseerde augmentatie (via corpus-extender). Het artikel merkt op dat de originele trainingscode en specifieke seeds voor deze augmentatie niet beschikbaar zijn, waardoor deze resultaten als historische records worden behandeld in plaats van volledig reproduceerbare, onafhankelijke evaluaties.
• Gedeelde Reproduceerbare Benchmark: Een nieuwe dataset afgeleid van 6.955 unieke story-identifiers. Deze is gepartitioneerd in:
  • Training: 5.008 stories.
  • Validatie: 556 stories (strikt gebruikt voor de selectie van LLM-configuraties).
  • Held-out Test: 1.391 stories (gebruikt voor exact één keer voor de definitieve inferentie).
  • Leakage-Safe Augmentatie: 599 tekstueel gewijzigde varianten zijn toegevoegd aan de trainingsset. Cruciaal is dat deze varianten alleen zijn afgeleid van de originele trainingspartitie, waardoor wordt gegarandeerd dat er geen validatie- of test-stories in de training lekken.

B. Geëvalueerde Modellen

1. Gesuperviseerde Sequentiemodellen:
   • Baselines: Custom spaCy pipeline, Conditional Random Field (CRF).
   • Neurale Modellen: LSTM–CRF en BiLSTM–CRF. De neurale modellen maken gebruik van 300-dimensionale embeddings, een twee-laagse LSTM (256 hidden units), dropout (0.5) en een CRF-outputlaag om label-afhankelijkheden te modelleren.
2. Large Language Models (LLM's):
   • Zeven lokaal geserveerde open-weight modellen (bijv. Gemma4-12B, Qwen3.5-4B, Ministral-3-8B) geserveerd via Ollama.
   • Prot protocols: Geëvalueerd onder Zero-shot en One-shot (en tot 4-shot) configuraties.
   • Selectiestrategie: LLM-configuraties werden geselecteerd op basis van alleen validatieprestaties om overfitting op de testset te voorkomen.

C. Evaluatiemetrieken en Scoring

• Metriek: Genormaliseerde exacte-span micro-F1.
• Strenge eis: De metriek vereist een exacte match van de karakter-span (gecase- en interpunctie-genormaliseerd). Semantisch correcte maar grensoverschrijdende spans worden als incorrect geteld.
• Scope: De gedeelde benchmark evalueert alleen de drie structurele entiteiten (USER, FUNCTION, GOAL). Het ondersteunt geen NFR-vergelijking omdat de vrijgegeven NFR-velden term-niveau lijsten zijn in plaats van gevalideerde story-niveau categorieën.

3. Belangrijkste Resultaten

A. Historische Gesuperviseerde Resultaten (Originele & Geaugmenteerde Corpora)

Op de originele corpus-splits bereikte BiLSTM–CRF de hoogste prestatie:

• Originele Corpus F1: 0.962 (presteert beter dan CRF met 0.934 en spaCy met 0.859).
• Geaugmenteerde Corpus F1: 0.986.
• NFR Prestaties: Op de geaugmenteerde data behaalde BiLSTM–CRF per-aspect F1-scores tussen 0.981 en 0.988 voor de vijf NFR-categorieën.

B. Resultaten van de Gedeelde Reproduceerbare Benchmark (1.391 Test Stories)

Onder de strikte regel van exacte-span matching op de held-out testset:

• BiLSTM–CRF (Originele Training): Behaalde een algemene F1 van 0.953.
• BiLSTM–CRF (+599 Leakage-Safe Varianten): Verbeterde naar een algemene F1 van 0.961. De meest significante winst werd waargenomen bij de GOAL entiteit (0.923 $\to$ 0.945).
• LLM Prestaties:
  • Zero-shot: Het beste zero-shot model, Gemma4-12B, bereikte een F1 van 0.414.
  • One-shot: De beste validatie-geselecteerde configuratie, Qwen3.5-4B (1-shot), bereikte 0.434 F1.
  • Uitsplitsing: LLM's presteerden goed op USER extractie (bijv. 0.984 voor Gemma4-12B) maar hadden grote moeite met FUNCTION en GOAL (scores vaak < 0.10), wat aangeeft dat strikte grens-matching een grote hindernis vormt voor generatieve modellen in deze context.

C. Efficiëntie

• BiLSTM–CRF: De inferentietijd was ongeveer 0.493 ms per story (originele training) en 0.586 ms (geaugmenteerd) op een NVIDIA RTX A6000.
• LLM's: De geselecteerde LLM had een gemiddelde wall time van 0.723 seconden per story, wat een aanzienlijk latentieverschil laat zien ten opzichte van de gespecialiseerde sequence tagger.

4. Belangrijkste Bijdragen

1. Consolidatie van Bewijs: Het artikel consolideert historische thesis-resultaten voor gesuperviseerde modellen (BiLSTM–CRF) zonder te proberen ononderbouwde precisie/recall-waarden te recreëren vanwege ontbrekende ruwe logs.
2. Reproduceerbare Benchmark: Het geeft een vaste, leakage-safe entiteit-extractie benchmark vrij (6.955 stories, 1.391 test) met identieke splits en scoring voor zowel BiLSTM–CRF als zeven LLM's.
3. Leakage-Safe Augmentatie: Het demonstreert een methode voor het augmenteren van trainingsdata met varianten die strikt zijn afgeleid van de trainingspartitie, wat een consistente F1-verbetering laat zien (0.953 $\to$ 0.961) zonder de testset te contamineren.
4. Eerlijke LLM Vergelijking: Het stelt een protocol vast waarbij LLM-configuraties uitsluitend via validatie worden geselecteerd om test-set leakage te voorkomen, en past een strikte exacte-span metriek toe die grens-fouten bestraft.

5. Betekenis en Claims

Het artikel neemt een bescheiden, bewijs-georiënteerde houding aan:

• Supervised Superiority (Superieur aan Gesuperviseerde Modellen): In de specifieke context van het extraheren van structurele entiteiten met strikte grensrestricties, presteert de gespecialiseerde BiLSTM–CRF aanzienlijk beter dan zowel zero-shot als validatie-geselecteerde one-shot LLM's (0.961 vs. ~0.43).
• Praktische Implicatie: Voor teams met stabiele backlogs die in staat zijn om representatieve stories te labelen, is de gereproduceerde BiLSTM–CRF de praktische standaard voor sub-milliseconde, grens-accurate extractie.
• Rol van LLM's: Geprompte LLM's worden gepositioneerd als interactieve analytische assistentie in plaats van onbeheerde vervangingen. Ze zijn effectief voor het identificeren van actoren (USER) en het genereren van JSON-structuren voor review, maar hun lage exacte-span scores voor acties en doelen vereisen menselijke verificatie voordat ze voor downstream processen kunnen worden gebruikt.
• Beperkingen: Het artikel vermeldt expliciet dat het geen aanspraak maakt op statistische significantie, hardware-onafhankelijke latentie of superioriteit over alle mogelijke LLM-prompting strategieën. Bovendien kan het geen superioriteit claimen voor NFR-extractie in de nieuwe benchmark vanwege het gebrek aan gevalideerde story-niveau NFR-labels.

De auteurs concluderen dat hoewel historisch bewijs hoge NFR-nauwkeurigheid voor BiLSTM–CRF ondersteunt, de nieuwe benchmark bevestigt dat voor structurele entiteits-extractie, gesuperviseerde sequentiemodellen momenteel een aanzienlijk voordeel behouden over generatieve LLM's wanneer zij onder strikte, reproduceerbare condities worden geëvalueerd.