User Reviews as a Source for Usability Requirements: A Precursor Study on Using Large Language Models

Technische Samenvatting: Gebruikersbeoordelingen als Bron voor Gebruikseisen met Behulp van Groot Taalmodellen

Probleemstelling
Moderne softwareproducten staan voor toenemende functionele complexiteit, wat aanzienlijke uitdagingen op het gebied van gebruiksgemak met zich meebrengt. Hoewel gebruiksgerichte requirements engineering (RE) bekend staat om het verbeteren van de geschiktheid van producten, is directe betrokkenheid van gebruikers vaak resource-intensief en voor ontwikkelteams vaak onuitvoerbaar. Crowd-based Requirements Engineering (CrowdRE) probeert deze kloof te overbruggen door publieke gebruikersfeedback (bijvoorbeeld app-storebeoordelingen) te benutten. Echter, bestaande benaderingen voor het classificeren van gebruiksgemakaspecten uit deze feedback vertrouwen sterk op Machine Learning (ML) of Deep Learning (DL). Deze traditionele methoden vereisen uitgebreide, handmatig gelabelde trainingsdatasets, wat een knelpunt vormt voor snelle ontwikkelcycli. Bovendien hebben standaard ML-modellen vaak moeite met contextuele nuances en informele taal (bijvoorbeeld emoji's, uitdrukkingen) die veel voorkomen in gebruikersbeoordelingen, en vertrouwen zij doorgaans op eenvoudige sleutelwoordmatching. Er is een kritiek onderzoeksleemte in het combineren van het geavanceerde natuurlijke taalbegrip van Groot Taalmodellen (LLM's) met de gebruiksgerichte methoden van CrowdRE om gebruikseisen te extraheren zonder de noodzaak van intensieve taakspecifieke training.

Methodologie
De studie onderzoekt of een specifiek geprompt LLM (OpenAI's gpt-4.1) effectief gebruiksgemak-relevante gebruikersbeoordelingen kan identificeren, vergelijkbaar met menselijke beoordelaars. Het onderzoek is gestructureerd rond twee Onderzoeksvragen (RQ's):

1. Is de prestatie van een op maat gemaakt LLM vergelijkbaar met die van menselijke coderaars bij het identificeren van gebruiksgemak-gerelateerde beoordelingen?
2. Wat is de betrouwbaarheid van het LLM bij het identificeren van deze beoordelingen binnen een willekeurige dataset?

Dataverzameling en Voorbereiding:

• Dataset: Een dataset van 300 gebruikersbeoordelingen is verzameld uit de Google Play Store, gelijkmatig verdeeld over drie verschillende applicatietypes om diversiteit te waarborgen: BlitzerDE (kaarten/navigatie), Lidl Plus (e-commerce) en FL Studio (muziekcompositie).
• Menselijke Labeling (Ground Truth): Twee ervaren beoordelaars labelden de dataset op basis van de 10 Nielsen-gebruiksgemakheuristieken. Beoordelingen werden gecodeerd als "waar" (gebruiksgemak-relevant) als ze ten minste één stelling bevatten die gerelateerd was aan een heuristiek, en "onwaar" anderszins.
  • Uitsluitingen: Functieverzoeken, overlappende niet-functionele eisen (bijvoorbeeld toegankelijkheid, compatibiliteit), vage stellingen, bugrapporten en problemen die voortvloeien uit externe contexten (bijvoorbeeld besturingssysteem of hardware) werden uitgesloten.
  • Proces: Er werd een iteratief coderingsproces toegepast. Een voor-coderingsronde van 20 beoordelingen identificeerde ambiguïteiten in de richtlijnen, wat leidde tot een verbeterde coderingsrichtlijn. Een tweede ronde dekte de volledige 300 beoordelingen. De inter-rater betrouwbaarheid werd berekend met behulp van Cohens Kappa ($\kappa$), wat een substantiële overeenkomst toonde voor alle drie de apps ($\kappa$ variërend van 0,61 tot 0,76).
• LLM Prompt Engineering: Een initiële prompt werd ontwikkeld op basis van de verbeterde coderingsrichtlijnen met behulp van Chain-of-Thought prompting om het LLM aan te sturen op tussenstappen in het redeneren. De prompt werd verfijnd via drie iteraties met een testsample van 30 beoordelingen (10 per app). De auteurs vermijden expliciet few-shot prompting om overfitting te voorkomen, en verfijnden in plaats daarvan de instructies en doelen binnen de prompt.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

1. Een Gecodeerde Dataset: Een volledig gelabelde dataset van 300 gebruikersbeoordelingen uit drie diverse app-categorieën, gelabeld door twee menselijke beoordelaars en een LLM, beschikbaar in het supplementaire materiaal.
2. Prompt Engineering Framework: Een initiële prompt en coderingsrichtlijnen die specifiek zijn afgeleid van de 10 Nielsen-gebruiksgemakheuristieken om gebruiksgemak-relevante beoordelingen te filteren, ontwikkeld via iteratieve verfijning.
3. Prestatieanalyse: Een empirische bepaling van het vermogen van het LLM om gebruiksgemak te herkennen als een niet-functionele eis in vergelijking met menselijke prestaties.

Resultaten

• Menselijke Baseline: De twee menselijke beoordelaars identificeerden 148 (49,3%) van de 300 beoordelingen als gebruiksgemak-relevant. De inter-rater betrouwbaarheid was substantieel ($\kappa$ 0,61–0,76).
• LLM Prestaties (Metrieken): Met behulp van de geoptimaliseerde definitieve prompt identificeerde het LLM 173 (58%) beoordelingen als gebruiksgemak-relevant.
  • Precisie/Recall: Het LLM toonde een hoge Recall (0,84–0,93 over de apps) maar een iets lagere Precisie (0,73–0,79), wat aangeeft dat het toelatingserender is dan menselijke beoordelaars (het identificeert meer potentiële gebruiksgemakproblemen, waarvan sommige door mensen werden afgewezen).
  • F-Score: Het LLM behaalde F1-scores tussen 0,78 en 0,82 voor de verschillende apps.
• Betrouwbaarheid (Inter-rater Overeenkomst): Bij het vergelijken van de labels van het LLM met de definitieve menselijke consensus:
  • BlitzerDE: Matige overeenkomst ($\kappa = 0,34$).
  • Lidl Plus: Gematigde overeenkomst ($\kappa = 0,55$).
  • FL Studio: Substantiële overeenkomst ($\kappa = 0,63$).
• Statistische Significantie: Een Chi-kwadraattoets op de correlatie tussen de zekerheid van de beoordelaar en de correctheid van het LLM leverde een p-waarde van 0,35 op, wat aangeeft dat er geen statistisch significante correlatie is. Het LLM reproduceert het menselijke mentale model niet betrouwbaar en maakt fouten op verschillende, onverwachte plaatsen.

Betekenis en Beweringen
Het artikel concludeert dat hoewel LLM's vanwege lagere betrouwbaarheids- en overeenkomstniveaus nog geen perfecte vervangingen zijn voor menselijke beoordelaars, ze een haalbare en resource-efficiënte optie vormen voor requirements engineering.

• Trade-off: De auteurs betogen dat de resource-overschrijding voor het trainen van traditionele ML/DL-modellen voor de meeste teams onpraktisch is. Daarentegen bereiken LLM's acceptabele resultaten met aanzienlijk minder overhead.
• Toelating: De neiging van het LLM om iets toelatingser te zijn (hogere recall) wordt gezien als een praktisch voordeel; in een real-world scenario is het verzamelen van een beperkt aantal irrelevante beoordelingen preferabel boven het missen van relevante gebruiksgemakeisen.
• Toekomstige Richting: De studie dient als voorloper en suggereert dat verder onderzoek zich moet richten op geavanceerde prompt engineering (bijvoorbeeld few-shot prompting) en het vergelijken van geoptimaliseerde LLM's met traditionele ML/DL-benaderingen om de optimale technologie voor specifieke CrowdRE-taken te bepalen. De auteurs benadrukken dat het succes van de aanpak sterk afhankelijk is van de kwaliteit van de op maat gemaakte prompt.