User Reviews as a Source for Usability Requirements: A Precursor Study on Using Large Language Models

Riepilogo Tecnico: Le Recensioni degli Utenti come Fonte per i Requisiti di Usabilità Utilizzando Modelli Linguistici di Grandi Dimensioni

Enunciato del Problema
I prodotti software moderni affrontano una crescente complessità funzionale, creando sfide significative per l'usabilità. Sebbene l'ingegneria dei requisiti centrata sull'utente (RE) sia nota per migliorare l'idoneità del prodotto, coinvolgere direttamente gli utenti è intensivo in termini di risorse e spesso non fattibile per i team di sviluppo. L'Ingegneria dei Requisiti basata sulla Folla (CrowdRE) tenta di colmare questo divario sfruttando il feedback pubblico degli utenti (ad esempio, recensioni degli store di applicazioni). Tuttavia, gli approcci esistenti per classificare gli aspetti di usabilità da questo feedback si basano pesantemente sul Machine Learning (ML) o sul Deep Learning (DL). Questi metodi tradizionali richiedono ampi dataset di addestramento etichettati manualmente, creando un collo di bottiglia per i cicli di sviluppo rapidi. Inoltre, i modelli ML standard spesso faticano con le sfumature contestuali e il linguaggio informale (ad esempio, emoji, modi di dire) comuni nelle recensioni degli utenti, affidandosi tipicamente a una semplice corrispondenza di parole chiave. Esiste un vuoto di ricerca critico nel combinare la comprensione avanzata del linguaggio naturale dei Modelli Linguistici di Grandi Dimensioni (LLM) con i metodi centrati sull'utente della CrowdRE per estrarre requisiti di usabilità senza la necessità di un addestramento intensivo specifico per il compito.

Metodologia
Lo studio investiga se un LLM specificamente istruito (gpt-4.1 di OpenAI) possa identificare efficacemente le recensioni degli utenti rilevanti per l'usabilità, risultando comparabile ai valutatori umani. La ricerca è strutturata attorno a due Domande di Ricerca (RQ):

1. Le prestazioni di un LLM su misura sono comparabili a quelle di codificatori umani nell'identificare recensioni correlate all'usabilità?
2. Qual è l'affidabilità dell'LLM nell'identificare queste recensioni all'interno di un dataset casuale?

Raccolta e Preparazione dei Dati:

• Dataset: Un dataset di 300 recensioni degli utenti è stato raccolto dal Google Play Store, distribuito uniformemente tra tre tipi di applicazioni distinti per garantire diversità: BlitzerDE (mappe/navigazione), Lidl Plus (e-commerce) e FL Studio (composizione musicale).
• Etichettatura Umana (Verità di Riferimento): Due valutatori esperti hanno etichettato il dataset basandosi sulle 10 Euristiche di Usabilità di Nielsen. Le recensioni sono state codificate come "vere" (rilevanti per l'usabilità) se contenevano almeno un'affermazione relativa a un'euristica, e "false" altrimenti.
  • Esclusioni: Sono state escluse richieste di funzionalità, requisiti non funzionali sovrapposti (ad esempio, accessibilità, compatibilità), affermazioni vaghe, segnalazioni di bug e problemi derivanti da contesti esterni (ad esempio, sistema operativo o hardware).
  • Processo: È stato impiegato un processo di codifica iterativo. Un round di pre-codifica su 20 recensioni ha identificato ambiguità nelle linee guida, portando a una guida di codifica potenziata. Un secondo round ha coperto l'intero set di 300 recensioni. L'affidabilità inter-valutatore è stata calcolata utilizzando il Kappa di Cohen ($\kappa$), mostrando un accordo sostanziale su tutte e tre le app ($\kappa$ compreso tra 0,61 e 0,76).
• Prompt Engineering per LLM: È stato sviluppato un prompt iniziale basato sulle linee guida di codifica potenziate utilizzando il prompting a Catena di Pensiero (Chain-of-Thought) per istruire l'LLM sui passaggi di ragionamento intermedi. Il prompt è stato raffinato attraverso tre iterazioni utilizzando un campione di prova di 30 recensioni (10 per app). Gli autori hanno esplicitamente evitato il prompting few-shot per prevenire l'overfitting, affinando invece le istruzioni e gli obiettivi all'interno del prompt.

Contributi Chiave
Il documento fornisce tre contributi principali:

1. Un Dataset Codificato: Un dataset completamente etichettato di 300 recensioni degli utenti provenienti da tre diverse categorie di app, etichettato da due valutatori umani e da un LLM, disponibile nel materiale supplementare.
2. Framework di Prompt Engineering: Un prompt iniziale e linee guida di codifica derivati specificamente dalle 10 Euristiche di Usabilità di Nielsen per filtrare le recensioni rilevanti per l'usabilità, sviluppati attraverso un affinamento iterativo.
3. Analisi delle Prestazioni: Una determinazione empirica della capacità dell'LLM di riconoscere l'usabilità come requisito non funzionale rispetto alle prestazioni umane.

Risultati

• Baseline Umana: I due valutatori umani hanno identificato 148 (49,3%) delle 300 recensioni come rilevanti per l'usabilità. L'affidabilità inter-valutatore è stata sostanziale ($\kappa$ 0,61–0,76).
• Prestazioni dell'LLM (Metriche): Utilizzando il prompt ottimizzato finale, l'LLM ha identificato 173 (58%) recensioni come rilevanti per l'usabilità.
  • Precisione/Recall: L'LLM ha dimostrato un alto Recall (0,84–0,93 tra le app) ma una Precisione leggermente inferiore (0,73–0,79), indicando che è più permissivo rispetto ai valutatori umani (identificando più potenziali problemi di usabilità, alcuni dei quali sono stati rifiutati dagli umani).
  • F-Score: L'LLM ha raggiunto punteggi F1 compresi tra 0,78 e 0,82 tra le diverse app.
• Affidabilità (Accordo Inter-valutatore): Confrontando le etichette dell'LLM con il consenso umano finale:
  • BlitzerDE: Accordo discreto ($\kappa = 0,34$).
  • Lidl Plus: Accordo moderato ($\kappa = 0,55$).
  • FL Studio: Accordo sostanziale ($\kappa = 0,63$).
• Significatività Statistica: Un test del Chi-quadrato sulla correlazione tra la certezza del valutatore e la correttezza dell'LLM ha prodotto un valore p di 0,35, indicando nessuna correlazione statisticamente significativa. L'LLM non riproduce in modo affidabile il modello mentale umano e commette errori in luoghi diversi e inaspettati.

Significato e Affermazioni
Il documento conclude che, sebbene gli LLM non siano ancora sostituti perfetti per i valutatori umani a causa di livelli inferiori di affidabilità e accordo, rappresentano un'opzione vitale ed efficiente in termini di risorse per l'ingegneria dei requisiti.

• Trade-off: Gli autori sostengono che il sovraccarico di risorse necessario per l'addestramento di modelli ML/DL tradizionali è impraticabile per la maggior parte dei team. Al contrario, gli LLM raggiungono risultati accettabili con un sovraccarico significativamente inferiore.
• Permissività: La tendenza dell'LLM a essere leggermente più permissivo (recall più alto) è vista come un vantaggio pratico; in uno scenario reale, raccogliere una quantità limitata di recensioni irrilevanti è preferibile a perdere requisiti di usabilità rilevanti.
• Direzione Futura: Lo studio funge da precursore, suggerendo che ulteriori ricerche dovrebbero concentrarsi su un prompt engineering sofisticato (ad esempio, prompting few-shot) e sul confronto di LLM ottimizzati con approcci ML/DL tradizionali per determinare la tecnologia ottimale per compiti specifici di CrowdRE. Gli autori sottolineano che il successo dell'approccio dipende fortemente dalla qualità del prompt su misura.