User Reviews as a Source for Usability Requirements: A Precursor Study on Using Large Language Models

Résumé Technique : Les Avis Utilisateurs comme Source d'Exigences d'Utilisabilité grâce aux Grands Modèles de Langage

Énoncé du Problème
Les produits logiciels modernes font face à une complexité fonctionnelle croissante, créant des défis significatifs en matière d'utilisabilité. Bien que l'ingénierie des exigences centrée sur l'utilisateur (RE) soit reconnue pour améliorer l'adéquation des produits, impliquer directement les utilisateurs est gourmand en ressources et souvent irréalisable pour les équipes de développement. L'ingénierie des exigences basée sur la foule (CrowdRE) tente de combler ce fossé en exploitant les retours publics des utilisateurs (par exemple, les avis des magasins d'applications). Cependant, les approches existantes pour classifier les aspects d'utilisabilité à partir de ces retours reposent fortement sur l'apprentissage automatique (ML) ou l'apprentissage profond (DL). Ces méthodes traditionnelles nécessitent d'énormes jeux de données d'entraînement étiquetés manuellement, créant un goulot d'étranglement pour les cycles de développement rapides. De plus, les modèles ML standards peinent souvent à saisir les nuances contextuelles et le langage informel (par exemple, les émojis, les idiomes) courants dans les avis utilisateurs, s'appuyant généralement sur un simple appariement de mots-clés. Il existe un vide de recherche critique dans la combinaison de la compréhension avancée du langage naturel des Grands Modèles de Langage (LLM) avec les méthodes centrées sur l'utilisateur de la CrowdRE pour extraire des exigences d'utilisabilité sans nécessiter un entraînement intensif spécifique à la tâche.

Méthodologie
L'étude examine si un LLM spécifiquement sollicité (gpt-4.1 d'OpenAI) peut identifier efficacement les avis utilisateurs pertinents pour l'utilisabilité, de manière comparable à des évaluateurs humains. La recherche est structurée autour de deux Questions de Recherche (RQ) :

1. La performance d'un LLM adapté est-elle comparable à celle de codeurs humains dans l'identification d'avis liés à l'utilisabilité ?
2. Quelle est la fiabilité du LLM dans l'identification de ces avis au sein d'un jeu de données aléatoire ?

Collecte et Préparation des Données :

• Jeu de données : Un jeu de données de 300 avis utilisateurs a été collecté sur le Google Play Store, réparti uniformément sur trois types d'applications distincts pour assurer la diversité : BlitzerDE (cartes/navigation), Lidl Plus (commerce électronique) et FL Studio (composition musicale).
• Étiquetage Humain (Vérité Terrain) : Deux évaluateurs expérimentés ont étiqueté le jeu de données sur la base des 10 Heuristiques d'Utilisabilité de Nielsen. Les avis ont été codés comme « vrais » (pertinents pour l'utilisabilité) s'ils contenaient au moins une affirmation liée à une heuristique, et « faux » sinon.
  • Exclusions : Les demandes de fonctionnalités, les exigences non fonctionnelles chevauchantes (par exemple, accessibilité, compatibilité), les déclarations vagues, les rapports de bugs et les problèmes découlant de contextes externes (par exemple, système d'exploitation ou matériel) ont été exclus.
  • Processus : Un processus de codage itératif a été employé. Un tour de pré-codage sur 20 avis a permis d'identifier des ambiguïtés dans les directives, conduisant à une directive de codage améliorée. Un deuxième tour a couvert l'ensemble des 300 avis. La fiabilité inter-évaluateurs a été calculée à l'aide du Kappa de Cohen ($\kappa$), montrant un accord substantiel sur les trois applications ($\kappa$ variant de 0,61 à 0,76).
• Ingénierie des Prompts pour le LLM : Un prompt initial a été développé sur la base des directives de codage améliorées en utilisant le prompting de chaîne de pensée pour instruire le LLM sur les étapes de raisonnement intermédiaires. Le prompt a été affiné par trois itérations en utilisant un échantillon de test de 30 avis (10 par application). Les auteurs ont explicitement évité le prompting few-shot pour prévenir le surapprentissage, affinant à la place les instructions et les objectifs au sein du prompt.

Contributions Clés
L'article fournit trois contributions principales :

1. Un Jeu de Données Codé : Un jeu de données entièrement étiqueté de 300 avis utilisateurs provenant de trois catégories d'applications diverses, étiqueté par deux évaluateurs humains et un LLM, disponible dans le matériel complémentaire.
2. Cadre d'Ingénierie des Prompts : Un prompt initial et des directives de codage spécifiquement dérivés des 10 Heuristiques d'Utilisabilité de Nielsen pour filtrer les avis pertinents pour l'utilisabilité, développés par affinage itératif.
3. Analyse de Performance : Une détermination empirique de la capacité du LLM à reconnaître l'utilisabilité en tant qu'exigence non fonctionnelle par rapport à la performance humaine.

Résultats

• Référence Humaine : Les deux évaluateurs humains ont identifié 148 (49,3 %) des 300 avis comme pertinents pour l'utilisabilité. La fiabilité inter-évaluateurs était substantielle ($\kappa$ 0,61–0,76).
• Performance du LLM (Métriques) : En utilisant le prompt optimisé final, le LLM a identifié 173 (58 %) avis comme pertinents pour l'utilisabilité.
  • Précision/Rappel : Le LLM a démontré un Rappel élevé (0,84–0,93 sur les applications) mais une Précision légèrement plus faible (0,73–0,79), indiquant qu'il est plus permissif que les évaluateurs humains (identifiant plus de problèmes d'utilisabilité potentiels, dont certains ont été rejetés par les humains).
  • Score F : Le LLM a obtenu des scores F1 compris entre 0,78 et 0,82 sur les différentes applications.
• Fiabilité (Accord Inter-évaluateurs) : Lors de la comparaison des étiquettes du LLM avec le consensus humain final :
  • BlitzerDE : Accord faible ($\kappa = 0,34$).
  • Lidl Plus : Accord modéré ($\kappa = 0,55$).
  • FL Studio : Accord substantiel ($\kappa = 0,63$).
• Significativité Statistique : Un test du Chi-deux sur la corrélation entre la certitude de l'évaluateur et la justesse du LLM a donné une valeur p de 0,35, indiquant qu'il n'y a pas de corrélation statistiquement significative. Le LLM ne reproduit pas de manière fiable le modèle mental humain et commet des erreurs dans des endroits différents et inattendus.

Signification et Affirmations
L'article conclut que, bien que les LLM ne soient pas encore des remplaçants parfaits pour les évaluateurs humains en raison de niveaux de fiabilité et d'accord inférieurs, ils représentent une option viable et économe en ressources pour l'ingénierie des exigences.

• Arbitrage : Les auteurs soutiennent que la surcharge de ressources liée à l'entraînement de modèles ML/DL traditionnels est impraticable pour la plupart des équipes. En revanche, les LLM obtiennent des résultats acceptables avec une surcharge nettement moindre.
• Permissivité : La tendance du LLM à être légèrement plus permissif (rappel plus élevé) est considérée comme un avantage pratique ; dans un scénario réel, rassembler une quantité limitée d'avis non pertinents est préférable à manquer des exigences d'utilisabilité pertinentes.
• Orientation Future : L'étude sert de précurseur, suggérant que de futures recherches devraient se concentrer sur une ingénierie de prompts sophistiquée (par exemple, le prompting few-shot) et sur la comparaison de LLM optimisés avec des approches ML/DL traditionnelles pour déterminer la technologie optimale pour des tâches CrowdRE spécifiques. Les auteurs soulignent que le succès de l'approche dépend fortement de la qualité du prompt adapté.