User eXperience Perception Insights Dataset (UXPID): Synthetic User Feedback from Public Industrial Forums

Résumé technique : L'ensemble de données d'insights sur la perception de l'expérience utilisateur (UXPID)

Énoncé du problème
Les retours clients dans les forums techniques industriels offrent des insights critiques sur les expériences réelles avec les produits, les problèmes d'utilisabilité et les demandes de fonctionnalités. Cependant, l'analyse systématique de ces retours est entravée par le caractère non structuré du contenu, la rareté des ensembles de données étiquetés de haute qualité, et des restrictions significatives en matière de confidentialité et de licence qui empêchent l'utilisation de données réelles pour l'entraînement de modèles d'IA. Les ensembles de données existants à accès ouvert pour l'ingénierie des exigences et l'analyse des retours utilisateurs (par exemple, TFThs, TechQA, PURE) manquent souvent de structures de discussion contextuelles, d'annotations de sévérité ou d'insights sémantiques dérivés des fils de conversation. De plus, beaucoup sont trop petits pour un entraînement robuste de modèles ou ne parviennent pas à capturer les nuances spécifiques des contextes d'automatisation industrielle, limitant ainsi le développement de modèles capables d'extraire des exigences exploitables et des insights UX à grande échelle.

Méthodologie
Les auteurs présentent l'ensemble de données d'insights sur la perception de l'expérience utilisateur (UXPID), un ensemble de données synthétique construit à partir de 7 130 branches de discussion extraites d'un forum public d'automatisation industrielle. Le pipeline de création de l'ensemble de données comprend quatre étapes clés :

1. Collecte et extraction des données : Les commentaires d'utilisateurs et les métadonnées ont été collectés à partir d'un forum technique géré par une entreprise. Les données ont été stockées au format JSON, préservant la structure des fils de commentaires multi-postes.
2. Annotation et synthèse pilotées par LLM : Le modèle OpenAI GPT-4.1 a été utilisé pour traiter les données. Crucialement, le processus était séquentiel pour éviter la circularité :
   • Étape 1 (Annotation) : Le LLM a analysé le texte original du forum, non modifié, pour extraire des insights sémantiques, notamment des résumés UX, des attentes utilisateurs, des notes de sévérité, des sentiments et une extraction de mots-clés (douleur, gain, fonctionnalité). Ces annotations servent de vérité terrain.
   • Étape 2 (Synthèse/Anonymisation) : Le LLM a ensuite reçu l'instruction de reformuler légèrement le texte original et de remplacer toutes les entités identifiantes (noms d'entreprises, noms de produits, noms d'utilisateurs, URL, etc.) par des espaces réservés typés (par exemple, [nom_produit], [nom_utilisateur]). Cela garantit la confidentialité tout en préservant le contenu sémantique requis pour les annotations.
3. Classification par sujet : Un processus itératif a été appliqué où le LLM a extrait indépendamment les sujets pour chaque branche. De nouveaux sujets ont été ajoutés à un pool de stockage s'ils ne correspondaient pas aux existants, permettant un regroupement dynamique des sujets.
4. Validation humaine : Pour garantir l'exactitude des annotations, 32 branches sélectionnées de manière intentionnelle ont été validées manuellement par trois experts du domaine contre 20 champs d'annotation. La validation couvrait les cas d'usage, les métriques UX, la sévérité et le sentiment. Le processus a atteint un taux d'accord « adéquat » de 87 % (combinant les désaccords exacts et mineurs), les affinements des invites réduisant les écarts systématiques entre les tours de validation.
5. Analyse de fidélité : Une comparaison statistique (test de Wilcoxon des rangs signés) entre le texte original et le texte synthétisé a confirmé que la structure conversationnelle (nombre de commentaires, ratios de réponses) était préservée. Bien que le processus de synthèse ait accru la formalité de surface (réduisant les marqueurs informels comme les points d'exclamation et les MAJUSCULES) et légèrement modifié les comptes de mots, la diversité linguistique fondamentale et la structure interrogative sont restées largement intactes.

Contributions principales
L'article identifie trois contributions principales :

1. Un nouvel ensemble de données (UXPID) : Une collection de 7 130 branches de forums anonymisées et synthétisées contenant plus de 36 000 commentaires, spécifiquement adaptées aux produits d'automatisation industrielle. Elle étend la portée des ensembles de données d'ingénierie des exigences existants en capturant des contextes conversationnels complets.
2. Structure sémantique riche : Contrairement aux ressources antérieures, UXPID inclut des insights automatisés, un regroupement par sujets, des annotations de sévérité et une analyse de sentiment dérivés des conversations utilisateurs, offrant une profondeur contextuelle pour l'entraînement de modèles de PNL.
3. Lignes de base de référence : Les auteurs fournissent des métriques de performance de référence pour les tâches de classification utilisant à la fois des modèles classiques (TF-IDF + Régression logistique) et basés sur des transformateurs (DistilBERT), établissant une base pour les recherches futures en classification des retours et extraction d'exigences.

Résultats
Une validation technique a été réalisée à l'aide d'expériences de classification sur une division stratifiée 80/20 entraînement/test.

• Classification par sujet : DistilBERT a constamment surpassé la ligne de base TF-IDF + Régression logistique. Pour la classification « Résumé → Sujet » sur l'ensemble des 32 classes, DistilBERT a obtenu un score F1 de 0,6923 contre 0,4799 pour la ligne de base. Lorsqu'il est restreint aux classes comportant plus de 50 instances, l'écart s'est réduit (0,7174 contre 0,6060), suggérant que la ligne de base lutte principalement avec les classes rares.
• Analyse de sentiment : DistilBERT a obtenu des scores F1 de 0,7825 (entrée résumé) et 0,7923 (entrée commentaire brut) pour la classification globale du sentiment, surpassant significativement la ligne de base (respectivement 0,6568 et 0,6340).
• Comportement du modèle : Le modèle transformateur a prédit des comptes d'étiquettes (1,53–1,62 par échantillon) correspondant étroitement à la vérité terrain (1,69), tandis que la ligne de base classique avait tendance à surestimer les étiquettes.

Signification et affirmations
L'article affirme que UXPID comble le fossé critique dans les ressources disponibles pour l'entraînement de modèles d'IA sur les retours utilisateurs industriels. En fournissant un ensemble de données préservant la confidentialité et bien annoté, il permet l'entraînement et l'évaluation de modèles basés sur des transformateurs pour des tâches telles que la détection de problèmes, l'analyse de sentiment et l'extraction d'exigences dans les forums techniques. Les auteurs positionnent l'ensemble de données comme une ressource précieuse pour faire progresser les méthodes de PNL dans le support de produits industriels et l'ingénierie logicielle, en particulier là où l'accès aux données réelles est restreint. L'ensemble de données est conçu pour soutenir des applications diverses en ingénierie des exigences et en traitement du langage naturel, offrant une base pour développer des stratégies plus efficaces d'analyse de grands volumes de retours industriels non structurés.