User eXperience Perception Insights Dataset (UXPID): Synthetic User Feedback from Public Industrial Forums

Riepilogo Tecnico: Il Dataset di Insight sulla Percezione dell'Esperienza Utente (UXPID)

Enunciato del Problema
Il feedback dei clienti nei forum tecnici industriali offre insight critici sulle esperienze reali con i prodotti, sui problemi di usabilità e sulle richieste di funzionalità. Tuttavia, l'analisi sistematica di tale feedback è ostacolata dalla natura non strutturata dei contenuti, dalla scarsità di dataset etichettati di alta qualità e da significative restrizioni sulla privacy e sulle licenze che impediscono l'utilizzo di dati reali per l'addestramento di modelli di intelligenza artificiale. I dataset esistenti a accesso aperto per l'ingegneria dei requisiti e l'analisi del feedback degli utenti (ad esempio TFThs, TechQA, PURE) spesso mancano di strutture di discussione contestuali, annotazioni sulla gravità o insight semantici derivati dai thread conversazionali. Inoltre, molti sono troppo piccoli per un addestramento robusto dei modelli o non riescono a catturare le specifiche sfumature dei contesti di automazione industriale, limitando lo sviluppo di modelli capaci di estrarre requisiti azionabili e insight sull'esperienza utente su larga scala.

Metodologia
Gli autori presentano il Dataset di Insight sulla Percezione dell'Esperienza Utente (UXPID), un dataset sintetico costruito a partire da 7.130 rami di discussione estratti da un forum pubblico di automazione industriale. La pipeline di creazione del dataset prevede quattro fasi chiave:

1. Raccolta ed Estrazione dei Dati: I commenti degli utenti e i metadati sono stati raccolti da un forum tecnico gestito da un'azienda. I dati sono stati archiviati in formato JSON, preservando la struttura dei thread di commenti multi-post.
2. Annotazione e Sintesi Guidate da LLM: Il modello OpenAI GPT-4.1 è stato utilizzato per elaborare i dati. Crucialmente, il processo è stato sequenziale per evitare circolarità:
   • Fase 1 (Annotazione): L'LLM ha analizzato il testo originale del forum, non modificato, per estrarre insight semantici, inclusi riassunti UX, aspettative degli utenti, valutazioni della gravità, sentiment ed estrazione di parole chiave (pain, gain, feature). Queste annotazioni fungono da verità fondamentale (ground truth).
   • Fase 2 (Sintesi/Anonimizzazione): L'LLM è stato quindi istruito a riformulare leggermente il testo originale e a sostituire tutte le entità identificative (nomi di aziende, nomi di prodotti, nomi di utenti, URL, ecc.) con segnaposto tipizzati (ad esempio, [nome_prodotto], [nome_utente]). Ciò garantisce la privacy preservando al contempo il contenuto semantico necessario per le annotazioni.
3. Classificazione degli Argomenti: È stato applicato un processo iterativo in cui l'LLM ha estratto indipendentemente gli argomenti per ogni ramo. Nuovi argomenti sono stati aggiunti a un pool di archiviazione se non corrispondevano a quelli esistenti, consentendo un clustering dinamico degli argomenti.
4. Validazione Umana: Per garantire l'accuratezza delle annotazioni, 32 rami selezionati a scopo specifico sono stati validati manualmente da tre esperti di dominio contro 20 campi di annotazione. La validazione ha coperto casi d'uso, metriche UX, gravità e sentiment. Il processo ha raggiunto un tasso di "accordo adeguato" dell'87% (combinando disaccordi esatti e minori), con affinamenti dei prompt che hanno ridotto le discrepanze sistematiche tra i round di validazione.
5. Analisi della Fedeltà: Un confronto statistico (test di rango con segno di Wilcoxon) tra testo originale e testo sintetizzato ha confermato che la struttura conversazionale (conteggi dei commenti, rapporti di risposta) è stata preservata. Sebbene il processo di sintesi abbia aumentato la formalità superficiale (riducendo marcatori informali come punti esclamativi e MAIUSCOLO) e alterato leggermente i conteggi delle parole, la diversità linguistica di base e la struttura interrogativa sono rimaste sostanzialmente intatte.

Contributi Chiave
Il documento individua tre contributi principali:

1. Un Nuovo Dataset (UXPID): Una raccolta di 7.130 rami di forum anonimizzati e sintetizzati contenenti oltre 36.000 commenti, specificamente adattati ai prodotti di automazione industriale. Estende la portata dei dataset esistenti di ingegneria dei requisiti catturando contesti conversazionali completi.
2. Struttura Semantica Ricca: A differenza delle risorse precedenti, UXPID include insight automatizzati, clustering degli argomenti, annotazioni sulla gravità e analisi del sentiment derivati dalle conversazioni degli utenti, fornendo profondità contestuale per l'addestramento di modelli NLP.
3. Linee di Base di Riferimento (Benchmark Baselines): Gli autori forniscono metriche di prestazioni di riferimento per compiti di classificazione utilizzando sia modelli classici (TF-IDF + Regressione Logistica) sia basati su transformer (DistilBERT), stabilendo una baseline per la ricerca futura nella classificazione del feedback e nell'estrazione dei requisiti.

Risultati
La validazione tecnica è stata eseguita utilizzando esperimenti di classificazione su una divisione train/test stratificata 80/20.

• Classificazione degli Argomenti: DistilBERT ha costantemente superato la baseline TF-IDF + Regressione Logistica. Per la classificazione "Riassunto → Argomento" su tutte le 32 classi, DistilBERT ha raggiunto un punteggio F1 di 0,6923 rispetto a 0,4799 per la baseline. Quando limitato alle classi con >50 istanze, il divario si è ristretto (0,7174 contro 0,6060), suggerendo che la baseline fatica principalmente con le classi rare.
• Analisi del Sentiment: DistilBERT ha raggiunto punteggi F1 di 0,7825 (input riassunto) e 0,7923 (input commento grezzo) per la classificazione complessiva del sentiment, superando significativamente la baseline (rispettivamente 0,6568 e 0,6340).
• Comportamento del Modello: Il modello transformer ha previsto conteggi di etichette (1,53–1,62 per campione) che corrispondevano da vicino alla verità fondamentale (1,69), mentre la baseline classica tendeva a sovrastimare le etichette.

Significato e Affermazioni
Il documento afferma che UXPID colma il divario critico nelle risorse disponibili per l'addestramento di modelli di intelligenza artificiale sul feedback degli utenti industriali. Fornendo un dataset ben annotato e che preserva la privacy, consente l'addestramento e la valutazione di modelli basati su transformer per compiti come il rilevamento di problemi, l'analisi del sentiment e l'estrazione dei requisiti nei forum tecnici. Gli autori posizionano il dataset come una risorsa preziosa per l'avanzamento dei metodi NLP all'interno del supporto ai prodotti industriali e dell'ingegneria del software, in particolare dove l'accesso ai dati reali è limitato. Il dataset è progettato per supportare applicazioni diversificate nell'ingegneria dei requisiti e nell'elaborazione del linguaggio naturale, offrendo una base per lo sviluppo di strategie più efficienti per analizzare grandi volumi di feedback industriale non strutturato.