User eXperience Perception Insights Dataset (UXPID): Synthetic User Feedback from Public Industrial Forums

Resumo Técnico: O Conjunto de Dados de Insights sobre a Percepção da Experiência do Usuário (UXPID)

Declaração do Problema
O feedback de clientes em fóruns técnicos industriais oferece insights críticos sobre experiências reais com produtos, problemas de usabilidade e solicitações de recursos. No entanto, a análise sistemática desse feedback é dificultada pela natureza não estruturada do conteúdo, pela escassez de conjuntos de dados rotulados de alta qualidade e por restrições significativas de privacidade/licenciamento que impedem o uso de dados do mundo real para treinamento de modelos de IA. Conjuntos de dados de acesso aberto existentes para engenharia de requisitos e análise de feedback de usuários (por exemplo, TFThs, TechQA, PURE) frequentemente carecem de estruturas de discussão contextual, anotações de severidade ou insights semânticos derivados de threads conversacionais. Além disso, muitos são muito pequenos para treinamento robusto de modelos ou falham em capturar as nuances específicas de contextos de automação industrial, limitando o desenvolvimento de modelos capazes de extrair requisitos acionáveis e insights de UX em escala.

Metodologia
Os autores apresentam o Conjunto de Dados de Insights sobre a Percepção da Experiência do Usuário (UXPID), um conjunto de dados sintético construído a partir de 7.130 ramos de discussão extraídos de um fórum público de automação industrial. O pipeline de criação do conjunto de dados envolve quatro etapas principais:

1. Coleta e Extração de Dados: Comentários de usuários e metadados foram coletados de um fórum técnico operado por uma empresa. Os dados foram armazenados no formato JSON, preservando a estrutura de threads de comentários com múltiplas postagens.
2. Anotação e Síntese Orientadas por LLM: O modelo OpenAI GPT-4.1 foi utilizado para processar os dados. Crucialmente, o processo foi sequencial para evitar circularidade:
   • Etapa 1 (Anotação): O LLM analisou o texto original do fórum, não modificado, para extrair insights semânticos, incluindo resumos de UX, expectativas do usuário, classificações de severidade, sentimento e extração de palavras-chave (dor, ganho, recurso). Essas anotações servem como verdade fundamental.
   • Etapa 2 (Síntese/Anonimização): O LLM foi então instruído a reescrever levemente o texto original e substituir todas as entidades identificáveis (nomes de empresas, nomes de produtos, nomes de usuários, URLs, etc.) por espaços reservados tipados (por exemplo, [nome_do_produto], [nome_do_usuario]). Isso garante a privacidade enquanto preserva o conteúdo semântico necessário para as anotações.
3. Classificação de Tópicos: Um processo iterativo foi aplicado onde o LLM extraiu independentemente tópicos para cada ramo. Novos tópicos foram adicionados a um pool de armazenamento se não correspondessem aos existentes, permitindo agrupamento dinâmico de tópicos.
4. Validação Humana: Para garantir a precisão das anotações, 30 ramos selecionados intencionalmente foram validados manualmente por três especialistas do domínio contra 20 campos de anotação. A validação cobriu casos de uso, métricas de UX, severidade e sentimento. O processo alcançou uma taxa de "acordo adequado" de 87% (combinando discordâncias exatas e menores), com refinamentos nos prompts reduzindo discrepâncias sistemáticas entre rodadas de validação.
5. Análise de Fidelidade: Uma comparação estatística (teste de postos sinalizados de Wilcoxon) entre o texto original e o sintetizado confirmou que a estrutura conversacional (contagens de comentários, proporções de resposta) foi preservada. Embora o processo de síntese tenha aumentado a formalidade superficial (reduzindo marcadores informais como pontos de exclamação e LETRAS MAIÚSCULAS) e alterado ligeiramente as contagens de palavras, a diversidade linguística central e a estrutura interrogativa permaneceram amplamente intactas.

Contribuições Principais
O artigo identifica três contribuições primárias:

1. Um Conjunto de Dados Novel (UXPID): Uma coleção de 7.130 ramos de fórum anonimizados e sintetizados contendo mais de 36.000 comentários, especificamente adaptados para produtos de automação industrial. Ele expande o escopo dos conjuntos de dados existentes de engenharia de requisitos ao capturar contextos conversacionais completos.
2. Estrutura Semântica Rica: Diferentemente de recursos anteriores, o UXPID inclui insights automatizados, agrupamento de tópicos, anotações de severidade e análise de sentimento derivados de conversas de usuários, fornecendo profundidade contextual para o treinamento de modelos de PNL.
3. Linhas de Base de Referência: Os autores fornecem métricas de desempenho de referência para tarefas de classificação usando modelos clássicos (TF-IDF + Regressão Logística) e baseados em transformadores (DistilBERT), estabelecendo uma linha de base para pesquisas futuras em classificação de feedback e extração de requisitos.

Resultados
A validação técnica foi realizada usando experimentos de classificação em uma divisão estratificada de 80/20 para treinamento/teste.

• Classificação de Tópicos: O DistilBERT superou consistentemente a linha de base TF-IDF + Regressão Logística. Para a classificação "Resumo → Tópico" em todas as 32 classes, o DistilBERT alcançou uma pontuação F1 de 0,6923, comparado a 0,4799 para a linha de base. Quando restrito a classes com >50 instâncias, a lacuna estreitou-se (0,7174 vs. 0,6060), sugerindo que a linha de base luta principalmente com classes raras.
• Análise de Sentimento: O DistilBERT alcançou pontuações F1 de 0,7825 (entrada de resumo) e 0,7923 (entrada de comentário bruto) para classificação geral de sentimento, superando significativamente a linha de base (0,6568 e 0,6340, respectivamente).
• Comportamento do Modelo: O modelo transformador previu contagens de rótulos (1,53–1,62 por amostra) que correspondiam estreitamente à verdade fundamental (1,69), enquanto a linha de base clássica tendia a superestimar os rótulos.

Significado e Alegações
O artigo afirma que o UXPID aborda a lacuna crítica nos recursos disponíveis para treinamento de modelos de IA em feedback de usuários industriais. Ao fornecer um conjunto de dados bem anotado e que preserva a privacidade, ele permite o treinamento e a avaliação de modelos baseados em transformadores para tarefas como detecção de problemas, análise de sentimento e extração de requisitos em fóruns técnicos. Os autores posicionam o conjunto de dados como um recurso valioso para avançar métodos de PNL no suporte a produtos industriais e engenharia de software, particularmente onde o acesso a dados do mundo real é restrito. O conjunto de dados foi projetado para suportar diversas aplicações em engenharia de requisitos e processamento de linguagem natural, oferecendo uma base para desenvolver estratégias mais eficientes para analisar grandes volumes de feedback industrial não estruturado.