User eXperience Perception Insights Dataset (UXPID): Synthetic User Feedback from Public Industrial Forums

Resumen Técnico: El Conjunto de Datos de Perspectivas sobre la Percepción de la Experiencia del Usuario (UXPID)

Enunciado del Problema
La retroalimentación de los clientes en foros técnicos industriales ofrece perspectivas críticas sobre experiencias reales con productos, problemas de usabilidad y solicitudes de funciones. Sin embargo, el análisis sistemático de esta retroalimentación se ve obstaculizado por la naturaleza no estructurada del contenido, la escasez de conjuntos de datos etiquetados de alta calidad y las restricciones significativas de privacidad y licencias que impiden el uso de datos del mundo real para entrenar modelos de IA. Los conjuntos de datos de acceso abierto existentes para la ingeniería de requisitos y el análisis de retroalimentación de usuarios (por ejemplo, TFThs, TechQA, PURE) a menudo carecen de estructuras de discusión contextual, anotaciones de severidad o perspectivas semánticas derivadas de hilos conversacionales. Además, muchos son demasiado pequeños para un entrenamiento robusto de modelos o no capturan los matices específicos de los contextos de automatización industrial, lo que limita el desarrollo de modelos capaces de extraer requisitos accionables y perspectivas de UX a gran escala.

Metodología
Los autores presentan el Conjunto de Datos de Perspectivas sobre la Percepción de la Experiencia del Usuario (UXPID), un conjunto de datos sintético construido a partir de 7.130 ramas de discusión extraídas de un foro público de automatización industrial. El proceso de creación del conjunto de datos implica cuatro etapas clave:

1. Recopilación y Extracción de Datos: Se recopilaron comentarios de usuarios y metadatos de un foro técnico operado por una empresa. Los datos se almacenaron en formato JSON, preservando la estructura de los hilos de comentarios con múltiples publicaciones.
2. Anotación y Síntesis Impulsadas por LLM: Se utilizó el modelo OpenAI GPT-4.1 para procesar los datos. Crucialmente, el proceso fue secuencial para evitar circularidad:
   • Paso 1 (Anotación): El LLM analizó el texto original del foro, sin modificaciones, para extraer perspectivas semánticas, incluidas resúmenes de UX, expectativas de usuarios, calificaciones de severidad, sentimiento y extracción de palabras clave (dolor, beneficio, función). Estas anotaciones sirven como verdad fundamental.
   • Paso 2 (Síntesis/Anonimización): Luego se instruyó al LLM para que reescribiera ligeramente el texto original y reemplazara todas las entidades identificables (nombres de empresas, nombres de productos, nombres de usuarios, URLs, etc.) con marcadores de posición tipificados (por ejemplo, [nombre_del_producto], [nombre_del_usuario]). Esto garantiza la privacidad mientras se preserva el contenido semántico necesario para las anotaciones.
3. Clasificación de Temas: Se aplicó un proceso iterativo donde el LLM extrajo temas independientemente para cada rama. Se agregaron nuevos temas a un grupo de almacenamiento si no coincidían con los existentes, permitiendo un agrupamiento dinámico de temas.
4. Validación Humana: Para garantizar la precisión de las anotaciones, 32 ramas seleccionadas intencionalmente fueron validadas manualmente por tres expertos en el dominio contra 20 campos de anotación. La validación cubrió casos de uso, métricas de UX, severidad y sentimiento. El proceso logró una tasa de "acuerdo adecuado" del 87% (combinando desacuerdos exactos y menores), con refinamientos de los prompts que redujeron las discrepancias sistemáticas entre las rondas de validación.
5. Análisis de Fidelidad: Una comparación estadística (prueba de rangos con signo de Wilcoxon) entre el texto original y el sintetizado confirmó que la estructura conversacional (conteos de comentarios, ratios de respuesta) se preservó. Aunque el proceso de síntesis aumentó la formalidad superficial (reduciendo marcadores informales como signos de exclamación y MAYÚSCULAS) y alteró ligeramente los conteos de palabras, la diversidad lingüística central y la estructura interrogativa permanecieron en gran medida intactas.

Contribuciones Clave
El artículo identifica tres contribuciones principales:

1. Un Conjunto de Datos Novel (UXPID): Una colección de 7.130 ramas de foros anonimizadas y sintetizadas que contienen más de 36.000 comentarios, específicamente adaptadas a productos de automatización industrial. Amplía el alcance de los conjuntos de datos existentes de ingeniería de requisitos al capturar contextos conversacionales completos.
2. Estructura Semántica Rica: A diferencia de recursos anteriores, UXPID incluye perspectivas automatizadas, agrupación de temas, anotaciones de severidad y análisis de sentimiento derivados de conversaciones de usuarios, proporcionando profundidad contextual para entrenar modelos de PLN.
3. Líneas Base de Referencia: Los autores proporcionan métricas de rendimiento de referencia para tareas de clasificación utilizando tanto modelos clásicos (TF-IDF + Regresión Logística) como basados en transformadores (DistilBERT), estableciendo una línea base para investigaciones futuras en clasificación de retroalimentación y extracción de requisitos.

Resultados
La validación técnica se realizó mediante experimentos de clasificación en una división estratificada de entrenamiento/prueba 80/20.

• Clasificación de Temas: DistilBERT superó consistentemente a la línea base TF-IDF + Regresión Logística. Para la clasificación "Resumen → Tema" en todas las 32 clases, DistilBERT logró una puntuación F1 de 0,6923 en comparación con 0,4799 para la línea base. Cuando se restringió a clases con >50 instancias, la brecha se estrechó (0,7174 vs. 0,6060), lo que sugiere que la línea base lucha principalmente con clases raras.
• Análisis de Sentimiento: DistilBERT logró puntuaciones F1 de 0,7825 (entrada de resumen) y 0,7923 (entrada de comentario sin procesar) para la clasificación general de sentimiento, superando significativamente a la línea base (0,6568 y 0,6340, respectivamente).
• Comportamiento del Modelo: El modelo transformador predijo conteos de etiquetas (1,53–1,62 por muestra) que coincidían estrechamente con la verdad fundamental (1,69), mientras que la línea base clásica tendía a sobreestimar las etiquetas.

Significado y Afirmaciones
El artículo afirma que UXPID aborda la brecha crítica en los recursos disponibles para entrenar modelos de IA sobre retroalimentación de usuarios industrial. Al proporcionar un conjunto de datos bien anotado que preserva la privacidad, permite el entrenamiento y la evaluación de modelos basados en transformadores para tareas como detección de problemas, análisis de sentimiento y extracción de requisitos en foros técnicos. Los autores posicionan el conjunto de datos como un recurso valioso para avanzar en los métodos de PLN dentro del soporte de productos industriales y la ingeniería de software, particularmente donde el acceso a datos del mundo real está restringido. El conjunto de datos está diseñado para apoyar diversas aplicaciones en ingeniería de requisitos y procesamiento del lenguaje natural, ofreciendo una base para desarrollar estrategias más eficientes para analizar grandes volúmenes de retroalimentación industrial no estructurada.