User Reviews as a Source for Usability Requirements: A Precursor Study on Using Large Language Models

Resumen Técnico: Reseñas de Usuarios como Fuente de Requisitos de Usabilidad Mediante Modelos de Lenguaje Grande

Enunciado del Problema
Los productos de software modernos enfrentan una complejidad funcional creciente, lo que genera desafíos significativos de usabilidad. Si bien la ingeniería de requisitos centrada en el usuario (RE) es conocida por mejorar la idoneidad del producto, involucrar directamente a los usuarios es intensivo en recursos y a menudo inviable para los equipos de desarrollo. La Ingeniería de Requisitos Basada en Multitudes (CrowdRE) intenta cerrar esta brecha aprovechando la retroalimentación pública de los usuarios (por ejemplo, reseñas de tiendas de aplicaciones). Sin embargo, los enfoques existentes para clasificar aspectos de usabilidad a partir de esta retroalimentación dependen en gran medida del Aprendizaje Automático (ML) o del Aprendizaje Profundo (DL). Estos métodos tradicionales requieren conjuntos de datos de entrenamiento extensos y etiquetados manualmente, creando un cuello de botella para los ciclos de desarrollo rápidos. Además, los modelos ML estándar a menudo luchan con matices contextuales y lenguaje informal (por ejemplo, emojis, modismos) comunes en las reseñas de usuarios, dependiendo típicamente de una coincidencia simple de palabras clave. Existe una brecha crítica de investigación en combinar la comprensión avanzada del lenguaje natural de los Modelos de Lenguaje Grande (LLM) con los métodos centrados en el usuario de CrowdRE para extraer requisitos de usabilidad sin necesidad de un entrenamiento intensivo específico para la tarea.

Metodología
El estudio investiga si un LLM con indicaciones específicas (gpt-4.1 de OpenAI) puede identificar eficazmente reseñas de usuarios relevantes para la usabilidad, comparable a evaluadores humanos. La investigación se estructura en torno a dos Preguntas de Investigación (RQ):

1. ¿Es el rendimiento de un LLM adaptado comparable al de codificadores humanos en la identificación de reseñas relacionadas con la usabilidad?
2. ¿Cuál es la fiabilidad del LLM en la identificación de estas reseñas dentro de un conjunto de datos aleatorio?

Recopilación y Preparación de Datos:

• Conjunto de Datos: Se recopiló un conjunto de datos de 300 reseñas de usuarios de la Google Play Store, distribuidas uniformemente entre tres tipos de aplicaciones distintas para garantizar diversidad: BlitzerDE (mapas/navegación), Lidl Plus (comercio electrónico) y FL Studio (composición musical).
• Etiquetado Humano (Verdad Terrenal): Dos evaluadores experimentados etiquetaron el conjunto de datos basándose en las 10 Heurísticas de Usabilidad de Nielsen. Las reseñas se codificaron como "verdaderas" (relevantes para la usabilidad) si contenían al menos una declaración relacionada con una heurística, y "falsas" en caso contrario.
  • Exclusiones: Se excluyeron solicitudes de características, requisitos no funcionales superpuestos (por ejemplo, accesibilidad, compatibilidad), declaraciones vagas, informes de errores e issues derivados de contextos externos (por ejemplo, sistema operativo o hardware).
  • Proceso: Se empleó un proceso de codificación iterativo. Una ronda de precodificación en 20 reseñas identificó ambigüedades en las directrices, lo que llevó a una directriz de codificación mejorada. Una segunda ronda cubrió las 300 reseñas completas. La fiabilidad interevaluador se calculó utilizando el Kappa de Cohen ($\kappa$), mostrando un acuerdo sustancial en las tres aplicaciones ($\kappa$ oscilando entre 0.61 y 0.76).
• Ingeniería de Indicaciones (Prompt) del LLM: Se desarrolló una indicación inicial basada en las directrices de codificación mejoradas utilizando la técnica de Indicaciones de Cadena de Pensamiento para instruir al LLM sobre los pasos de razonamiento intermedios. La indicación se refinó mediante tres iteraciones utilizando una muestra de prueba de 30 reseñas (10 por aplicación). Los autores evitaron explícitamente la indicación con pocos ejemplos (few-shot prompting) para evitar el sobreajuste, refinando en su lugar las instrucciones y los objetivos dentro de la indicación.

Contribuciones Clave
El artículo proporciona tres contribuciones principales:

1. Un Conjunto de Datos Codificado: Un conjunto de datos completamente etiquetado de 300 reseñas de usuarios de tres categorías de aplicaciones diversas, etiquetado por dos evaluadores humanos y un LLM, disponible en el material suplementario.
2. Marco de Ingeniería de Indicaciones: Una indicación inicial y directrices de codificación derivadas específicamente de las 10 Heurísticas de Usabilidad de Nielsen para filtrar reseñas relevantes para la usabilidad, desarrolladas mediante refinamiento iterativo.
3. Análisis de Rendimiento: Una determinación empírica de la capacidad del LLM para reconocer la usabilidad como un requisito no funcional en comparación con el rendimiento humano.

Resultados

• Línea Base Humana: Los dos evaluadores humanos identificaron 148 (49.3%) de las 300 reseñas como relevantes para la usabilidad. La fiabilidad interevaluador fue sustancial ($\kappa$ 0.61–0.76).
• Rendimiento del LLM (Métricas): Utilizando la indicación optimizada final, el LLM identificó 173 (58%) reseñas como relevantes para la usabilidad.
  • Precisión/Exhaustividad: El LLM demostró una alta Exhaustividad (0.84–0.93 en las aplicaciones) pero una Precisión ligeramente menor (0.73–0.79), lo que indica que es más permisivo que los evaluadores humanos (identificando más problemas potenciales de usabilidad, algunos de los cuales los humanos rechazaron).
  • Puntuación F: El LLM alcanzó puntuaciones F1 entre 0.78 y 0.82 en las diferentes aplicaciones.
• Fiabilidad (Acuerdo Inter-evaluador): Al comparar las etiquetas del LLM con el consenso humano final:
  • BlitzerDE: Acuerdo justo ($\kappa = 0.34$).
  • Lidl Plus: Acuerdo moderado ($\kappa = 0.55$).
  • FL Studio: Acuerdo sustancial ($\kappa = 0.63$).
• Significación Estadística: Una prueba de Chi-cuadrado sobre la correlación entre la certeza del evaluador y la corrección del LLM arrojó un valor p de 0.35, lo que indica que no existe una correlación estadísticamente significativa. El LLM no reproduce de manera fiable el modelo mental humano y comete errores en lugares diferentes e inesperados.

Significado y Afirmaciones
El artículo concluye que, si bien los LLM aún no son reemplazos perfectos para los evaluadores humanos debido a niveles más bajos de fiabilidad y acuerdo, representan una opción viable y eficiente en recursos para la ingeniería de requisitos.

• Compensación: Los autores argumentan que la sobrecarga de recursos para entrenar modelos ML/DL tradicionales es impráctica para la mayoría de los equipos. En contraste, los LLM logran resultados aceptables con una sobrecarga significativamente menor.
• Permisividad: La tendencia del LLM a ser ligeramente más permisivo (mayor exhaustividad) se considera un beneficio práctico; en un escenario del mundo real, recopilar una cantidad limitada de reseñas irrelevantes es preferible a pasar por alto requisitos de usabilidad relevantes.
• Dirección Futura: El estudio sirve como precursor, sugiriendo que futuras investigaciones deberían centrarse en la ingeniería de indicaciones sofisticada (por ejemplo, indicación con pocos ejemplos) y comparar LLM optimizados con enfoques ML/DL tradicionales para determinar la tecnología óptima para tareas específicas de CrowdRE. Los autores enfatizan que el éxito del enfoque depende en gran medida de la calidad de la indicación adaptada.