User Reviews as a Source for Usability Requirements: A Precursor Study on Using Large Language Models

Resumo Técnico: Avaliações de Usuários como Fonte para Requisitos de Usabilidade Utilizando Modelos de Linguagem de Grande Escala

Enunciação do Problema
Produtos de software modernos enfrentam complexidade funcional crescente, criando desafios significativos de usabilidade. Embora a engenharia de requisitos (ER) centrada no usuário seja conhecida por melhorar a adequação do produto, envolver diretamente os usuários é intensivo em recursos e frequentemente inviável para equipes de desenvolvimento. A Engenharia de Requisitos Baseada em Multidão (CrowdRE) tenta preencher essa lacuna aproveitando feedback público de usuários (por exemplo, avaliações em lojas de aplicativos). No entanto, abordagens existentes para classificar aspectos de usabilidade a partir desse feedback dependem fortemente de Aprendizado de Máquina (ML) ou Aprendizado Profundo (DL). Esses métodos tradicionais exigem conjuntos de dados de treinamento extensos e manualmente rotulados, criando um gargalo para ciclos de desenvolvimento rápidos. Além disso, modelos padrão de ML frequentemente lutam com nuances contextuais e linguagem informal (por exemplo, emojis, expressões idiomáticas) comuns em avaliações de usuários, dependendo tipicamente de correspondência simples de palavras-chave. Existe uma lacuna crítica de pesquisa em combinar a compreensão avançada de linguagem natural dos Modelos de Linguagem de Grande Escala (LLMs) com os métodos centrados no usuário da CrowdRE para extrair requisitos de usabilidade sem a necessidade de treinamento intensivo específico para tarefas.

Metodologia
O estudo investiga se um LLM especificamente instruído (gpt-4.1 da OpenAI) pode identificar efetivamente avaliações de usuários relevantes para usabilidade, comparável a avaliadores humanos. A pesquisa está estruturada em torno de duas Questões de Pesquisa (RQs):

1. O desempenho de um LLM personalizado é comparável ao de codificadores humanos na identificação de avaliações relacionadas à usabilidade?
2. Qual é a confiabilidade do LLM na identificação dessas avaliações dentro de um conjunto de dados aleatório?

Coleta e Preparação de Dados:

• Conjunto de Dados: Um conjunto de dados de 300 avaliações de usuários foi coletado da Google Play Store, distribuído uniformemente entre três tipos distintos de aplicativos para garantir diversidade: BlitzerDE (mapas/navegação), Lidl Plus (comércio eletrônico) e FL Studio (composição musical).
• Rotulagem Humana (Verdade de Referência): Dois avaliadores experientes rotularam o conjunto de dados com base nas 10 Heurísticas de Usabilidade de Nielsen. As avaliações foram codificadas como "verdadeiras" (relevantes para usabilidade) se continham pelo menos uma declaração relacionada a uma heurística, e "falsas" caso contrário.
  • Exclusões: Solicitações de recursos, requisitos não funcionais sobrepostos (por exemplo, acessibilidade, compatibilidade), declarações vagas, relatórios de bugs e problemas decorrentes de contextos externos (por exemplo, sistema operacional ou hardware) foram excluídos.
  • Processo: Um processo de codificação iterativo foi empregado. Uma rodada de pré-codificação em 20 avaliações identificou ambiguidades nas diretrizes, levando a uma diretriz de codificação aprimorada. Uma segunda rodada cobriu as 300 avaliações completas. A confiabilidade interavaliador foi calculada usando o Kappa de Cohen ($\kappa$), mostrando concordância substancial em todos os três aplicativos ($\kappa$ variando de 0,61 a 0,76).
• Engenharia de Prompt do LLM: Um prompt inicial foi desenvolvido com base nas diretrizes de codificação aprimoradas, utilizando prompting de Cadeia de Pensamento para instruir o LLM sobre etapas de raciocínio intermediárias. O prompt foi refinado através de três iterações usando uma amostra de teste de 30 avaliações (10 por aplicativo). Os autores evitaram explicitamente o prompting de poucos exemplos (few-shot prompting) para evitar sobreajuste, refinando, em vez disso, as instruções e objetivos dentro do prompt.

Principais Contribuições
O artigo fornece três contribuições primárias:

1. Um Conjunto de Dados Codificado: Um conjunto de dados totalmente rotulado de 300 avaliações de usuários de três categorias de aplicativos diversas, rotulado por dois avaliadores humanos e um LLM, disponível em material suplementar.
2. Framework de Engenharia de Prompt: Um prompt inicial e diretrizes de codificação derivados especificamente das 10 Heurísticas de Usabilidade de Nielsen para filtrar avaliações relevantes para usabilidade, desenvolvidos através de refinamento iterativo.
3. Análise de Desempenho: Uma determinação empírica da capacidade do LLM de reconhecer a usabilidade como um requisito não funcional em comparação com o desempenho humano.

Resultados

• Base Humana: Os dois avaliadores humanos identificaram 148 (49,3%) das 300 avaliações como relevantes para usabilidade. A confiabilidade interavaliador foi substancial ($\kappa$ 0,61–0,76).
• Desempenho do LLM (Métricas): Usando o prompt otimizado final, o LLM identificou 173 (58%) avaliações como relevantes para usabilidade.
  • Precisão/Revocação: O LLM demonstrou alta Revocação (0,84–0,93 entre os aplicativos), mas Precisão ligeiramente menor (0,73–0,79), indicando que é mais permissivo que os avaliadores humanos (identificando mais potenciais problemas de usabilidade, alguns dos quais foram rejeitados por humanos).
  • F-Score: O LLM alcançou F1-scores entre 0,78 e 0,82 entre os diferentes aplicativos.
• Confiabilidade (Acordo Interavaliador): Ao comparar as etiquetas do LLM com o consenso humano final:
  • BlitzerDE: Acordo razoável ($\kappa = 0,34$).
  • Lidl Plus: Acordo moderado ($\kappa = 0,55$).
  • FL Studio: Acordo substancial ($\kappa = 0,63$).
• Significância Estatística: Um teste de Qui-quadrado sobre a correlação entre a certeza do avaliador e a correção do LLM resultou em um valor-p de 0,35, indicando nenhuma correlação estatisticamente significativa. O LLM não reproduz confiavelmente o modelo mental humano e comete erros em lugares diferentes e inesperados.

Significância e Alegações
O artigo conclui que, embora os LLMs ainda não sejam substitutos perfeitos para avaliadores humanos devido a níveis mais baixos de confiabilidade e acordo, eles representam uma opção viável e eficiente em recursos para engenharia de requisitos.

• Compensação: Os autores argumentam que o custo de recursos do treinamento de modelos tradicionais de ML/DL é impraticável para a maioria das equipes. Em contraste, os LLMs alcançam resultados aceitáveis com significativamente menos sobrecarga.
• Permissividade: A tendência do LLM de ser ligeiramente mais permissivo (maior revocação) é vista como um benefício prático; em um cenário do mundo real, reunir uma quantidade limitada de avaliações irrelevantes é preferível a perder requisitos de usabilidade relevantes.
• Direção Futura: O estudo serve como precursor, sugerindo que pesquisas futuras devem focar em engenharia de prompt sofisticada (por exemplo, prompting de poucos exemplos) e comparar LLMs otimizados com abordagens tradicionais de ML/DL para determinar a tecnologia ideal para tarefas específicas de CrowdRE. Os autores enfatizam que o sucesso da abordagem depende fortemente da qualidade do prompt personalizado.