Detecting UX smells in Visual Studio Code using LLMs

1. Problema

Os Ambientes de Desenvolvimento Integrados (IDEs) são ferramentas centrais que moldam a experiência diária dos desenvolvedores, influenciando cognição, fluxo de trabalho e colaboração. No entanto, o estudo empírico da usabilidade e da Experiência do Usuário (UX) nessas ferramentas permanece fragmentado, focando frequentemente em métricas de desempenho de recursos em vez de atritos sutis de interação.

O conceito de UXDebt (Dívida de UX) refere-se ao acúmulo de problemas de UX quando questões são adiadas ou insuficientemente tratadas durante o desenvolvimento. Em IDEs complexas como o Visual Studio Code (VSCode), essa dívida manifesta-se como "UX smells" (maus cheiros de UX): padrões recorrentes de falhas de interação, feedback confuso ou inconsistências entre as expectativas do usuário e o comportamento do sistema. Identificar esses problemas manualmente em ferramentas com milhões de usuários e em evolução contínua é inviável devido à escala de dados e ao custo de testes de usabilidade controlados.

2. Metodologia

Os autores propõem uma abordagem assistida por Modelos de Linguagem de Grande Escala (LLMs) para minerar e classificar problemas de UX diretamente dos repositórios públicos do GitHub. O processo seguiu três etapas principais:

• Coleta de Dados: Foram extraídas todas as issues (problemas) do repositório público do VSCode via API REST. O conjunto de dados foi filtrado para manter apenas as issues rotuladas explicitamente como "UX" pelos mantenedores, resultando em um corpus inicial de 2.350 issues (dados de outubro de 2025).
• Categorização Assistida por LLM:
  • Um LLM (OpenAI GPT-5) foi utilizado como um "codificador semântico" de primeira passagem.
  • O modelo recebeu instruções para identificar problemas que correspondiam a um catálogo existente de UX smells, associar cada issue ao smell mais relevante com uma justificativa, e detectar novos smells não catalogados.
  • Para garantir validade e confiabilidade, três pesquisadores revisaram independentemente amostras (10% das issues classificadas e 10% das não classificadas).
  • Foi adotada uma estratégia híbrida: as classificações validadas por humanos prevaleciam, enquanto heurísticas calibradas pelo LLM cobriam as issues não revisadas. A precisão inicial entre o LLM e a validação humana foi de 0,695, melhorada após uma fase de calibração de prompts.
• Análise Descritiva e Interpretativa: As issues classificadas foram mapeadas para as 13 dimensões de qualidade de IDE definidas por Kuusinen (ex: Informatividade, Clareza, Eficiência) e agrupadas em quatro clusters experienciais de maior ordem.

3. Contribuições Principais

1. Corpus Empírico: Criação de um conjunto de dados fundamentado no discurso dos desenvolvedores sobre UX smells em IDEs, elevando a compreensão dos aspectos humanos da engenharia de software.
2. Metodologia Escalável: Demonstração de que a combinação de mineração de repositórios com LLMs e validação humana permite analisar grandes volumes de dados de UX de forma automatizada e de baixo custo, superando as limitações de testes de usabilidade tradicionais.
3. Fundamentação da UXDebt em IDEs: Estabelecimento de uma base para caracterizar a dívida de UX, conectando atritos de nível de design a consequências downstream, como sobrecarga cognitiva e ineficiência no fluxo de trabalho.

4. Resultados

A análise de 2.350 issues revelou que 61% (1.455 issues) foram identificadas como UX smells. Os resultados destacam:

• Concentração em Qualidades Cognitivas: A vasta maioria dos UX smells (mais de 70%) concentra-se nas dimensões de Informatividade (21,4%), Clareza (19,7%), Intuitividade (13,3%) e Eficiência (15,3%).
• Clusters Experienciais:
  • Transparência Cognitiva (54%): Inclui problemas de feedback insuficiente, tooltips confusos e ícones ambíguos.
  • Eficiência de Fluxo (29%): Envolve interrupções no fluxo de trabalho e passos redundantes.
  • Confiabilidade Estrutural (12%): Refere-se a inconsistências visuais e atrasos de atualização.
  • Experiência Periférica (5%): Dimensões como aprendibilidade e flexibilidade têm pouca representação.
• Hipóteses Validadas:
  • Hipótese de Salência-Negligência: As dimensões mais valorizadas pelos desenvolvedores (eficiência, clareza) são também as mais afetadas pela dívida de UX, sugerindo que a expansão funcional prioriza novas funcionalidades em detrimento da experiência cognitiva.
  • Hipótese de Saturação-Resolução: A baixa frequência de problemas em dimensões periféricas sugere que as qualidades centrais atingiram maturidade, deslocando os problemas residuais para camadas menos visíveis.

5. Significado e Conclusão

O estudo conclui que, em IDEs maduras como o VSCode, a UXDebt não se acumula onde o código é mais frágil, mas sim onde a interação é mais cognitiva e frequente. O foco da dívida desloca-se de "como funciona" para "como comunica e como se sente".

Isso indica que, à medida que as ferramentas evoluem, os principais atritos para os desenvolvedores deixam de ser falhas técnicas básicas e passam a ser problemas de usabilidade sutil (opacidade cognitiva, feedback inconsistente). A abordagem proposta oferece um método viável para monitorar continuamente a saúde da UX em ferramentas de software complexas, permitindo que equipes de desenvolvimento priorizem refatorações de UX onde elas têm maior impacto na produtividade e satisfação do usuário.

Limitações e Trabalhos Futuros: O estudo focou apenas no núcleo do VSCode, ignorando interações com extensões, e baseou-se apenas em issues reportadas (potencialmente omitindo "smells silenciosos"). Trabalhos futuros planejam combinar outros métodos de coleta de dados e comparar os resultados entre diferentes ecossistemas de IDEs.