The Role of Cognitive Abilities in Requirements Inspection: Comparing UML and Textual Representations

Resumo Técnico: O Papel das Habilidades Cognitivas na Inspeção de Requisitos: Comparando Representações UML e Textuais

Declaração do Problema
A inspeção de software é um processo crítico para a identificação de defeitos em artefatos, mas sua eficácia é debatida em relação à representação dos requisitos. Embora representações visuais como diagramas UML sejam amplamente utilizadas juntamente com o texto, seu impacto na precisão da inspeção permanece inconsistente na literatura empírica. Além disso, pesquisas existentes frequentemente tratam os fatores de inspeção de forma isolada, falhando em considerar a interação entre o formato de representação e o perfil cognitivo do inspetor. Especificamente, o papel das habilidades cognitivas — como a capacidade de Memória de Trabalho (MT) e as habilidades de rotação mental — na modulação da eficácia do suporte UML durante a inspeção de requisitos é subexplorado. Estudos anteriores sugerem que os gráficos podem tanto compensar limitações cognitivas quanto impor carga adicional, mas a interação específica entre essas habilidades e as notações visuais em tarefas de inspeção não foi sistematicamente modelada.

Metodologia
Os autores conduziram um experimento crossover controlado envolvendo 38 estudantes de mestrado em Engenharia de Software. O estudo empregou um design intra-sujeitos onde os participantes realizaram inspeções de requisitos sob dois tratamentos:

1. Requisitos Textuais: Requisitos apresentados exclusivamente em texto.
2. Requisitos Suportados por UML: Os mesmos requisitos acompanhados por diagramas de sequência UML.

O experimento utilizou a Leitura Baseada em Checklists (CBR) como a técnica de leitura fixa para garantir a uniformidade. Os participantes foram divididos em dois grupos com perfis cognitivos equilibrados para contrabalançar a ordem dos tratamentos (Texto $\to$ UML vs. UML $\to$ Texto), com um período de washout de uma semana entre as sessões para mitigar efeitos de carryover.

Avaliação Cognitiva:
Antes das tarefas de inspeção, os participantes passaram por duas avaliações cognitivas padronizadas:

• Capacidade de Memória de Trabalho (MT): Medida via uma tarefa de Operação de Espaço (método de pontuação PCU).
• Habilidade de Rotação Mental: Medida via uma tarefa de Rotação Mental 3D.

Métricas de Desempenho:
O desempenho da inspeção foi avaliado usando duas variáveis dependentes:

1. Precisão de Detecção de Problemas: Medida pelo F1-score (média harmônica da precisão e do recall) para a identificação de requisitos que violam um checklist de qualidade.
2. Precisão de Justificativa de Problemas: Medida por "Accuracy Why", uma métrica customizada que avalia a qualidade da fundamentação fornecida para as violações identificadas em uma escala Likert de 0 a 4.

Análise Estatística:
Os autores empregaram Modelos Lineares de Efeitos Mistos (LMM) para o F1-score e Modelos Lineares Generalizados (GZLM) para o Accuracy Why. Esses modelos analisaram os efeitos principais do tratamento e das habilidades cognitivas, bem como suas interações de duas e três vias. Uma abordagem hierárquica de ajuste de multiplicidade (Benjamini–Hochberg) foi usada para controlar erros do Tipo I.

Principais Resultados
O estudo revelou que o impacto dos diagramas UML não é uniforme, mas é significativamente moderado pela interação das habilidades cognitivas:

• Interação de Três Vias (Detecção): Foi encontrada uma interação significativa de três vias entre tratamento, capacidade de MT e habilidade de rotação mental ($p = 0,0774$) para a detecção de problemas. Contrariando a hipótese de que altas habilidades cognitivas melhorariam universalmente o desempenho, os participantes com altas pontuações tanto em MT quanto em rotação mental experimentaram uma redução na precisão de detecção (F1-score) ao usar suporte UML em comparação ao uso de apenas texto. Os dados sugerem uma "janela de capacidade ótima" onde o desempenho atinge o pico em níveis de MT de médio a alto, mas declina quando a capacidade é extremamente alta sob condições de UML, possivelmente devido à sobrecarga cognitiva.
• Interação de Três Vias (Justificativa): A mesma interação de três vias mostrou um efeito positivo na precisão da justificativa ($p = 0,0013$). Participantes com altas capacidades de MT e de rotação mental forneceram justificativas significativamente melhores para as violações quando suportados por diagramas UML. Isso indica que, embora a alta carga cognitiva possa dificultar a detecção inicial de problemas em ambientes multimodais, essas mesmas habilidades apoiam o raciocínio e a articulação mais profundos uma vez que um problema é identificado.
• Efeitos Isolados: Quando analisados isoladamente (interações de duas vias), os efeitos foram não significativos ou moveram-se na direção oposta, destacando que analisar fatores cognitivos separadamente pode levar a conclusções enganosas.
• Efeitos de Carryover: Não foram detectados efeitos de carryover significativos, validando o design crossover.

Contribuições e Significância
O artigo apresenta três contribuições primárias:

1. Investigação Empírica de Interação: Fornece evidência inédita de que as habilidades cognitivas e os formatos de representação não operam independentemente. O estudo demonstra que a eficácia dos diagramas UML é contingente à combinação específica do perfil cognitivo do inspetor entre capacidade de MT e habilidade espacial.
2. Impacto Diferencial nas Medidas de Desempenho: O trabalho revela que os perfis cognitivos moderam o desempenho da inspeção de formas diferentes. Altas habilidades cognitivas podem ser prejudiciais à precisão de detecção sob suporte UML (provavelmente devido à sobrecarga), enquanto simultaneamente potencializam a precisão de justificativa (provavelmente devido às capacidades de raciocínio aprimoradas).
3. Implicações Práticas para Atribuição de Tarefas: Os achados sugerem que abordagens de "tamanho único" para a inspeção de requisitos são subótimas. Os autores argumentam que as tarefas de inspeção e o suporte de ferramentas devem ser adaptados aos perfis cognitivos individuais. Especificamente, em ambientes educacionais ou de treinamento, a introdução de notações visuais como UML pode exigir estratégias de andaime (scaffolding) para prevenir a sobrecarga cognitiva, mesmo para estudantes com altas habilidades cognitivas.

Conclusão
Os autores concluem que, embora os diagramas UML não melhorem universalmente a precisão da inspeção de requisitos, eles podem beneficiar perfis cognitivos específicos, particularmente para as fases de raciocínio e justificativa da inspeção. O estudo alerta contra a suposição de que habilidades cognitivas mais altas sempre resultam em melhor desempenho em tarefas multimodais complexas. Em vez disso, destaca a necessidade de considerar os perfis cognitivos individuais ao projetar processos de inspeção, observando que múltiplos meios de representação nem sempre são benéficos e podem, por vezes, dificultar o desempenho se excederem a carga cognitiva ideal do usuário.