The Role of Cognitive Abilities in Requirements Inspection: Comparing UML and Textual Representations

Resumen Técnico: El papel de las capacidades cognitivas en la inspección de requisitos: Comparación entre representaciones UML y textuales

Planteamiento del problema
La inspección de software es un proceso crítico para la identificación de defectos en los artefactos, aunque su eficacia respecto a la representación de los requisitos es objeto de debate. Si bien las representaciones visuales como los diagramas UML se utilizan ampliamente junto con el texto, su impacto en la precisión de la inspección sigue siendo inconsistente en la literatura empírica. Además, la investigación existente suele tratar los factores de inspección de forma aislada, sin tener en cuenta la interacción entre el formato de representación y el perfil cognitivo del inspector. Específicamente, el papel de las capacidades cognitivas —como la capacidad de la Memoria de Trabajo (MT) y las habilidades de rotación mental— en la modulación de la eficacia del soporte UML durante la inspección de requisitos, ha sido poco explorado. Estudios previos sugieren que los gráficos pueden compensar las limitaciones cognitivas o, por el contrario, imponer una carga adicional, pero la interacción específica entre estas habilidades y las notaciones visuales en las tareas de inspección no ha sido modelada sistemáticamente.

Metodología
Los autores llevaron a cabo un experimento cruzado controlado con 38 estudiantes de maestría en Ingeniería de Software. El estudio empleó un diseño intra-sujeto donde los participantes realizaron inspecciones de requisitos bajo dos tratamientos:

1. Requisitos Textuales: Requisitos presentados exclusivamente en texto.
2. Requisitos con Soporte UML: Los mismos requisitos acompañados de diagramas de secuencia UML.

El experimento utilizó la Lectura Basada en Listas de Verificación (CBR, por sus siglas en inglés) como técnica de lectura fija para garantizar la uniformidad. Los participantes fueron divididos en dos grupos con perfiles cognitivos equilibrados para contrarrestar el orden de los tratamientos (Texto $\to$ UML vs. UML $\to$ Texto), con un periodo de lavado de una semana entre sesiones para mitigar los efectos de arrastre.

Evaluación Cognitiva:
Antes de las tareas de inspección, los participantes se sometieron a dos evaluaciones cognitivas estandarizadas:

• Capacidad de Memoria de Trabajo (MT): Medida mediante una tarea de Span de Operación (método de puntuación PCU).
• Habilidad de Rotación Mental: Medida mediante una tarea de Rotación Mental 3D.

Métricas de Desempeño:
El desempeño de la inspección se evaluó utilizando dos variables dependientes:

1. Precisión de Detección de Problemas: Medida mediante la puntuación F1 (media armónica de precisión y exhaustividad) para la identificación de requisitos que violaban una lista de verificación de calidad.
2. Precisión de Justificación de Problemas: Medida mediante "Accuracy Why", una métrica personalizada que evalúa la calidad de la lógica proporcionada para las violaciones identificadas en una escala Likert de 0 a 4.

Análisis Estadístico:
Los autores emplearon Modelos Lineales de Efectos Mixtos (LMM) para la puntuación F1 y Modelos Lineales Generalizados (GZLM) para el "Accuracy Why". Estos modelos analizaron los efectos principales del tratamiento y las capacidades cognitivas, así como sus interacciones de dos y tres vías. Se utilizó un enfoque jerárquico de ajuste de multiplicidad (Benjamini–Hochberg) para controlar los errores de Tipo I.

Resultados Clave
El estudio reveló que el impacto de los diagramas UML no es uniforme, sino que está significativamente moderado por la interacción de las capacidades cognitivas:

• Interacción de Tres Vías (Detección): Se encontró una interacción significativa de tres vías entre el tratamiento, la capacidad de MT y la habilidad de rotación mental ($p = 0.0774$) para la detección de problemas. Contrario a la hipótesis de que las altas capacidades cognitivas mejorarían universalmente el desempeño, los participantes con puntuaciones altas tanto en MT como en rotación mental experimentaron una reducción en la precisión de detección (F1-score) al utilizar soporte UML en comparación con el texto solo. Los datos sugieren una "ventana de capacidad óptima" donde el desempeño alcanza su punto máximo en niveles de MT de moderados a altos, pero declina cuando la capacidad es extremadamente alta bajo condiciones de UML, potencialmente debido a la sobrecarga cognitiva.
• Interacción de Tres Vías (Justificación): La misma interacción de tres vías mostró un efecto positivo en la precisión de la justificación ($p = 0.0013$). Los participantes con altas capacidades de MT y de rotación mental proporcionaron justificaciones significativamente mejores para las violaciones cuando contaban con el soporte de UML. Esto indica que, si bien la alta carga cognitiva puede dificultar la detección inicial de problemas en entornos multimodales, estas mismas habilidades apoyan un razonamiento y una articulación más profundos una vez que se identifica un problema.
• Efectos Aislados: Cuando se analizaron de forma aislada (interacciones de dos vías), los efectos fueron no significativos o se movieron en la dirección opuesta, lo que resalta que analizar los factores cognitivos por separado puede conducir a conclusiones erróneas.
• Efectos de Arrastre: No se detectaron efectos de arrastre significativos, validando el diseño cruzado.

Contribuciones y Significado
El artículo realiza tres contribuciones primarias:

1. Investigación Empírica de la Interacción: Proporciona evidencia novedosa de que las capacidades cognitivas y los formatos de representación no operan de forma independiente. El estudio demuestra que la efectividad de los diagramas UML es contingente a la combinación específica de la capacidad de MT y la habilidad espacial del inspector.
2. Impacto Diferencial en las Medidas de Desempeño: El trabajo revela que los perfiles cognitivos moderan el desempeño de la inspección de manera distinta según la medida de resultado. Las altas capacidades cognitivas pueden ser perjudiciales para la precisión de detección bajo soporte UML (probablemente debido a la sobrecarga), mientras que simultáneamente mejoran la precisión de la justificación (probablemente debido a la mejora en las capacidades de razonamiento).
3. Implicaciones Prácticas para la Asignación de Tareas: Los hallazgos sugieren que los enfoques de "talla única" para la inspección de requisitos son subóptimos. Los autores argumentan que las tareas de inspección y el soporte de herramientas deben adaptarse a los perfiles cognitivos individuales. Específicamente, en entornos educativos o de formación, la introducción de notaciones visuales como UML puede requerir estrategias de andamiaje para prevenir la sobrecarga cognitiva, incluso para estudiantes con altas capacidades cognitivas.

Conclusión
Los autores concluyen que, si bien los diagramas UML no mejoran universalmente la precisión de la inspección de requisitos, pueden beneficiar a perfiles cognitivos específicos, particularmente para las fases de razonamiento y justificación de la inspección. El estudio advierte contra la suposición de que mayores capacidades cognitivas siempre producen un mejor desempeño en tareas multimodales complejas. En cambio, destaca la necesidad de considerar los perfiles cognitivos individuales al diseñar procesos de inspección, señalando que múltiples medios de representación no siempre son beneficiosos y, en ocasiones, pueden dificultar el desempeño si exceden la carga cognitiva óptima del usuario.