Verifier Warnings Do Not Improve Comprehensibility Prediction

1. El Problema (Contexto y Motivación)

La comprensión del código es una de las tareas más costosas en la ingeniería de software; se estima que los desarrolladores dedican más de la mitad de su tiempo a entender código existente. Para evitar la degradación de la calidad, los investigadores buscan predecir la comprensibilidad del código (el esfuerzo cognitivo necesario para entenderlo) mediante modelos de Aprendizaje Automático (ML).

Tradicionalmente, estos modelos utilizan características sintácticas (líneas de código, complejidad ciclomática) y del desarrollador (experiencia). Un estudio previo (Feldman et al., 2024) sugirió que las advertencias de las herramientas de verificación formal (que detectan errores lógicos o de seguridad) podrían servir como una señal semántica de la complejidad, ya que estas herramientas suelen emitir más "falsos positivos" cuando el código es excesivamente complejo o confuso. El problema que este estudio aborda es si integrar estas advertencias de los verificadores realmente mejora la precisión de los modelos de ML para predecir la comprensión humana.

2. Metodología

Los autores diseñaron un experimento de control-tratamiento para comparar dos configuraciones de modelos de ML:

• Configuración de Control ($C$): Modelos entrenados únicamente con características sintácticas y del desarrollador.
• Configuración de Tratamiento ($T$): Modelos entrenados con las mismas características, pero añadiendo una nueva característica semántica: la suma de advertencias de los verificadores (verifier warning sum).

Detalles técnicos del diseño:

• Conjuntos de datos: Utilizaron los dos datasets de Java más grandes disponibles ($DS1$y$DS2$), que contienen miles de mediciones humanas sobre métricas como la comprensibilidad percibida, la legibilidad y la exactitud de la comprensión.
• Herramientas de Verificación: Emplearon cuatro verificadores de estado del arte para Java: Checker Framework (CF), OpenJML (OJ), JaTyC y Infer.
• Modelos de ML: Evaluaron seis algoritmos: Naïve Bayes, K-Nearest Neighbors, Regresión Logística, Perceptrón Multicapa (MLP), Random Forest (RF) y Support Vector Machine (SVM).
• Protocolo de Evaluación: Utilizaron validación cruzada anidada (nested cross-validation) para mitigar el sobreajuste y asegurar la robustez de los resultados, evaluando el rendimiento mediante el F1-score ponderado ($wF1$) y el área bajo la curva ROC ($wAUC$).

3. Contribuciones Clave

1. Validación de una hipótesis semántica: El estudio pone a prueba la idea de que la información de error de las herramientas de verificación formal puede actuar como un proxy de la complejidad cognitiva.
2. Análisis de granularidad: No solo probaron la suma total de advertencias, sino que también analizaron si las advertencias de verificadores específicos (individuales) aportaban un valor distinto.
3. Análisis de importancia de características: Utilizaron técnicas estadísticas (Correlación de Kendall, Información Mutua y valores SHAP) para investigar por qué la característica semántica no estaba ayudando a los modelos.

4. Resultados

Los resultados fueron mayoritariamente negativos respecto a la hipótesis inicial:

• Rendimiento General: La inclusión de la suma de advertencias de los verificadores no produjo una mejora significativa en la capacidad predictiva de los modelos. En la mayoría de las configuraciones, el rendimiento fue igual o incluso ligeramente inferior al modelo de control.
• Métricas de Comprensibilidad: Las métricas subjetivas (como la legibilidad o la percepción de entendimiento) fueron las que mostraron mejoras marginales y muy pequeñas, pero no hubo una tendencia consistente en ninguna métrica.
• Análisis por Verificador: Aunque algunos verificadores individuales (como JaTyC o CF) mostraron mejoras mínimas en casos muy específicos, estas no fueron estadísticamente significativas de manera generalizada.
• Hallazgo Estadístico: Los análisis de SHAP y de Información Mutua confirmaron que la suma de advertencias tiene una dependencia estadística muy débil con las métricas de comprensión humana, lo que significa que el modelo no puede "aprender" una señal útil de esta característica.

5. Significado e Implicaciones

• Para la Investigación: El estudio demuestra que la "complejidad accidental" capturada por los verificadores no es suficiente para modelar la carga cognitiva humana. Esto sugiere que los modelos actuales de comprensión de código están incompletos y que se requieren representaciones semánticas mucho más ricas (como flujos de datos o de control) en lugar de simples conteos de advertencias.
• Para la Práctica: Los resultados advierten que los modelos de ML actuales para estimar la comprensibilidad del código aún no son lo suficientemente fiables para ser utilizados de forma automatizada en entornos de desarrollo profesional.
• Conclusión Final: Combinar características sintácticas y del desarrollador es, por ahora, tan efectivo como intentar añadir información de verificación formal, lo que indica que el factor determinante de la comprensión humana sigue siendo un misterio que las métricas actuales no logran capturar plenamente.