Can Causality Cure Confusion Caused By Correlation (in Software Analytics)?

Resumen Técnico: ¿Puede la Causalidad Curar la Confusión Causada por la Correlación en el Análisis de Software?

1. Planteamiento del Problema

En el campo del análisis de software (Software Analytics), los modelos simbólicos, especialmente los árboles de decisión, son fundamentales para tareas como la predicción de defectos, el ajuste de configuraciones y la evaluación de calidad debido a su interpretabilidad humana. Sin embargo, estos modelos enfrentan un problema crítico de inestabilidad:

• Limitación de la Correlación: La mayoría de los modelos actuales utilizan criterios de división basados en correlación (reducción de varianza, ganancia de información, impureza de Gini). Estos métodos identifican asociaciones estadísticas pero no distinguen entre causalidad directa, causalidad inversa o confusión (donde una tercera variable afecta a ambas).
• Inestabilidad de los Modelos: Estudios recientes (como el estudio "Shaky Structures") han demostrado que tanto los algoritmos de descubrimiento causal como los modelos basados en correlación son altamente inestables. Pequeñas perturbaciones en los datos (muestreo, preprocesamiento o semillas aleatorias) generan gráficos causales o estructuras de árboles radicalmente diferentes.
• Consecuencia: Esta inestabilidad socava la confianza, la reproducibilidad y la fiabilidad de las explicaciones generadas por IA en tareas reales de ingeniería de software. Los modelos pueden ofrecer explicaciones contradictorias para el mismo conjunto de datos simplemente cambiando la semilla aleatoria.

2. Metodología

El estudio propone investigar si incorporar criterios de división conscientes de la causalidad (causality-aware) en los modelos simbólicos puede mejorar su estabilidad y robustez sin sacrificar el rendimiento predictivo.

• Datos: Se utilizaron más de 120 tareas de optimización multiobjetivo del repositorio MOOT, que abarcan dominios diversos como configuración de software, rendimiento en la nube, salud de proyectos y modelos de procesos.
• Línea Base (Método Correlacional): Se utiliza el marco EZR (Exploración de Zonas de Rendimiento), que construye árboles de decisión pequeños y eficientes utilizando criterios de división tradicionales basados en la reducción de varianza.
• Propuesta (Método Causal): Se desarrolla un árbol de decisión "consciente de la causalidad" que integra dos componentes clave:
  1. Criterio de División por Entropía Condicional: En lugar de solo maximizar la ganancia de información, se evalúa cuánto reduce la incertidumbre de la variable objetivo $Y$ al observar la característica $X$ ($H(Y|X)$). Se normaliza esta métrica para identificar candidatos causales plausibles.
  2. Filtrado de Confusores (Protección de Backdoor): Se aplica un filtro basado en la información mutua condicional. Si la asociación entre una característica $X$ y el objetivo $Y$ desaparece al condicionar sobre otra variable $Z$ (patrón $Z \rightarrow [X, Y]$), se identifica como un confusor y se elimina antes de construir el árbol. Esto busca suprimir asociaciones espurias.
• Diseño Experimental:
  • RQ1 (Estabilidad Humana vs. Automatizada): Se compara la estabilidad de las juicios de expertos humanos sobre relaciones causales frente a la variabilidad de los árboles basados en correlación (EZR). Se utiliza un protocolo de bootstrap (20 árboles por conjunto de datos) y se mide la varianza en la asignación de "puntos de victoria" (win-scores).
  • RQ2 (Estabilidad del Modelo): Se compara la estabilidad de los resultados de optimización entre árboles puramente correlacionales y árboles con criterios causales.
  • RQ3 (Compensaciones de Rendimiento): Se evalúa si la mayor estabilidad de los modelos causales conlleva una penalización en la precisión predictiva o en la calidad de la optimización.

3. Contribuciones Clave

1. Marco de Evaluación de Estabilidad: Propone un protocolo preregistrado de bootstrap-ensemble para medir cuantitativamente la inestabilidad de los modelos explicativos en ingeniería de software, utilizando métricas como la varianza, la impureza de Gini y pruebas estadísticas no paramétricas.
2. Integración de Causalidad en Árboles Simbólicos: Demuestra cómo adaptar algoritmos de árboles de decisión estándar para incorporar lógica causal (filtrado de confusores y entropía condicional) sin perder la interpretabilidad.
3. Análisis Comparativo Riguroso: Establece una comparación directa entre la intuición causal humana y los modelos automatizados, así como entre enfoques puramente correlacionales y causales en un contexto de optimización multiobjetivo.
4. Validación Empírica a Gran Escala: La evaluación se realiza sobre un conjunto de datos masivo y heterogéneo (MOOT), lo que permite generalizar los hallazgos más allá de un solo dominio de software.

4. Resultados Esperados y Análisis

Nota: Dado que el documento es un "Registered Report" (informe registrado) que detalla el diseño del estudio antes de la ejecución final, los resultados específicos numéricos aún no están publicados en este texto, pero el plan de análisis define cómo se medirán:

• Métricas de Estabilidad: Se utilizará la varianza de los resultados de optimización y la impureza de Gini en las asignaciones de características para determinar qué método produce modelos más consistentes bajo perturbaciones de datos.
• Métricas de Rendimiento: Se compararán los valores de distancia al "cielo" (d2h) y los "puntos de victoria" (win-scores) utilizando la prueba Kolmogorov-Smirnov (KS) para la similitud de distribuciones y el Cliff's Delta para el tamaño del efecto.
• Hipótesis: Se espera que los modelos conscientes de la causalidad muestren una menor varianza (mayor estabilidad) en la selección de características y explicaciones, y que esta mejora en estabilidad no degrade significativamente el rendimiento de optimización en comparación con los modelos correlacionales.

5. Significado e Impacto

Este trabajo es fundamental para la ingeniería de software moderna por varias razones:

• Confianza y Reproducibilidad: Aborda la crisis de reproducibilidad en el análisis de software. Si los modelos cambian drásticamente con pequeños cambios en los datos, no se pueden confiar en ellos para la toma de decisiones críticas.
• De la Asociación a la Intervención: Permite a los ingenieros pasar de simplemente "ver" correlaciones a "hacer" intervenciones. Un modelo causal puede sugerir qué configuraciones cambiar realmente para mejorar el rendimiento, en lugar de solo identificar qué variables están asociadas con el éxito.
• Explicabilidad Robusta: Ofrece un camino hacia explicaciones de IA que son estables y coherentes, reduciendo la confusión que surge cuando diferentes ejecuciones del mismo algoritmo ofrecen explicaciones contradictorias.
• Validación de la Causalidad en SE: Contribuye a validar si las técnicas de causalidad, a menudo costosas computacionalmente o inestables en su forma pura, pueden integrarse de manera práctica y efectiva en herramientas de análisis de software existentes.

En resumen, el estudio busca determinar si la incorporación de principios causales en los modelos de aprendizaje automático simbólicos puede resolver el problema de la inestabilidad inherente a los métodos puramente correlacionales, mejorando así la fiabilidad de la analítica de software.