Resumen Técnico: Aplicaciones de la Causalidad en las Pruebas de Software

Planteamiento del Problema

A medida que los sistemas de software crecen en complejidad mediante componentes interactuantes, comportamientos adaptativos y elementos basados en datos, las pruebas tradicionales enfrentan desafíos significativos. Estos incluyen la ausencia de oráculos fiables, comportamientos de entrada-salida intrincados y la dificultad de interpretar resultados bajo efectos de confusión y correlaciones espurias. Un problema fundamental es la incapacidad de distinguir relaciones causales genuinas de meras asociaciones estadísticas. Las pruebas y la depuración tradicionales a menudo dependen de señales correlacionales de los trazos de ejecución, las cuales pueden verse distorsionadas por factores de confusión ocultos, lo que conduce a conclusiones que carecen de interpretabilidad y fiabilidad. Si bien la inferencia causal ofrece un marco con principios para razonar sobre la causa y el efecto en lugar de la correlación, su adopción en las pruebas de software sigue fragmentada en diferentes tareas y comunidades de investigación, careciendo de un análisis sistemático sobre cómo se posiciona, qué técnicas se utilizan y dónde residen las brechas.

Metodología

Este estudio emplea una metodología de revisión rápida siguiendo las directrices de Cartaxo et al. y complementada con técnicas de búsqueda hacia atrás (backward) y hacia adelante (forward snowballing) recomendadas por Wohlin.

• Estrategia de Búsqueda: Se realizaron consultas en ACM Digital Library, IEEE Xplore, Scopus y SpringerLink para estudios revisados por pares publicados entre 2010 y 2025. Las cadenas de búsqueda combinaron términos relacionados con pruebas/verificación/validación de software con causalidad/inferencia causal/grafos causales.
• Proceso de Selección: Las consultas iniciales arrojaron 373 artículos únicos. Tras el cribado de títulos, resúmenes y textos completos frente a los criterios de inclusión/exclusión, se retuvieron 14 estudios. El proceso de snowballing añadió 13 más, resultando en un conjunto de datos final de 27 estudios primarios.
• Marco Analítico: Los autores sintetizaron la literatura utilizando un pipeline de inferencia causal por capas basado en el marco de Modelos Causales Estructurales (SCM) de Pearl. Esta taxonomía organiza las técnicas en cuatro etapas:
  1. Representación Causal
  2. Descubrimiento de la Estructura Causal
  3. Identificación Causal
  4. Estimación del Efecto Causal
• Extracción de Datos: Dos autores extrajeron independientemente los datos relativos al rol funcional de la inferencia causal, las fases de prueba, las técnicas, los supuestos y las limitaciones, resolviendo los desacuerdos mediante discusión.

Contribuciones Clave

El artículo presenta cuatro contribuciones primarias:

1. Síntesis Sistemática: Presenta la primera revisión rápida estructurada de 27 estudios primarios en la intersección de la inferencia causal y las pruebas de software.
2. Taxonomía por Capas: Propone una perspectiva de cuatro capas (representación, descubrimiento, identificación, estimación) y las mapea con fases de prueba específicas (diseño, ejecución, interpretación, depuración).
3. Análisis de Riesgos: Identifica riesgos metodológicos recurrentes entre capas que afectan la validez y la escalabilidad.
4. Agenda de Investigación: Esboza direcciones clave para avanzar en los métodos causales en las pruebas de software basadas en patrones y brechas actuales.

Resultados

1. Posicionamiento de la Inferencia Causal (RQ1)

• Roles Funcionales: La inferencia causal sirve principalmente como un mecanismo de mejora para técnicas existentes (por ejemplo, mejorar la localización de fallos). Un subconjunto más pequeño la utiliza como un fundamento metodológico para el marco de pruebas, y un número limitado reformula las pruebas en sí mismas como un problema de inferencia causal.
• Fases de Prueba: La integración es más común en la Interpretación de Resultados y la Depuración, donde el razonamiento causal ayuda a distinguir correlaciones espurias y realizar análisis de causa raíz. Menos estudios integran la inferencia causal en el Diseño de Pruebas o la Ejecución de Pruebas.

2. Técnicas y Supuestos (RQ2)

La revisión categoriza las técnicas en el pipeline de cuatro capas:

• Representación: Utiliza Modelos Causales Estructurales (SCM), Grafos Acíclicos Dirigidos (DAG) y Grafos de Dependencia de Programa (PDG) para codificar dependencias.
• Descubrimiento: Emplea métodos basados en restricciones, basados en puntuación y mejorados por intervención para inferir grafos a partir de datos cuando las estructuras no están predefinidas.
• Identificación: Utiliza criterios gráficos (backdoor, d-separation) e intervenciones explícitas (perturbación de entrada, inyección de fallos, mutación) para definir estimandos válidos.
• Estimación: Aplica métodos estadísticos y de ML (Regresión, Aprendizaje Automático Doble, Variables Instrumentales, Contrafácticos) para cuantificar efectos como el Efecto de Tratamiento Promedio (ATE) o el Efecto de Tratamiento Promedio Condicional (CATE).

Supuestos Subyacentes: La aplicación de estas técnicas depende de supuestos estrictos, incluyendo la adecuación del modelo causal, estabilidad estructural, fidelidad (faithfulness), ausencia de confusión no medida y la definición clara del tratamiento.

3. Desafíos y Limitaciones (RQ3)

La revisión identifica cuatro capas de riesgos:

• Riesgo de Representación: Dependencia del modelo y brechas de abstracción. Traducir la semántica del programa a variables causales a menudo conduce a grafos mal especificados debido a variables omitidas o un mapeo incorrecto de la dependencia hacia la causalidad.
• Riesgo de Descubrimiento: Incertidumbre estructural y problemas de escalabilidad. El descubrimiento automático tiene dificultades con fallos dispersos, dependencias cíclicas y una alta carga computacional en sistemas grandes.
• Riesgo de Identificación: Supuestos no verificables y restricciones de intervención. Los estados ocultos y las ejecuciones parcialmente observables dificultan el control de la confusión. Además, las intervenciones requeridas (p. ej., inyección de fallos) pueden ser inviables o inseguras.
• Riesgo de Estimación: Soporte limitado y sensibilidad del modelo. Los casos de fallo dispersos y los datos desbalanceados conducen a estimaciones de alta varianza o sesgadas. Los resultados son altamente sensibles a las elecciones de modelado y la calidad de los datos.
• Generalización: Muchos estudios dependen de benchmarks pequeños o simulaciones, dejando incierta su aplicabilidad en sistemas reales de gran escala.

4. Brechas de Investigación y Direcciones (RQ4)

Los autores proponen una agenda de investigación centrada en:

• Representación Automatizada: Desarrollar mapeos sistemáticos desde la estructura del programa hacia las variables causales para reducir errores de modelado.
• Descubrimiento Escalable: Crear métodos que manejen casos de fallo limitados y datos ruidosos en sistemas grandes, potencialmente integrando el conocimiento del dominio.
• Intervenciones Prácticas: Disear estrategias de intervención factibles y seguras para entornos reales.
• Estimación Robusta: Mejorar la estimación bajo datos incompletos y confusores ocultos mediante la detección de incertidumbre y la recolección de datos adaptativa.
• Validación: Establecer benchmarks más amplios, reportes de incertidumbre más claros y una mejor integración en los flujos de trabajo de depuración.

Significancia

El artículo sostiene que, si bien la inferencia causal ofrece un marco con principios para las pruebas de software, su impacto práctico está actualmente limitado por la mala especificación de modelos, supuestos de identificación estrictos, limitaciones de escalabilidad y la falta de validación en el mundo real. Al organizar el trabajo existente a través de una perspectiva de inferencia causal por capas, esta revisión proporciona una base estructurada para el trabajo empírico y metodológico futuro. Su objetivo es unificar las contribuciones dispares y guiar a la comunidad hacia el desarrollo de metodologías de pruebas causales más robustas, escalables y empíricamente fundamentadas.