Beyond Coefficients: Forecast-Necessity Testing for Interpretable Causal Discovery in Nonlinear Time-Series Models

1. El Problema

El uso de modelos de aprendizaje automático no lineales (como las redes neuronales autoregresivas) para descubrir relaciones causales en series temporales ha aumentado. Sin embargo, existe un problema fundamental en la interpretación de sus salidas:

• Interpretación errónea de puntuaciones: Las "puntuaciones causales" generadas por estos modelos (a menudo derivadas de la magnitud de las contribuciones o gradientes) se tratan frecuentemente como análogos a los coeficientes de regresión o estadísticos de prueba.
• Limitaciones de la magnitud: En sistemas no lineales, regularizados y altamente dependientes, una puntuación causal grande no necesariamente indica relevancia causal genuina. Puede reflejar:
  • Persistencia temporal (inercia de la variable).
  • Redundancia entre predictores correlacionados.
  • Efectos específicos de un régimen que ocurren con poca frecuencia.
• Consecuencia: Esto lleva a conclusiones engañosas sobre qué relaciones son importantes y por qué, confundiendo contribuciones frecuentes o grandes con contribuciones indispensables.

2. Metodología Propuesta

Los autores proponen un cambio de paradigma: evaluar la relevancia causal basándose en la necesidad de pronóstico (forecast necessity) en lugar de la magnitud de los coeficientes.

Definición de Necesidad de Pronóstico

Una relación causal se considera "necesaria para el pronóstico" si su eliminación de un modelo predictivo resulta en una degradación estadísticamente significativa del rendimiento de pronóstico fuera de la muestra. Esto se alinea con el razonamiento contrafactual: ¿qué pasa si la relación no existiera?

Marco de Evaluación (Paso a Paso)

1. Modelo Base: Utilizan Neural Additive Vector Autoregression (NAVAR). Este modelo descompone la predicción de una variable objetivo en una suma de funciones univariadas no lineales aprendidas para cada variable fuente y retraso temporal. Esta estructura aditiva permite aislar la contribución de cada borde (relación) sin reentrenar el modelo.
2. Ablación de Bordes (Edge Ablation):
   • Se construye un modelo restringido donde se elimina la función de contribución de una variable fuente específica ($j$) hacia una variable objetivo ($i$).
   • A diferencia de los modelos lineales donde se puede "enmascarar" un coeficiente, aquí se elimina toda la función no lineal aprendida, manteniendo el resto del modelo intacto.
3. Comparación de Pronósticos:
   • Se compara el error de pronóstico (MSE) del modelo completo frente al modelo restringido en datos de validación fuera de muestra.
   • Se calcula la diferencia de pérdida ($d_t$) en cada paso de tiempo.
4. Prueba Estadística (Diebold-Mariano):
   • Se aplica la prueba Diebold-Mariano (DM) de una cola para determinar si la diferencia media de pérdida es significativamente mayor que cero.
   • Hipótesis nula ($H_0$): La eliminación del borde no afecta el pronóstico ($E[d_t] = 0$).
   • Hipótesis alternativa ($H_1$): La eliminación degrada el pronóstico ($E[d_t] > 0$).
   • Se utiliza un estimador de varianza HAC (heterocedasticidad y autocorrelación consistentes) para manejar la dependencia temporal.

3. Contribuciones Clave

1. Formalización de la Necesidad de Pronóstico: Establecen un criterio interpretable y operativo para la relevancia causal en modelos no lineales, basado en el comportamiento del modelo (degradación del pronóstico) en lugar de en parámetros abstractos.
2. Marco de Evaluación General: Presentan un procedimiento práctico que combina la ablación sistemática de bordes con pruebas de comparación de pronósticos, aplicable a modelos autoregresivos neuronales.
3. Evidencia de Discrepancia: Demuestran empíricamente que las puntuaciones de magnitud y la necesidad de pronóstico pueden divergir drásticamente. Una relación puede tener una puntuación alta pero ser redundante, mientras que otra con puntuación moderada puede ser crítica para la precisión del modelo.

4. Resultados del Estudio de Caso

Los autores aplicaron el marco a un estudio de caso sobre el desarrollo democrático, utilizando datos del proyecto Varieties of Democracy (V-Dem) de 139 países (1990-2024).

• Configuración: Se entrenó un modelo NAVAR con 16 indicadores de democracia.
• Hallazgo Principal:
  • Se compararon dos fuentes para predecir el "Sufragio" (Suffrage): "Protección Igualitaria" (Equal Protection) y "Acceso Igualitario" (Equal Access).
  • Puntuación Causal (NAVAR): "Acceso Igualitario" tenía una puntuación ligeramente mayor (0.0065) que "Protección Igualitaria" (0.0056). Bajo una interpretación basada en magnitud, el primero parecería más importante.
  • Prueba de Necesidad (DM):
    • Al eliminar "Protección Igualitaria", el error de pronóstico aumentó significativamente (DM = 5.54, $p \approx 1.5 \times 10^{-8}$). Es necesario.
    • Al eliminar "Acceso Igualitario", el error de pronóstico no cambió significativamente (DM = 1.02, $p = 0.154$). No es necesario (es redundante).
• Interpretación: La relación con "Protección Igualitaria" es indispensable para la predicción, a pesar de tener una puntuación media menor, probablemente debido a su consistencia temporal. La relación con "Acceso Igualitario", aunque grande en promedio, es sustituible por otros predictores correlacionados.

5. Significado e Implicaciones

• Razonamiento Causal Más Robusto: El enfoque desplaza la interpretación de la inspección de parámetros a la evaluación del comportamiento del modelo. Esto reduce el riesgo de confiar en relaciones que son artefactos de la persistencia temporal o la colinealidad.
• Aplicabilidad en Dominios de Alto Riesgo: En áreas como la política, la economía o la medicina, donde las decisiones se basan en modelos de IA, distinguir entre lo que es "frecuentemente importante" y lo que es "indispensable" es crucial para evitar decisiones erróneas.
• Complementariedad: La prueba de necesidad no reemplaza las herramientas de explicación existentes (como SHAP), sino que las complementa. Mientras que SHAP explica cómo se forma una predicción localmente, la prueba de necesidad determina si esa contribución es esencial para el rendimiento global.
• Limitaciones: El método es dependiente del modelo y del contexto de pronóstico (no afirma causalidad estructural pura), y la prueba de ablation sin reentrenamiento asume que los componentes restantes no se adaptarían si el modelo se volviera a entrenar. Además, la corrección para pruebas múltiples es necesaria al evaluar muchos bordes.

En resumen, el artículo argumenta que para entender la causalidad en sistemas dinámicos complejos, debemos preguntarnos no solo "¿cuánto contribuye esta variable?", sino "¿qué pasa si la quitamos?". La respuesta a esta última pregunta define la verdadera relevancia causal en modelos no lineales.