Estimation and Inference for Causal Explainability

Aquí presento un resumen técnico detallado del artículo "Estimation and Inference for Causal Explainability" (Estimación e Inferencia para la Explicabilidad Causal), escrito por Weihan Zhang y Zijun Gao.

1. Planteamiento del Problema

El objetivo central de la investigación es cuantificar cuánto contribuye cada variable (y sus interacciones) a un resultado específico, no solo desde una perspectiva de asociación, sino bajo una lente causal.

• Limitaciones de los métodos actuales: La mayoría de los enfoques de "explicabilidad" (como los valores SHAP o índices de Sobol) se basan en modelos de aprendizaje automático que actúan como "cajas negras" y requieren acceso a un oráculo (capacidad de evaluar el resultado en cualquier punto de entrada arbitrario). Sin embargo, en campos como las ciencias sociales y la genética, los investigadores suelen trabajar con muestras de datos observados sin acceso a tales oráculos.
• El desafío estadístico: Se busca estimar cantidades de "Explicabilidad Causal" (basadas en el ANOVA Causal) utilizando solo datos observados, con supuestos de modelado mínimos (semi-paramétricos).
• El problema de la nulidad degenerada: Un desafío técnico crítico surge cuando la verdadera explicabilidad es cero (el parámetro está en la frontera del espacio de parámetros). En estos casos, la función de influencia estándar se anula, lo que hace que la distribución asintótica normal sea inválida para construir intervalos de confianza, un problema conocido como "nulidad degenerada".

2. Metodología

Los autores desarrollan un marco basado en la teoría de eficiencia semi-paramétrica y la inferencia de aleatorización.

A. Definición de las Cantidades de Interés

Utilizan el marco de ANOVA Causal (Gao y Zhao, 2025), que generaliza los índices de Sobol al contexto contrafactual.

• Explicabilidad Total ($\xi$): Se define como la varianza de la diferencia entre el resultado factual y un resultado contrafactual donde se reemplaza un subconjunto de factores $W_S$ por una copia independiente $W'_S$.
• Explicabilidad de Interacción: Se define mediante contrastes de diferencias en diferencias (ej. $W_k \wedge W_{k'}$).
• Supuestos: Se asume un modelo de ecuaciones estructurales no paramétricas con errores aditivos e independientes (NPSEM-IE) y, crucialmente, tratamientos independientes ($W_k \perp W_{k'}$).

B. Estimación: Función de Influencia Eficiente

El núcleo de la metodología es la derivación de la función de influencia eficiente (EIF) para estimar estas cantidades.

1. Estimador Base ($\phi_{IF}$): Se deriva una función de influencia para un modelo no paramétrico general.
2. Aprovechamiento de la Independencia ($\phi_{EIF}$): Dado que los factores $W_k$ son independientes, los autores proyectan la función de influencia base sobre el espacio tangente del modelo restringido (independencia).
   • Resultado: Esta proyección elimina las direcciones de variación que no aportan información sobre el estimando bajo independencia, reduciendo la varianza asintótica en comparación con el estimador que ignora la estructura de independencia.
3. Estimador de Corrección de un Paso (One-Step Correction): Se construye un estimador $\hat{\xi}$ utilizando la fórmula:
   $$\hat{\xi} = \xi(\hat{P}) + \mathbb{P}_n \hat{\phi}$$
   Donde $\hat{P}$ son los estimadores de las funciones de nuisance (condicionales y marginales) y $\mathbb{P}_n$ es la medida empírica. Se utiliza cross-fitting (división de datos en pliegues) para evitar el sobreajuste y garantizar la validez asintótica.

C. Inferencia: Manejo de Nulidades Degeneradas

Para abordar el problema de cuando la explicabilidad es cero ($\xi = 0$):

1. Equivalencia con la Nulidad Aguda de Fisher: Se demuestra teóricamente que la hipótesis nula de explicabilidad cero es equivalente a la nulidad aguda de Fisher (los resultados potenciales no cambian al alterar los factores $W_S$).
2. Prueba de Aleatorización: En lugar de depender de la distribución asintótica (que falla en la frontera), proponen un test de aleatorización basado en permutaciones.
   • Bajo la hipótesis nula, se pueden permutar los valores de $W_S$ manteniendo fijos los demás factores, ya que la distribución conjunta se factoriza.
   • Esto genera una distribución de referencia válida en muestras finitas sin necesidad de dividir la muestra (sample splitting) o inyectar ruido.
3. Procedimiento Secuencial: Se propone un algoritmo híbrido:
   • Paso 1: Realizar la prueba de aleatorización. Si no se rechaza la nulidad, el intervalo de confianza es $\{0\}$.
   • Paso 2: Si se rechaza la nulidad, se utiliza el intervalo de confianza basado en la distribución normal asintótica del estimador de corrección de un paso.
   • Este procedimiento garantiza una cobertura válida tanto en casos degenerados como no degenerados.

3. Contribuciones Clave

1. Estimadores Semi-Paramétricos Eficientes: Derivación de la función de influencia eficiente que explota explícitamente la estructura de independencia de los factores, logrando una varianza asintótica menor que los métodos que ignoran esta estructura.
2. Inferencia Robusta a la Frontera: Desarrollo de un procedimiento de inferencia secuencial que combina pruebas de aleatorización (para nulidades degeneradas) y teoría asintótica (para nulidades no degeneradas), evitando la pérdida de potencia asociada a métodos tradicionales como el sample splitting.
3. Aplicación a Datos Reales sin Oráculo: El método está diseñado específicamente para datos observados (no requiere un modelo generativo o "oráculo"), lo que lo hace aplicable en ciencias sociales y experimentos de encuestas.
4. Validación Empírica: Demostración de la eficacia mediante simulaciones y un estudio de caso real.

4. Resultados

Simulaciones

• Eficiencia: Los estimadores basados en $\phi_{EIF}$ (que usan la estructura de independencia) mostraron una varianza significativamente menor que los basados en $\phi_{IF}$ (no paramétricos generales), confirmando la ganancia teórica de eficiencia.
• Cobertura: Ambos métodos lograron tasas de cobertura exactas para intervalos de confianza cuando se usaron funciones de nuisance verdaderas. Con funciones estimadas (usando LASSO adaptativo y Super Learner), el método $\phi_{EIF}$ mantuvo buena cobertura, aunque en muestras pequeñas con interacciones complejas, el método más simple ($\phi_{IF}$) mostró ser más robusto debido a la menor complejidad en la estimación de nuisance.

Análisis de Datos Reales: Experimento de Inmigración

Los autores aplicaron su método al famoso conjunto de datos de Hainmueller, Hopkins y Yamamoto (2015) sobre la opinión pública hacia la admisión de inmigrantes en EE. UU.

• Hallazgos de Explicabilidad Total: Se identificaron factores con explicabilidad causal no nula y significativa:
  • Planes de Trabajo (Job Plan): La variable más influyente (explicabilidad ~8.8%).
  • Educación y Profesión: Segunda más influyente (~5.8%).
  • Otros factores significativos: Idioma, Experiencia Laboral, Viajes previos a EE. UU.
  • Género: No mostró explicabilidad causal significativa (el intervalo de confianza incluía cero).
• Hallazgos de Interacción:
  • Se encontró una interacción significativa entre "Planes de Trabajo" y "Experiencia Laboral". Esto sugiere que el impacto de los planes de empleo en la decisión de admitir a un inmigrante depende de su nivel de experiencia previa.
  • Otras interacciones (ej. Género con Experiencia) no fueron significativas.

5. Significado e Impacto

Este trabajo es fundamental porque cierra la brecha entre la explicabilidad de modelos de caja negra y la inferencia causal rigurosa en datos observacionales.

• Rigor Científico: Proporciona una base teórica sólida para cuantificar la importancia de las variables y sus interacciones en términos causales, superando las limitaciones de las métricas puramente predictivas.
• Herramienta Práctica: Ofrece un procedimiento de inferencia (intervalos de confianza y pruebas de hipótesis) que es válido incluso en situaciones estadísticamente difíciles (fronteras de parámetros), algo que la literatura previa a menudo ignoraba o trataba con métodos ineficientes.
• Aplicabilidad Interdisciplinaria: Al no requerir un oráculo, el método es directamente aplicable en ciencias sociales, genética y políticas públicas, donde los datos provienen de experimentos aleatorizados o encuestas, permitiendo a los investigadores entender no solo qué factores importan, sino cuánto importan causalmente y cómo interactúan.

En resumen, Zhang y Gao presentan un marco unificado que combina la eficiencia de la estadística semi-paramétrica con la validez finita de la inferencia de aleatorización para resolver uno de los problemas más complejos en la explicabilidad de modelos: la cuantificación causal precisa en presencia de interacciones y datos observacionales.