Resumen Técnico: Localización de la Varianza de Dropout en Redes Gemelas

Declaración del Problema

Los modelos de redes gemelas profundas (por ejemplo, TARNet, DragonNet) son herramientas estándar para estimar Efectos del Tratamiento a Nivel Individual (ITE) a partir de datos observacionales. Aunque el Dropout de Monte Carlo (MC) y los conjuntos profundos pueden proporcionar estimaciones de incertidumbre, estas estimaciones suelen ser monolíticas: una única puntuación de varianza que no logra distinguir la fuente del fallo del modelo. Los practicantes no pueden determinar si una alta incertidumbre se origina en:

1. Problemas a nivel de codificador: Una cobertura deficiente del espacio de covariables (extrapolación), lo que sugiere la necesidad de datos de covariables más diversos.
2. Problemas a nivel de cabezal: Mapeos de resultados ruidosos en regiones bien cubiertas, lo que sugiere la necesidad de más observaciones de resultados o una mayor capacidad del cabezal.

Sin esta distinción, las puntuaciones de incertidumbre no ofrecen ninguna guía sobre las acciones correctivas. Este artículo aborda la falta de cuantificación de incertidumbre estructurada e interpretable en modelos causales profundos proponiendo un método para descomponer la incertidumbre por módulo arquitectónico.

Metodología

Los autores proponen una descomposición de varianza por capas para modelos de redes gemelas, aprovechando la estructura modular natural (codificador compartido $\Phi$ seguido de cabezales de resultado separados $f_0, f_1$) y la ley de la varianza total.

1. Descomposición de la Varianza

Para una salida de red gemela $\hat{Y}_t(x)$, la varianza predictiva total se descompone en dos componentes:
$$\text{Var}(\hat{Y}_t(x)) = \underbrace{\text{Var}_{\theta_e}(\mathbb{E}_{\theta_t}[\hat{Y}_t(x) \mid \theta_e])}_{\sigma^2_{\text{enc}}} + \underbrace{\mathbb{E}_{\theta_e}[\text{Var}_{\theta_t}(\hat{Y}_t(x) \mid \theta_e)]}_{\sigma^2_{\text{head}}}$$

• $\sigma^2_{\text{enc}}$ (Componente del Codificador): Mide la varianza atribuible a las máscaras de dropout en el codificador compartido, manteniendo los cabezales deterministas.
• $\sigma^2_{\text{head}}$ (Componente del Cabezal): Mide la varianza promedio atribuible a las máscaras de dropout en los cabezales de resultado, condicionada a una realización fija del codificador.

2. Estimación Práctica

Para estimar estos componentes sin un procedimiento de Monte Carlo anidado computacionalmente costoso, los autores utilizan una aproximación de dropout controlado:

• Modo solo codificador: Dropout activo en el codificador; cabezales deterministas.
• Modo solo cabezal: Dropout activo en los cabezales; codificador determinista.
• Modo total: Dropout activo en todas partes (Dropout MC estándar).

El costo total en la inferencia es de $3N$ pasadas hacia adelante (donde $N$ es el número de muestras de MC), en comparación con $N$ para el Dropout MC estándar. Los autores verifican empíricamente que $\hat{\sigma}^2_{\text{enc}} + \hat{\sigma}^2_{\text{head}} \approx \sigma^2_{\text{tot}}$ con alta fidelidad ($R^2 > 0.99$).

Contribuciones Clave

1. Localización Arquitectónica: Una descomposición simple y consciente de la arquitectura que separa las señales de incertidumbre en componentes de codificador y cabezal, proporcionando un diagnóstico para modos de fallo específicos.
2. Flujo de Trabajo de Diagnóstico: Un flujo de trabajo propuesto de dos etapas:
   • Utilizar $\sigma^2_{\text{enc}}$ para señalar posibles puntos fuera de distribución (OOD) o riesgos de extrapolación.
   • Utilizar $\sigma^2_{\text{head}}$ para clasificar la incertidumbre entre puntos dentro de la distribución donde la incertidumbre del codificador es baja.
3. Validación Empírica: Demostración de que esta descomposición ofrece información procesable en regímenes sintéticos de desplazamiento de covariables y en una cohorte real de gemelos.

Resultados Experimentales

El método se evaluó en tres generadores de datos sintéticos (v1–v3) con diversos grados de desplazamiento de covariables y en una cohorte real de gemelos del mismo sexo con sesgo de muestreo multivariado inducido.

1. Hallazgos en Datos Sintéticos

• Dominio de la Varianza del Codificador bajo Desplazamiento: En regímenes de desplazamiento fuerte (v1, v2), el componente del codificador ($\sigma^2_{\text{enc}}$) es el predictor dominante del error ITE ($\rho_{\text{enc}} \approx 0.53$), superando a la varianza total ($\rho_{\text{tot}} \approx 0.45$). El componente del cabezal es cercano a cero o negativo en estos regímenes.
• Informatividad Condicional de la Varianza del Cabezal: El componente del cabezal ($\sigma^2_{\text{head}}$) se convierte en un fuerte predictor de error ($\rho_{\text{head}} > 0.5$) solo después de filtrar los puntos de alta varianza del codificador. Esto confirma su utilidad para clasificar la incertidumbre dentro de la región de distribución.
• Comparación con Conjuntos: Los conjuntos profundos superaron al Dropout MC bajo desplazamiento fuerte (probablemente debido a un desacuerdo genuino del modelo), pero colapsaron a una correlación cercana a cero bajo desplazamiento leve. El Dropout MC mantuvo una señal moderada en todos los regímenes.

2. Cohorte Real de Gemelos

• Detección OOD: En el conjunto de datos de gemelos con sesgo inducido, $\sigma^2_{\text{enc}}$ aumentó significativamente en las muestras OOD ($\Delta \sigma^2_{\text{enc}} \approx 0.004$), mientras que $\sigma^2_{\text{head}}$ permaneció plana.
• Predicción de Error: Bajo sesgo inducido, $\sigma^2_{\text{enc}}$ se convirtió en el predictor principal de error ($\rho_{\text{enc}} \approx 0.89$).
• Limitación en la Detección OOD: Los autores señalan explícitamente que la descomposición no es un detector binario OOD confiable (los valores de ROC-AUC estuvieron cerca del azar, 0.54–0.62). Su valor reside en la predicción de errores y la localización diagnóstica, no en la clasificación.

Significado y Afirmaciones

El artículo posiciona este trabajo como una prueba de concepto para una herramienta de diagnóstico en lugar de un problema resuelto. El significado principal radica en la capacidad de acción:

• Guía Práctica: Al localizar la varianza, el método indica a los practicantes si deben recopilar más covariables diversas (si $\sigma^2_{\text{enc}}$ es alta) o más datos de resultados (si $\sigma^2_{\text{head}}$ es alta).
• Eficiencia de Costos: La descomposición añade un costo computacional despreciable sobre el Dropout MC estándar.
• Modestia: Los autores reconocen las limitaciones, incluido el uso de generadores sintéticos de baja dimensión, desplazamientos inducidos artificialmente en datos reales y la dependencia del Dropout MC como una aproximación grosera del posterior. Enfatizan que las correlaciones observadas son moderadas en datos sintéticos y más fuertes en el conjunto de datos de gemelos de bajo ruido, y que el objetivo final es demostrar que esta descomposición conduce a mejores decisiones de recopilación de datos y actualización de modelos, no solo a mejores descripciones de incertidumbre.