SHIFT: Robust Double Machine Learning for Average Dose-Response Functions under Heavy-Tailed Contamination

A continuación se presenta un resumen técnico detallado del artículo "SHIFT: Aprendizaje Automático Doble Robusto para Funciones Promedio de Respuesta a la Dosis bajo Contaminación de Cola Pesada" de Eichi Uehara.

1. Planteamiento del Problema

El artículo aborda la estimación de la Función Promedio de Respuesta a la Dosis (ADRF), $\theta(t) = E[Y(t)]$, para tratamientos continuos utilizando datos observacionales. Las pipelines estándar de Aprendizaje Automático Doble (DML) dependen de suavizadores locales lineales ponderados por kernel en la segunda etapa. Estos estimadores suelen utilizar el Error Cuadrático Medio (MSE) o pérdidas convexas similares, las cuales sufren de influencia funcional ilimitada.

La Patología Central: Manchado Funcional
En presencia de valores atípicos (contaminación de cola pesada), un solo residuo grande en un punto local $t_0$ no solo sesga la estimación en $t_0$. Dado que los suavizadores por kernel dispersan la influencia a través de una ventana, un solo valor atípico "mancha" su efecto a lo largo de toda la curva, distorsionando la forma global y, crucialmente, la derivada $\theta'(t)$ (el efecto marginal), que a menudo es el objetivo para la optimización de políticas. Los métodos robustos existentes (como la regresión Huber o de cuantiles) a menudo fallan en distinguir eficazmente entre datos inliers y outliers en escenarios de contaminación localizada o no proporcionan un mecanismo para identificar muestras anómalas específicas.

2. Metodología: El Estimador SHIFT

Los autores proponen SHIFT (Ajuste a Inliers de Cola Pesada Auto-calibrado con Templanza), un estimador DML robusto diseñado para mitigar el manchado funcional mientras mantiene la eficiencia en datos limpios. El método consta de tres etapas:

Etapa 1: Ortogonalización de Variables de Incidencia

Se utiliza el ajuste cruzado estándar de DML para estimar las funciones de incidencia $\hat{m}_Y(X) = E[Y|X]$ y $\hat{m}_T(X) = E[T|X]$. Se forman los residuos:
$$\tilde{Y}_i = Y_i - \hat{m}_Y(X_i), \quad \tilde{T}_i = T_i - \hat{m}_T(X_i)$$
Esto garantiza la ortogonalidad de Neyman, protegiendo la segunda etapa de errores en la estimación de las variables de incidencia.

Etapa 2: GNC Ponderado por Kernel con Pérdida Descendente

Para cada nivel de tratamiento objetivo $t_0$, se realiza una regresión local lineal sobre los residuos dentro de una ventana de kernel. En lugar de MSE, SHIFT utiliza una pérdida de Welsch (un estimador M descendente):
$$\rho(r) = 1 - \exp\left(-\frac{\gamma}{2}\left(\frac{r}{\sigma}\right)^2\right)$$
Para manejar la no convexidad de la pérdida de Welsch (que puede atrapar la optimización en mínimos locales cerca de grupos de valores atípicos), el método emplea No Convexidad Graduada (GNC). El parámetro de escala $\sigma$ se recocido desde un valor grande (donde la pérdida es casi cuadrática) hasta un valor pequeño (donde rechaza agresivamente los valores atípicos). Esto se resuelve mediante un bucle de Mínimos Cuadrados Ponderados Iterativamente (IRLS) dentro de cada ventana de kernel.

Etapa 3: Reajuste Defensivo (La Innovación Clave)

Una vez que el bucle GNC converge, el método realiza un reajuste final "defensivo" de Mínimos Cuadrados Ordinarios (OLS) sobre los inliers identificados. La elección de diseño crítica aquí es la escala utilizada para el corte de inliers:

• GNC-Fijo (Ablación): Utiliza el MAD pre-ajuste de los residuos crudos ($\text{MAD}(\tilde{Y})$).
• SHIFT (Propuesto): Utiliza el MAD post-GNC de los residuos ($\text{MAD}(r^*)$) calculado después de que el bucle GNC haya empujado los valores atípicos a valores de residuo grandes.

Por qué esto importa: En contaminación localizada (donde >50% de una ventana de kernel son valores atípicos), el MAD pre-ajuste se infla por la masa de valores atípicos, haciendo que el corte de 3$\sigma$ admita valores atípicos de nuevo en el ajuste OLS final. El MAD post-GNC está controlado por la masa de inliers porque el bucle GNC ya ha separado los valores atípicos. Este único cambio arquitectónico previene el efecto de "manchado" en regímenes de contaminación localizada.

Extensiones:

• Tratamientos Binarios: Adaptado como un Robust X-Learner utilizando pérdida Huber para la regresión de pseudo-resultados.
• Series Temporales: Utiliza validación cruzada por bloques y un ancla MAD rodante para manejar la varianza no estacionaria.
• Multi-tratamiento: Se extiende a tratamientos vectoriales utilizando kernels de producto.

3. Contribuciones Clave

1. Solución Arquitectónica (MAD Post-GNC): El artículo identifica que el momento de la estimación de la escala es el principal impulsor de la robustez en la contaminación localizada. El uso de residuos post-GNC para el corte de reajuste defensivo reduce el Nivel-RMSE de 1.03 a 0.33 en pruebas de estrés localizadas, dejando el rendimiento en contaminación uniforme sin cambios.
2. Recuperación de Forma Competitiva + Enmascaramiento de Valores Atípicos: SHIFT logra una recuperación de forma (RMSE) competitiva con Huber-DML (el estado del arte actual para forma), pero produce de manera única un vector de pesos por muestra no uniforme. Esto permite a SHIFT identificar y clasificar valores atípicos (F1 medio $\approx$ 0.96 en DGPs de salto gaussiano), whereas los métodos Huber y de cuantiles emiten pesos uniformes y no pueden identificar anomalías específicas.
3. Suite de Diagnóstico EVT: Los autores emparejan SHIFT con un kit de herramientas de Teoría de Valores Extremos (EVT) de seis técnicas (índice de Hill, GPD-MLE/PWM, GEV, Exceso Medio, etc.). Esto permite a los practicantes diagnosticar el régimen de cola (Fréchet vs. Weibull) y decidir empíricamente si usar SHIFT (para colas acotadas) o cambiar a Quantile-DML (para colas pesadas).
4. Ablación Contra-Intuitiva: El artículo demuestra que, bajo contaminación uniforme, modelos de incidencia lineales (Ridge, Lasso) superan a los modelos flexibles de gradiente impulsado (HistGBM) en aproximadamente un 60% en RMSE. Los modelos flexibles tienden a absorber la contaminación en la estimación de la incidencia, dejando a la segunda etapa con menos señal para rechazar valores atípicos.

4. Resultados Experimentales

El artículo evalúa SHIFT en más de 1,400 ajustes sobre 5 Procesos Generadores de Datos (DGPs) con niveles de contaminación de hasta $p=0.25$.

• Recuperación de Forma:
  • Contaminación Uniforme: SHIFT está dentro de 0.05 RMSE de Huber-DML en 19/20 celdas.
  • Contaminación Localizada (Región Sinusoidal): SHIFT (RMSE 0.325) supera significativamente a GNC-Fijo (RMSE 1.026) y es competitivo con Huber-DML (RMSE 0.276).
  • Contaminación de Cola Pesada: Quantile-DML lidera (RMSE 0.132 vs SHIFT 0.152), confirmando la utilidad del diagnóstico EVT para cambiar de método.
• Detección de Valores Atípicos:
  • SHIFT logra una puntuación F1 de ~0.96 en DGPs de salto gaussiano, recuperando eficazmente la máscara de valores atípicos de la verdad fundamental.
  • Bajo colas pesadas ($t_3$), la detección F1 se estabiliza en ~0.70, identificada como un límite fundamental de identificabilidad (indistinguibilidad de rango de pequeños saltos frente al ruido).
• Modelos de Incidencia:
  • Reemplazar el HistGBM predeterminado por Ridge/Lasso redujo el RMSE de SHIFT en un 60% en DGPs de contaminación uniforme, invirtiendo la heurística estándar de "más flexible es mejor".
• Costo Computacional:
  • SHIFT es ~3 veces más lento que Standard-DML pero más rápido que Quantile-DML. Es totalmente paralelizable a través de puntos de la cuadrícula.

5. Significado e Implicaciones

• Robustez Práctica: SHIFT ofrece una solución "lo mejor de ambos mundos": ofrece la recuperación de forma de métodos robustos convexos (Huber) mientras añade la capacidad de diagnóstico de detección de valores atípicos (usualmente reservada para métodos no convexos).
• Selección de Métodos Basada en Datos: La integración de diagnósticos EVT mueve la inferencia causal robusta de un enfoque de "elegir una función de pérdida y esperar" a un flujo de trabajo principiado y basado en datos donde la forma de la cola dicta la elección del estimador.
• Reevaluación de Heurísticas DML: El hallazgo de que las incidencias lineales pueden superar a los árboles impulsados en entornos robustos desafía la práctica DML estándar de utilizar el aprendiz más flexible posible, sugiriendo que la simplicidad en la primera etapa puede preservar la señal para la robustez en la segunda etapa.
• Código Abierto: Los autores proporcionan una implementación completa en Python, datos crudos y scripts de reproducibilidad, facilitando la adopción inmediata y la investigación futura.

En resumen, SHIFT representa un avance significativo en la inferencia causal robusta para tratamientos continuos, resolviendo el problema específico del "manchado funcional" en la contaminación localizada a través de una nueva calibración de escala post-GNC y proporcionando un marco de diagnóstico integral para los practicantes.