🤖 AI

When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation

Este artículo demuestra mediante simulaciones de Monte Carlo que, si bien el error de predicción es una métrica útil para evaluar la estimación de funciones de molestia, no se correlaciona consistentemente con el desempeño del estimador causal (como el sesgo o la cobertura de los intervalos de confianza), lo que indica que no debe utilizarse como un sustituto directo de la calidad de la inferencia causal.

Autores originales: Cong Cao

Publicado 2026-09-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Cong Cao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la ciencia de datos, los investigadores a menudo se enfrentan a un rompecabezas: cómo determinar si una cosa causa otra cuando no pueden realizar un experimento controlado. Imagine intentar comprender si un nuevo medicamento funciona, pero solo tiene registros de personas que decidieron tomarlo por su cuenta, mezclados con aquellos que no lo hicieron. Para desenredar esto, los científicos utilizan un método llamado inferencia causal. Este enfoque se basa en la construcción de modelos matemáticos para describir los factores de fondo —como la edad, los ingresos o el historial de salud— que influyen tanto en la decisión de tomar el medicamento como en el resultado de salud. Estos modelos de fondo se conocen como "funciones de molestia" (nuisance functions). Se les llama "molestia" no porque sean irritantes, sino porque son distracciones necesarias; el investigador debe estimarlas con precisión para aislar el verdadero efecto del tratamiento. Durante años, la forma estándar de comprobar si estos modelos de fondo eran buenos era observar qué tan bien predecían los datos, de forma muy similar a cómo un pronosticador del tiempo comprueba si sus predicciones de temperatura coinciden con el clima real. La suposición era simple: si el modelo predice bien los datos de fondo, también debería ayudar a encontrar la respuesta correcta de causa y efecto.

Un estudio reciente de Cong Cao en la Universidad de Yale desafía esta suposición largamente sostenida. El investigador se propuso probar si un modelo que es excelente prediciendo los datos de fondo es necesariamente excelente encontrando la verdadera causa. Para ello, Cao no observó registros médicos del mundo real, sino que creó miles de mundos simulados en una computadora. En estas simulaciones, la verdadera relación de causa y efecto era conocida por diseño, lo que permitió al investigador ver exactamente qué tan bien se desempeñaban diferentes programas informáticos. El estudio comparó varios métodos populares para construir estos modelos de fondo, que van desde herramientas estadísticas tradicionales hasta modernos y flexibles algoritmos de aprendizaje automático. El objetivo era ver si la puntuación que obtiene un modelo por predecir los datos de fondo coincidía con la puntuación que obtiene por encontrar la respuesta causal correcta.

Los resultados revelaron una desconexión sorprendente. El estudio encontró que el método que fue mejor prediciendo los datos de fondo no siempre fue el mejor para estimar el efecto causal. En las simulaciones, una herramienta de aprendizaje automático llamada XGBoost fue la más precisa al predecir las variables de fondo, produciendo los errores más pequeños en sus conjeturas. Sin embargo, cuando se trataba del objetivo final de estimar el efecto causal, otro método llamado Aprendizaje Automático Doble (Double Machine Learning), que utilizaba XGBoost dentro de un marco estadístico específico, funcionó mejor en una tarea crucial diferente: proporcionar intervalos de confianza fiables. Un intervalo de confianza es un rango de valores que los investigadores utilizan para expresar qué tan seguros están de su respuesta. En estas simulaciones, el método con la mejor precisión de predicción dio un rango demasiado estrecho, lo que significaba que era excesivamente confiado y a menudo fallaba en capturar la respuesta verdadera. El método con una precisión de predicción ligeramente inferior, sin embargo, produjo rangos más amplios y honestos que capturaron la respuesta verdadera el 93 por ciento de las veces, lo cual es muy cercano al 95 por ciento ideal.

Esto sugiere que ser un buen predictor no es lo mismo que ser un buen detective de la causa y el efecto. El estudio mostró que un modelo puede ser muy preciso adivinando los números de fondo pero aun así fallar al dar un rango confiable para la respuesta final. Los investigadores también probaron una idea nueva: si observar los errores combinados de dos modelos de fondo diferentes podía predecir el resultado final. Encontraron que esta medida combinada era débil y no indicaba de manera confiable qué método funcionaría mejor. Los hallazgos indican que, si bien comprobar qué tan bien un modelo predice los datos es útil, no es suficiente por sí solo para garantizar una buena conclusión causal. Los investigadores no pueden simplemente elegir el modelo con el menor error de predicción y asumir que la respuesta causal será correcta. En su lugar, deben observar las propiedades específicas del método causal en sí, como la forma en que maneja la incertidumbre, para asegurar que la conclusión final sea robusta.

El estudio también exploró qué sucede cuando los puntos de datos no son independientes, como cuando los pacientes están agrupados en el mismo hospital o familia, lo que crea un vínculo oculto entre ellos. Incluso en estas situaciones más complejas y agrupadas, el patrón se mantuvo. El método que predijo mejor los datos de fondo seguía sin proporcionar los intervalos de confianza más fiables. Los investigadores señalaron que su trabajo se basó en simulaciones por computadora con condiciones específicas, por lo que los resultados podrían verse diferentes en otros escenarios del mundo real con diferentes tipos de datos. Sin embargo, el mensaje central sigue siendo claro: en la búsqueda de la causa y el efecto, la capacidad de un modelo para predecir el pasado no se traduce automáticamente en una capacidad para explicar el futuro. Las herramientas utilizadas para limpiar el ruido de fondo deben juzgarse por qué tan bien protegen la respuesta final, no solo por qué tan bien adivinan el ruido mismo.

Resumen Técnico: Cuando el error de predicción no es suficiente

Planteamiento del problema
En la inferencia causal utilizando datos observacionales, se emplean cada vez más métodos flexibles de aprendizaje automático para estimar funciones de estorbo o nuisance (por ejemplo, la relación entre las covariables y la exposición, o entre las covariables y el resultado). Estas funciones de estorbo se evalúan típicamente mediante métricas estándar de aprendizaje supervisado, como el error de predicción (por ejemplo, el error cuadrático medio) o el rendimiento de la validación cruzada. Sin embargo, no está claro si una precisión de predicción superior de estas funciones de estorbo se traduce directamente en un rendimiento superior del estimador causal resultante. Específicamente, el artículo investiga si minimizar el error de predicción de la función de estorbo es un sustituto (proxy) suficiente para minimizar el sesgo causal, el error cuadrático medio (RMSE) y garantizar la cobertura de los intervalos de confianza. Esta cuestión es particularmente compleja en entornos como el Aprendizaje Automático Doble (DML), donde los errores en múltiples funciones de estorbo interactúan para afectar el estimador causal final.

Metodología
El autor realizó un estudio de simulación de Monte Carlo dentro de un marco de modelo causal parcialmente lineal con una exposición continua. El estudio comparó cuatro enfoques de estimación:

Mínimos Cuadrados Ordinarios (OLS): Un referente paramétrico.
Modelos Aditivos Generalizados (GAMs): Permiten relaciones aditivas no lineales.
XGBoost: Un aprendiz no paramétrico flexible que permite no linealidades e interacciones.
Aprendizaje Automático Doble con XGBoost (DML-XGBoost): Combina XGBoost con puntuaciones de Neyman-ortogonales y cross-fitting para reducir el impacto del error de estimación de la función de estorbo.

La simulación evaluó el rendimiento en dos escenarios:

Escenario 1: Observaciones independientes.
Escenario 2: Datos agrupados (clustered) con dependencia intra-grupo, utilizando cross-fitting a nivel de grupo y estimación de varianza robusta a nivel de grupo.

Métricas de rendimiento
El estudio evaluó dos categorías distintas de métricas:

Métricas de la función de estorbo:
- Errores de predicción de error cuadrático medio para las funciones de estorbo de la exposición ( $E_m$ ) y del resultado ( $E_h$ ).
- Una medida de error conjunto, $D_{joint} = |E\{\delta_m(C)\delta_h(C)\}|$ , que representa la magnitud absoluta del producto cruzado de los errores de estimación entre las dos funciones de estorbo.
Métricas del estimador causal:
- Sesgo (diferencia entre la estimación media y el verdadero efecto causal $\tau$ ).
- RMSE.
- Cobertura del intervalo de confianza (CI) del 95%.

Resultos clave

Divergencia de métricas: El error de predicción no siguió consistentemente el rendimiento causal. En ambos escenarios, XGBoost (sin cross-fitting) logró el RMSE más bajo entre los métodos no oraculares, lo que indica una precisión de estimación puntual superior. Sin embargo, DML-XGBoost proporcionó una cobertura de intervalos de confianza significativamente mejor (0.928 y 0.908 en los Escenarios 1 y 2, respectivamente) en comparación con el XGBoost estándar (0.856 y 0.838), que sufrió de subcobertura.
Error de predicción vs. Inferencia: Aunque XGBoost tuvo errores de predicción de la función de estorbo más bajos que DML-XGBoost en el Escenario 1, este menor error no correspondió a una mejor calibración inferencial. Por lo tanto, el método con el mejor rendimiento de estimación puntual no fue el método con la mejor cobertura de intervalos de confianza.
Medida de error conjunto: La medida de error conjunto propuesta ( $D_{joint}$ ) mostró solo asociaciones débiles con el sesgo causal absoluto (correlaciones que oscilan aproximadamente entre -0.11 y 0.11). El autor concluye que $D_{joint}$ no es un predictor fiable por sí solo del sesgo causal en muestras finitas ni un criterio útil para seleccionar estimadores causales.
Datos agrupados: Los patrones principales se mantuvieron en el entorno de datos agrupados, con DML-XGBoost manteniendo una mejor cobertura que el XGBoost estándar, aunque el análisis se limitó a un único tamaño de grupo y una configuración de componente de varianza.

Significado y afirmaciones
El artículo argumenta que, si bien el error de predicción es una herramienta válida y útil para evaluar la calidad de la estimación de la función de estorbo, no debe tratarse como una medida directa de la calidad del estimador causal resultante.

El autor enfatiza que:

La estimación puntual y la inferencia son distintas: Un método puede minimizar el error de predicción y lograr un sesgo bajo (buena estimación puntual) y, al mismo tiempo, fallar en proporcionar una cuantificación de la incertidencia válida (pobre cobertura de CI).
La evaluación de la función de estorbo es multifacética: El error de predicción mide la precisión con respecto a la función verdadera, pero no captura la variación de muestra a muestra ni la forma específica en que los errores en múltiples funciones de estorbo interactúan para afectar la distribución de muestreo del estimador causal.
Limitaciones de las medidas conjuntas: Los resúmenes simples de los errores conjuntos de las funciones de estorbo, como el producto cruzado de los errores, no caracterizan suficientemente el sesgo causal en muestras finitas y deben verse como diagnósticos descriptivos en lugar de criterios de selección.

En última instancia, el estudio sugiere que los investigadores no deben confiar únicamente en las métricas de predicción para seleccionar aprendices para la inferencia causal, ya que una mejor predicción no garantiza necesariamente un mejor rendimiento de la estimación causal, particularmente en lo que respecta a la validez inferencial.

Más como este