Treatment effect: a critique

Resumen Técnico: Efecto del Tratamiento: Una Crítica

Planteamiento del Problema
El artículo aborda una divergencia fundamental en la definición de "efecto del tratamiento" dentro de la estadística. Un bando, arraigado en la tradición fisheriana, define el efecto del tratamiento como un parámetro estable dentro de un modelo estadístico (por ejemplo, un coeficiente de regresión). El bando opuesto, asociado con el modelo de Rubin y los marcos contrafácticos (Rubin, 1974; Rosenbaum y Rubin, 1983), define el efecto del tratamiento como una diferencia a nivel poblacional y libre de modelo en los resultados potenciales (o contrafácticos). Si bien la literatura ha debatido extensamente la identificabilidad y estimación de los efectos contrafácticos, este artículo cuestiona si la definición libre de modelo (específicamente la diferencia promedio en los resultados potenciales) constituye un objetivo de inferencia apropiado cuando el fin es la generalización científica más allá de la muestra observada. Los autores argumentan que las definiciones libres de modelo pueden carecer de estabilidad y coherencia científica incluso bajo condiciones idealizadas donde los contrafácticos son observables.

Metodología
Los autores emplean un análisis teórico comparativo utilizando una "idealización ficticia". Para aislar el problema de qué se está midiendo del problema de cómo se está estimando (es decir, los supuestos no testeables sobre variables no observables), suponen un escenario donde el proceso contrafáctico es completamente conocido, y ambos resultados potenciales ($Y_i(0)$ y $Y_i(1)$) son observables para cada individuo. En este entorno idealizado, el problema se reduce a un diseño de pares emparejados donde cada individuo es emparejado con una copia perfecta.

Posteriormente, los autores comparan el efecto del tratamiento "libre de modelo", definido como el promedio muestral de las diferencias individuales:
$$\tau_n := \frac{1}{n} \sum_{i=1}^n E_i(Y_i(1) - Y_i(0))$$
frente al efecto del tratamiento "basado en modelos", definido como un parámetro estable $\theta$ (o $\Delta$) que rige una transformación de la distribución de probabilidad del resultado (siguiendo a McCullagh, 2002, 2022).

Analizan cinco ejemplos específicos para probar la compatibilidad de estas dos definiciones:

1. Modelo Lineal: Efectos aditivos sobre la media.
2. Modelo Exponencial: Efectos multiplicativos sobre la tasa.
3. Modelo Weibull: Efectos multiplicativos sobre la tasa con un parámetro de forma $\alpha$.
4. Modelo Exponencial (Tasa Aditiva): Efectos aditivos sobre la tasa.
5. Modelo Logístico: Efectos aditivos en el log-odds (resultados binarios).

Contribuciones Clave y Resultados
El análisis arroja los siguientes hallazgos técnicos:

• Compatibilidad en Familias de Transformación: En los casos donde el efecto del tratamiento actúa como una transformación de grupo sobre los parámetros de la distribución base (por ejemplo, desplazamientos aditivos en un modelo lineal o desplazamientos multiplicativos en una tasa exponencial), el promedio libre de modelo $\tau_n$ recupera el parámetro basado en el modelo (o una transformación simple de este).
• Inestabilidad en Familias No de Transformación: En los casos donde el efecto del tratamiento se define de manera estable en el modelo (por ejemplo, un desplazamiento aditivo $\Delta$ a una tasa exponencial, o un desplazamiento aditivo $\Delta$ al log-odds logístico), el promedio libre de modelo $\tau_n$ no logra recuperar un parámetro estable. En su lugar, $\tau_n$ se convierte en una función compleja de los parámetros base específicos ($\gamma_i$) de los individuos muestreados.
  • Ejemplo: En el modelo de tasa exponencial aditiva, $\tau_n = \frac{1}{n} \sum \log((\gamma_i + \Delta)/\gamma_i)$. Este valor varía drásticamente dependiendo de la distribución de $\gamma_i$ en la muestra. Si $\gamma_i$ son pequeños, $\tau_n$ es grande; si $\gamma_i$ son grandes, $\tau_n$ es minúsculo.
  • Ejemplo: En el modelo logístico, $\tau_n$ depende de los valores específicos de los predictores lineales $\gamma_i$ de las unidades muestreadas.
• Condiciones Necesarias para la Equivalencia: Los autores derivan tres criterios bajo los cuales las definiciones libre de modelo y basada en modelos producen respuestas idénticas para cualquier muestra:
  1. El efecto del tratamiento actúa sobre el espacio de parámetros base mediante la distribución base.
  2. La acción de grupo es consistente en las observaciones.
  3. No se requieren otros parámetros de molestia además del parámetro base para caracterizar la expectativa relevante.
     La violación de estas condiciones (como se ve en los dos últimos ejemplos) hace que el objetivo libre de modelo dependa de la muestra específica elegida, violando el principio de los parámetros estables.

Significancia y Reivindicaciones
El artículo sostiene que la inestabilidad del efecto del tratamiento libre de modelo $\tau_n$ es un fallo crítico cuando las conclusiones científicas pretenden generalizarse. Los autores se hacen eco de las preocupaciones planteadas por Cox (1958b, 2012) respecto a la idoneidad de los promedios libres de modelo como objetivos de inferencia.

• Generalizabilidad: Debido a que $\tau_n$ depende de la distribución específica de las características base en la muestra, las conclusiones extraídas de un estudio pueden no generalizarse a una población diferente con una distribución distinta de $\gamma_i$, incluso si el mecanismo causal subyacente (el parámetro del modelo) es idéntico.
• Práctica Científica: Los autores argumentan que si los efectos del tratamiento varían sistemáticamente entre las unidades, esta variación debería explicarse mediante términos de interacción dentro de un modelo estable (como en el formalismo de McCullagh), en lugar de ser absorbida por un promedio inestable y dependiente de la muestra.
• Refutación de Defensas Comunes: El artículo aborda tres argumentos comunes a favor de las definiciones libres de modelo:
  • Heterogeneidad: El marco basado en modelos puede acomodar efectos específicos de cada individuo a través de componentes de interacción, manteniendo la estabilidad del parámetro.
  • Especificación Incorrecta del Modelo: Aunque los enfoques libres de modelo evitan la especificación incorrecta, sacrifican la estabilidad y la interpretabilidad. Si un modelo está mal especificado, este también pierde estabilidad, lo que subraya la necesidad de comprobaciones de adecuación del modelo.
  • Robustez Doble: La propiedad de robustez doble solo es relevante si se acepta $\tau_n$ como una cantidad científica válida; los autores cuestionan dicha aceptación.

Conclusión
El artículo concluye que la definición libre de modelo del efecto del tratamiento no es un objetivo de inferencia universalmente apropiado. En muchos entornos científicos estándar (como los modelos logísticos o exponenciales aditivos), el promedio libre de modelo es una cantidad inestable que cambia con la composición de la muestra, mientras que el parámetro basado en el modelo sigue siendo una cantidad estable y científicamente significativa. Los autores sugieren que la proliferación de métodos para manejar la validez condicional o los promedios de subpoblaciones en la literatura de inferencia causal es un síntoma de esta inestabilidad subyacente en la definición libre de modelo.