Prediction intervals for random-effects meta-analysis based on confidence distributions and Edgington's method

Resumen Técnico: Intervalos de Predicción para Metaanálisis de Efectos Aleatorios Basados en Distribuciones de Confianza y el Método de Edgington

Planteamiento del Problema
En los metaanálisis de efectos aleatorios, la inferencia estadística respecto al efecto promedio suele considerarse insuficiente cuando existe una heterogeneidad sustancial entre los estudios. Aunque las medidas tradicionales como la varianza estimada entre estudios ($\tau^2$) e $I^2$ de Higgins cuantifican la heterogeneidad, carecen de interpretabilidad en la escala del efecto y no transmiten la variación absoluta del efecto. Las distribuciones predictivas son reconocidas como una herramienta más relevante desde el punto de vista clínico para cuantificar la heterogeneidad, ya que describen la distribución de los efectos verdaderos e informan sobre eventos futuros.

Sin embargo, los métodos frecuentistas existentes para construir distribuciones predictivas enfrentan limitaciones significativas:

1. Restricciones de Simetría: La mayoría de los métodos restringen las distribuciones predictivas a ser simétricas alrededor del efecto promedio estimado, fallando en capturar la asimetría (sesgo) que suele estar presente en las estimaciones de los efectos. Esto conduce a una mala calibración e intervalos de predicción que frecuentemente no alcanzan la cobertura nominal, particularmente en escenarios con pocos estudios o datos asimétricos.
2. Manejo de la Incertidumbre: Los enfoques estándar suelen abordar la incertidumbre en la estimación de la heterogeneidad ($\tau^2$) aplicando una distribución $t$ con grados de libertad arbitrarios (por ejemplo, $k-2$). Los estudios de simulación sugieren que estos ajustes post-hoc suelen estar mal calibrados, especialmente cuando el número de estudios es pequeño o la heterogeneidad es considerable.
3. Negligencia de la Asimetría: Los métodos que no tienen en cuenta la asimetría de las estimaciones de los estudios pueden producir inferencias erróneas, como lo demuestran los resultados de simulación que muestran una subcobertura en escenarios con asimetría.

Metodología
Los autores proponen un nuevo marco para construir distribuciones predictivas que explica explícitamente la incertidumbre tanto en el efecto promedio ($\mu$) como en el parámetro de heterogeneidad ($\tau^2$) utilizando distribuciones de confianza y el método de combinación de valores p de Edgington.

1. Distribuciones de Confianza (CDs): En lugar de depender de las distribuciones muestrales de los estimadores, el método construye CDs, que son distribuciones de probabilidad frecuentistas sobre el espacio de parámetros derivadas de funciones de valor p sin invocar distribuciones previas (prior distributions).

2. Método de Edgington: Los autores utilizan el método de Edgington (1972) para combinar funciones de valor p unilaterales a través de los estudios. A diferencia del enfoque clásico de promedio ponderado, el método de Edgington:

   • Es invariante a la orientación de la hipótesis alternativa.
   • Produce estimaciones casi insesgadas.
   • Genera intervalos de confianza que se adaptan a la asimetría de las estimaciones de los efectos, preservando la asimetría en lugar de imponer resúmenes simétricos.

3. Incertidumbre de la Heterogeneidad: El método incorpora la incertidumbre en $\tau^2$ utilizando la distribución de confianza implicada por el estadístico de heterogeneidad generalizada ($Q(\tau^2)$). Este estadístico, basado en la distribución exacta de la $Q$ de Cochran, varía con $\tau^2$ y actúa como un pivote.

4. Construcción de la Distribución Predictiva: Se proponen tres versiones de la distribución predictiva:

   • PCD-fixed: Integra la distribución normal del efecto sobre la CD de Edgington para $\mu$, utilizando una estimación plug-in para $\tau^2$.
   • PCD-simplified: Integra sobre la CD para $\mu$ (usando un $\tau^2$ plug-in) y la CD para $\tau^2$.
   • PCD-full: Integra completamente sobre la distribución condicional conjunta de $\mu$ y $\tau^2$.

   Estas integrales se evalúan mediante un algoritmo de Monte Carlo (Algoritmo 1) que muestrea $\tau^2$ de su CD (resolviendo $Q(\tau^2) = W$ donde $W \sim \chi^2_{k-1}$), muestrea $\mu$ de la CD de Edgington (usando la transformada de integral de probabilidad) y finalmente muestrea el nuevo efecto $\theta_{new}$ de una $N(\mu, \tau^2)$.

Contribuciones Clave

• Predicción Consciente de la Asimetría: El método propuesto genera distribuciones predictivas que heredan naturalmente la asimetría de las estimaciones de los estudios subyacentes, abordando una brecha crítica de los métodos simétricos existentes.
• Propagación Riguroosa de la Incertidumbre: Al integrar sobre las distribuciones de confianza tanto de $\mu$ como de $\tau^2$, el método evita ajustes arbitrarios (como grados de libertad fijos de la distribución $t$) y proporciona un manejo más fundamentado de la incertidumbre de la estimación.
• Implementación: Los autores proporcionan el paquete de R edgemeta, lo que hace que estos métodos sean accesibles para calcular intervalos de predicción de colas iguales y de Densidad de Confianza Máxima (HCD), así como probabilidades de confianza para eventos específicos (por ejemplo, la probabilidad de que un efecto futuro sea beneficioso).

Resultados
Un estudio de simulación (siguiendo el marco ADEMP) comparó los métodos PCD propuestos contra el método de Higgins-Thompson-Spiegelhalter (HTS) y un enfoque de bootstrap paramétrico (Nagashima et al., 2018).

• Cobertura:
  • PCD-full y PCD-simplified típicamente alcanzaron una cobertura nominal del 95% cuando había más de tres estudios disponibles.
  • Estos métodos reflejaron eficazmente la asimetría en escenarios con 20 estudios o menos.
  • En contraste, PCD-fixed (que ignora la incertidumbre de la heterogeneidad) presentó consistentemente una subcobertura, cayendo a menudo por debajo del 80% con tres estudios, y solo se acercó a la cobertura nominal con un gran número de estudios.
  • El método HTS mostró un patrón de cobertura en forma de U: sobrecobertura con tres estudios y subcobertura con 5–50 estudios, particularmente bajo heterogeneidad moderada.
• Correlación de Asimetría: Los intervalos PCD-full demostraron correlaciones de Pearson de moderadas a fuertes entre la asimetría del intervalo y la asimetría de la estimación del efecto para menos de 50 estudios, mientras que los intervalos HTS (siendo simétricos) tuvieron cero asimetría.
• Agudeza (Sharpness): Aunque los intervalos PCD-full y PCD-simplified fueron generalmente más amplios que los intervalos HTS (reflejando la propagación adecuada de la incertidumbre), a menudo superaron al HTS en términos de la Puntuación de Probabilidad Clasificada Continuamente (CRPS) cuando el número de estudios era pequeño o la heterogeneidad era baja.
• Caso de Estudio: En un metaanálisis de corticosteroides y mortalidad en pacientes con COVID-19, el estimador CD-Edgington produjo un intervalo de confianza más amplio y con asimetría a la derecha en comparación con el intervalo simétrico de Hartung-Knapp-Sidik-Jonkman (HKSJ). Las distribuciones predictivas resultantes (PCD-full/simplified) fueron sustancialmente más amplias que los intervalos HTS, reflejando la sustancial incertidumbre en la estimación de la heterogeneidad incluso cuando la estimación puntual de $\tau^2$ era cercana a cero.

Significado y Reivindicaciones
El artículo afirma que el enfoque propuesto ofrece una alternativa o complemento viable al metaanálisis de efectos aleatorios clásico. Los autores enfatizan que:

• Ignorar la incertidumbre en la estimación de la heterogeneidad conduce a una cobertura incorrecta, subrayando la necesidad del ajuste propuesto.
• El método logra adaptarse a la asimetría de las estimaciones de los efectos, proporcionando inferencias predictivas más precisas que las alternativas simétricas.
• Aunque el método muestra un desempeño comparable al bootstrap paramétrico en cuanto a calibración y agudeza, proporciona un marco frecuentista distinto basado en distribuciones de confianza.
• Los autores reconocen que se necesita una evaluación independiente adicional, particularmente a través de diferentes escalas de efecto y distribuciones, y señalan que el método está actualmente restringido a modelos de efectos aleatorios unimodales y normales. Sugieren que futuras extensiones podrían incorporar distribuciones de efectos más flexibles (por ejemplo, skew-normal) y pesos específicos de cada estudio para penalizar estudios sesgados.