The dangers of using three-number summaries to estimate unknown standard deviations: sensitivity analyses and some possible improvements incorporating shape

Resumen Técnico: Los peligros de utilizar resúmenes de tres números para estimar desviaciones típicas desconocidas

Planteamiento del problema
En los metanálisis, los investigadores se encuentran frecuentemente con estudios que informan datos continuos mediante resúmenes de cuantiles (medianas, cuartiles, rangos) en lugar de medias y desviaciones típicas (DT). Aunque existen métodos para convertir resúmenes de cinco números (mínimo, $Q_1$, mediana, $Q_3$, máximo) en medias y DT, la conversión de resúmenes de tres números (por ejemplo, mediana e rango intercuartílico, o mediana y rango) sigue siendo problemática. Los autores argumentan que los resúmenes de tres números carecen de información suficiente para estimar de forma fiable la DT desconocida, ya que no restringen la forma de los datos subyacentes. En consecuencia, asumir una distribución específica (típicamente la normalidad) para derivar una DT puede conducir a errores de estimación graves, invalidando potencialmente inferencias estadísticas posteriores como las pruebas t o los cálculos de la $d$ de Cohen.

Metodología
El artículo emplea una combinación de análisis teórico, estudios de simulación y estudios de casos con datos reales para evaluar los métodos existentes y propuestos.

1. Revisión de métodos existentes: Los autores analizan técnicas de conversión populares, incluyendo:

   • Wan et al. (2014) y Luo et al. (2018): Estimadores de forma cerrada que asumen normalidad y simetría subyacentes.
   • Estimación de Cuantiles (QE) (McGrath et al., 2020a): Un método que ajusta distribuciones paramétricas (Normal, Lognormal, Gamma, Weibull, Beta) minimizando la suma de los errores cuadráticos (SSE) entre los cuantiles observados y teóricos.
   • Transformación Box-Cox (BC): Un método que intenta simetrizar los datos mediante una transformación de potencia antes de aplicar estimadores basados en la normalidad.

2. Marco de análisis de sensibilidad: Motivado por las limitaciones de la selección de un único método, los autores proponen un análisis de sensibilidad de tipo bondad de ajuste. Esto implica:

   • Ajustar múltiples distribuciones candidatas al resumen de tres números.
   • Calcular los SSE y realizar un bootstrap paramétrico para generar valores p ($\hat{p}_B$).
   • Utilizar estas métricas para descartar distribuciones implausibles e informar un rango de estimaciones de DT plausibles en lugar de una única estimación puntual.

3. Mejora propuesta (QE-beta): Para abordar escenarios donde se conocen los límites de la población (mínimo $L$ y/o máximo $U$) (por ejemplo, límites de edad, puntuaciones de cuestionarios), los autores introducen un nuevo estimador basado en la distribución Beta Escalada (SB).

   • La distribución SB se define en $[L, U]$ y ofrece una alta flexibilidad en su forma (uniforme, sesgada, en forma de U, en forma de J).
   • El método estima los parámetros de forma de la Beta ($\alpha, \beta$) igualando el resumen de tres números (o cuatro números si solo se conoce $L$) con los cuantiles teóricos de la distribución SB.

4. Diseño de la simulación:

   • Datos generados: Las simulaciones probaron diversas distribuciones SB (uniforme, en forma de U, sesgada, en forma de J) con $L$ y $U$ conocidos frente a métodos existentes que tratan estos límites de población como extremos muestrales.
   • Datos reales: Se realizaron simulaciones utilizando el conjunto de datos de depresión PHQ-9 (con límites de 0–27) para evaluar el rendimiento bajo condiciones realistas.

Resultados clave

• Sensibilidad a la forma: Incluso para distribuciones simétricas (por ejemplo, Uniforme, Beta), asumir la normalidad para estimar la DT a partir de resúmenes de tres números resulta en errores relativos grandes (que oscilan entre -35% y +50%). Para distribuciones sesgadas, los errores suelen ser más severos.
• Fallo de la simetrización: La transformación Box-Cox puede lograr la simetría, pero no garantiza la normalidad. Por ejemplo, transformar datos de Pareto produce una distribución uniforme, lo que conduce a errores significativos en la estimación de la DT si se asume la normalidad tras la transformación.
• Impacto en la inferencia: El artículo demuestra que la subestimación de la DT (un resultado común al asumir normalidad para datos no normales) reduce artificialmente los errores estándar, lo que provoca la inflación de la significación estadística (errores de Tipo I) e intervalos de confianza engañosos.
• Rendimiento de QE-beta:
  • Cuando se conocen los límites de la población ($L, U$), el método QE-beta supera consistentemente a los métodos existentes de resumen de cinco números (Wan, Shi, QE, BC) que tratan estos límites como extremos muestrales.
  • Los métodos existentes suelen sobreestimar la DT para distribuciones sesgadas cuando se utilizan los límites de población como extremos muestrales, mientras que QE-beta se mantiene estable.
  • Incluso cuando solo se conoce un límite inferior ($L$) (resumen de cuatro números), QE-beta proporciona estimaciones más precisas que los métodos estándar de tres números.

Significancia y recomendaciones
El artículo concluye que estimar las DT a partir de resúmenes de tres números es intrínsecamente arriesgado debido a la imposibilidad de verificar los supuestos distribucionales. Los autores no pretenden que exista un único "mejor" estimador para todos los casos, sino que abogan por un cambio en la práctica:

1. Evitar la conversión de DT si es posible: Para los metanálisis, los autores recomiendan meta-analizar las medianas directamente utilizando los métodos existentes en lugar de convertirlas a medias/DT.
2. Análisis de sensibilidad obligatorio: Si la estimación de la DT es necesaria, los investigadores deben realizar análisis de sensibilidad a través de múltiples formas distribucionales. Deben informar el rango de DT plausibles y discutir cómo esta variación impacta en las inferencias posteriores.
3. Utilizar los límites de la población: Cuando existen límites de población conocidos (edad, puntuaciones de tests), los investigadores deben utilizar el enfoque QE-beta, que aprovecha estos límites para restringir la forma de la distribución, mejorando significativamente la precisión de la estimación.
4. Disponibilidad de herramientas: Se proporciona una aplicación web Shiny para facilitar estos análisis de sensibilidad, permitiendo a los investigadores introducir resúmenes de tres números y explorar la distribución resultante de las estimaciones de DT a través de varios modelos.

Los autores enfatizan que su trabajo destaca los peligros de las prácticas actuales y proporciona un marco para una mayor transparencia y rigor, en lugar de ofrecer una solución definitiva que elimine toda la incertidumbre de la estimación.