The dangers of using three-number summaries to estimate unknown standard deviations: sensitivity analyses and some possible improvements incorporating shape

Resumo Técnico: Os Perigos de Usar Resumos de Três Números para Estimar o Desvio Padrão Desconhecido

Definição do Problema
Em meta-análises, pesquisadores frequentemente encontram estudos que relatam dados contínuos via resumos de quantis (medianas, quartis, intervalos) em vez de médias e desvios padrão (DP). Embora existam métodos para converter resumos de cinco números (mínimo, $Q_1$, mediana, $Q_3$, máximo) em médias e DPs, a conversão de resumos de três números (por exemplo, mediana e intervalo interquartílico, ou mediana e amplitude) permanece problemática. Os autores argumentam que os resumos de três números carecem de informações suficientes para estimar de forma confiável o DP desconhecido, pois não restringem a forma dos dados subjacentes. Consequentemente, assumir uma distribuição específica (tipicamente a normalidade) para derivar um DP pode levar a erros de estimativa severos, potencialmente invalidando inferências estatísticas subsequentes, como testes t ou cálculos de $d$ de Cohen.

Metodologia
O artigo emprega uma combinação de análise teórica, estudos de simulação e estudos de caso com dados reais para avaliar métodos existentes e propostos.

1. Revisão de Métodos Existentes: Os autores analisam técnicas de conversão populares, incluindo:

   • Wan et al. (2014) e Luo et al. (2018): Estimadores de forma fechada que assumem normalidade e simetria subjacentes.
   • Estimativa de Quantil (QE) (McGrath et al., 2020a): Um método que ajusta distribuições paramétricas (Normal, Lognormal, Gamma, Weibull, Beta) minimizando a soma dos quadrados dos erros (SSE) entre os quantis observados e teóricos.
   • Transformação de Box-Cox (BC): Um método que tenta simetrizar os dados via transformação de potência antes de aplicar estimadores baseados na normalidade.

2. Estrutura de Análise de Sensibilidade: Motivados pelas limitações da seleção de um método único, os autores propõem uma análise de sensibilidade do tipo ajuste de bondade (goodness-of-fit). Isso envolve:

   • Ajustar múltiplas distribuições candidatas ao resumo de três números.
   • Calcular SSEs e realizar um bootstrap paramétrico para gerar p-valores ($\hat{p}_B$).
   • Usar essas métricas para descartar distribuições implausíveis e relatar uma gama de estimativas de DP plausíveis, em vez de uma única estimativa pontual.

3. Melhoria Proposta (QE-beta): Para abordar cenários onde os limites populacionais (mínimo $L$ e/ou máximo $U$) são conhecidos (ex: limites de idade, pontuações de questionários), os autores introduzem um novo estimador baseado na distribuição Beta Escalonada (SB).

   • A distribuição SB é definida em $[L, U]$ e oferece alta flexibilidade de forma (uniforme, assimétrica, em forma de U, em forma de J).
   • O método estima os parâmetros de forma Beta ($\alpha, \beta$) combinando o resumo de três números (ou quatro números, se apenas $L$ for conhecido) com os quantis teóricos da distribuição SB.

4. Design de Simulação:

   • Dados Gerados: As simulações testaram várias distribuições SB (uniforme, em forma de U, assimétrica, em forma de J) com $L$ e $U$ conhecidos contra métodos existentes que tratam esses limites populacionais como extremos da amostra.
   • Dados Reais: Simulações foram conduzidas com o conjunto de dados de depressão PHQ-9 (limitado de 0 a 27) para avaliar o desempenho sob condições realistas.

Principais Resultados

• Sensibilidade à Forma: Mesmo para distribuições simétricas (ex: Uniforme, Beta), assumir a normalidade para estimar o DP a partir de resumos de três números resulta em grandes erros relativos (variando de -35% a +50%). Para distribuições assimétricas, os erros são frequentemente mais severos.
• Falha da Simetrização: A transformação de Box-Cox pode alcançar a simetria, mas não garante a normalidade. Por exemplo, transformar dados de Pareto resulta em uma distribuição uniforme, levando a erros significativos de estimativa de DP se a normalidade for assumida pós-transformação.
• Impacto na Inferência: O artigo demonstra que a subestimativa do DP (um resultado comum ao assumir normalidade para dados não normais) reduz artificialmente os erros padrão, levando a erros do Tipo I inflacionados e intervalos de confiança enganosos.
• Desempenho do QE-beta:
  • Quando os limites populacionais ($L, U$) são conhecidos, o método QE-beta supera consistentemente os métodos de cinco números existentes (Wan, Shi, QE, BC) que tratam esses limites como extremos da amostra.
  • Métodos existentes frequentemente superestimam o DP para distribuições assimétricas quando os limites populacionais são usados como extremos da amostra, enquanto o QE-beta permanece estável.
  • Mesmo quando apenas um limite inferior ($L$) é conhecido (resumo de quatro números), o QE-beta fornece estimativas mais precisas do que os métodos padrão de três números.

Significância e Recomendações
O artigo conclui que estimar DPs a partir de resumos de três números é inerentemente arriscado devido à incapacidade de verificar as suposições distributivas. Os autores não afirmam que existe um único "melhor" estimador para todos os casos, mas sim defendem uma mudança de prática:

1. Evite a Conversão de DP Sempre que Possível: Para meta-análises, os autores recomendam meta-analisar medianas diretamente usando métodos existentes, em vez de converter para médias/DP.
2. Análise de Sensibilidade Obrigatória: Se a estimativa de DP for necessária, os pesquisadores devem realizar análises de sensibilidade através de múltiplas formas distributivas. Eles devem relatar a gama de DPs plausíveis e discutir como essa variação impacta as inferências subsequentes.
3. Utilize Limites Populacionais: Quando existem limites populacionais conhecidos (ex: idade, pontuações de testes), os pesquisadores devem usar a abordagem QE-beta proposta, que utiliza esses limites para restringir a forma da distribuição, melhorando significativamente a precisão da estimativa.
4. Disponibilidade de Ferramentas: Um aplicativo web Shiny é fornecido para facilitar essas análises de sensibilidade, permitendo que os pesquisadores insiram resumos de três números e explorem a distribuição resultante das estimativas de DP através de vários modelos.

Os autores enfatizam que seu trabalho destaca os perigos das práticas atuais e fornece um framework para maior transparência e rigor, em vez de oferecer uma solução definitiva que elimine toda a incerteza da estimativa.