Cohen's f or Mean Standardized Differences? Assessing Covariate Balance with Multivalued Treatments

Resumo Técnico: Avaliação do Equilíbrio de Covariáveis com Tratamentos Multivalorados

Definição do Problema
Em pesquisas de efetividade comparativa envolvendo tratamentos multivalorados ($k \ge 3$ grupos), não existe um padrão ômnibus estabelecido para avaliar o equilíbrio de covariáveis. A prática prevalente envolve o cálculo de diferenças médias padronizadas (SMD) pareadas para todas as combinações de grupos e o relato de seus valores médios ou máximos. Embora eficaz para a seleção de modelos, essa agregação carece de um vínculo teórico direto com o $d$ de Cohen (o padrão para comparações de dois grupos) e não oferece uma forma fundamentada de estender o limiar estabelecido de "desequilíbrio negligenciável" (ex: $|SMD| < 0,1$) para $k > 2$ grupos. Além disso, essas métricas agregadas de SMD não foram formalmente comparadas contra alternativas de generalização de tamanho de efeito, como o $f$ de Cohen, quanto à sua capacidade de prever o viés de estimativa do efeito do tratamento.

Metodologia
O artigo propõe e avalia o $f$ de Cohen como uma estatística de equilíbrio ômnibus para tratamentos multivalorados, estendendo-o para modelos arbitrários ponderados e ajustados por covariáveis.

1. Estrutura Estatística:

   • $f$ de Cohen: Definido como a raiz quadrática média ponderada do desvio padronizado de cada grupo em relação à média combinada: $f = \sqrt{\sum w_j d_j^2}$, onde $w_j$ são os pesos dos grupos e $d_j$ são os desvios padronizados.
   • Implementação: O autor estende o cálculo de $f$ além da ANOVA de uma via simples para modelos ajustados (ex: ponderação por escore de propensão generalizado) usando o comando esizereg do Stata. Isso permite que $f$ seja derivado de margens preditivas ajustadas em vez de médias amostrais brutas, garantindo a validade sob ajuste de covariáveis e ponderação.
   • Decomposição: O método fornece uma decomposição por nível ($d_j$) e comparações pareadas ($d_{jj'}$) para identificar fontes específicas de desequilíbrio.
   • Relação Teórica: O autor deriva uma relação matemática exata mostrando que $f$ é uma função quadrática de tamanho ponderado das SMDs pareadas, enquanto o valor absoluto médio da SMD ($|d|$) é uma média linear não ponderada. Eles provam que, sob pesos de grupo iguais, a razão $f/|d|$ possui um valor mínimo específico determinado por $k$ e pelo espaçamento das médias dos grupos.

2. Estudo de Simulação:

   • Desenho: Um estudo de simulação foi conduzido com $k \in \{3, 4, 6\}$ grupos de tratamento e tamanhos amostrais $N \in \{200, 500, 2000, 10000\}$.
   • Condições: Os dados foram gerados sob variando forças de confusão ($\gamma$) e cenários de equilíbrio (igual vs. desigual). Os escores de propensão foram estimados sob modelos corretamente especificados e mal especificados (omitindo um termo de interação).
   • Validação: O desempenho do $f$ de Cohen foi comparado contra a média absoluta da SMD ($|d|$) e o máximo da SMD absoluta ($|d|_{max}$) correlacionando essas estatísticas com o viés real das estimativas de efeito do tratamento subsequentes.
   • Robustez: Um cenário secundário testou um modelo de desfecho não linear/interação para garantir que os achados não fossem artefatos de uma estrutura de desfecho linear.

Principais Resultados

1. Rastreamento de Viés: O $f$ de Cohen rastreia o viés de estimativa subsequente de forma comparável à média absoluta da SMD ($|d|$). Na análise agrupada, a correlação entre $f$ e o viés foi $r = 0,93$, quase idêntica a $|d|$ ($r = 0,94$). Ambos superaram o máximo da SMD absoluta ($|d|_{max}$), que apresentou a correlação mais fraca ($r \approx 0,92$). Essa classificação mante-se constante em braços corretamente especificados, mal especificados e não ponderados, bem como no cenário de desfecho não linear.
2. Discrepância de Escala: $f$ e $|d|$ não são numericamente comparáveis. A razão $f/|d|$ é sistematicamente inferior a 1 e depende do número de grupos ($k$) e do equilíbrio do tamanho dos grupos. Por exemplo, para $k=3$, a razão é de aproximadamente 0,63, subindo para 0,77 em $k=6$. Consequentemente, os limiares convencionais de SMD (ex: 0,1) não podem ser aplicados diretamente ao $f$.
3. Sensibilidade à Ponderação: A relação entre $f$ e $|d|$ é influenciada pelos tamanhos dos grupos. Como o $f$ pondera os desvios pelo tamanho do grupo ($w_j$), o desequilíbrio em grupos grandes contribui mais para a estatística ômnibus do que o desequilíbrio em grupos pequenos. Inversamente, o $|d|$ trata todos os pares igualmente.
4. Robustez: O desempenho comparativo de $f$ e $|d|$ permaneceu estável mesmo quando o modelo de desfecho incluiu termos não lineares e interações não capturadas por diagnósticos de equilíbrio de primeiro momento.

Significância e Recomendações
O artigo conclui que o $f$ de Cohen é uma estatística ômnibus teoricamente fundamentada e válida para avaliar o equilíbrio de covariáveis em tratamentos multivalorados, oferecendo uma generalização direta do framework de $d$ de dois grupos.

• Padrões de Relato: O autor recomenda relatar o $f$ juntamente com suas decomposições pareadas e por nível. Confiar apenas no $f$ ômnibus pode mascarar um desequilíbrio severo em pares específicos, particularmente se esse desequilíbrio ocorrer em grupos menores, onde a ponderação de tamanho do $f$ amortece sua contribuição.
• Limiares: Pesquisadores não devem aplicar diretamente os limiares de SMD padrão (ex: 0,1) ao $f$. Como a escala difere sistematicamente, os investigadores devem derivar seus próprios limiares de equilíbrio baseados na relação específica entre o $f$ e o viés em seu desenho de estudo, em vez de importar limiares calibrados para SMDs pareadas.
• Escolha do Diagnóstico: Embora o $f$ e o $|d|$ desempenhem funções semelhantes no rastreamento do viés, eles oferecem perspectivas diferentes. O $f$ é sensível ao padrão geral de desequilíbrio ponderado pelo tamanho do grupo, enquanto o $|d|$ fornece uma média não ponderada. O $|d|_{max}$ é o menos confiável para rastrear o viés geral devido à maior variância amostral, embora permaneça o detector mais direto de um único par de pior caso.

O estudo enfatiza que, embora o $f$ forneça um resumo unificado baseado em tamanho de efeito para o equilíbrio, a escolha do diagnóstico deve ser transparente, e a importância substantiva dos contrastes de tratamento (ex: braços de tratamento raros) deve guiar se métricas ponderadas pelo tamanho ou não ponderadas devem ser priorizadas.