Real-world performance of large-scale propensity score adjustment strategies: Matching, weighting, and stratification

Resumo Técnico: Desempenho no mundo real de estratégias de ajuste de escore de propensão em larga escala

Definição do Problema
Estudos observacionais utilizam cada vez mais dados de larga escala (milhões de pacientes, dezenas de milhares de covariáveis) para estimar efeitos de tratamento, frequentemente empregando modelos de Escore de Propensão de Larga Escala (LSPS). Embora se tenha demonstrado que os modelos LSPS melhoram o equilíbrio das covariáveis e o ajuste do modelo por meio de regressão regularizada, há uma notável falta de evidências empíricas sobre como diferentes estratégias de ajuste de escore de propensão (PS) desempenham nesses contextos de larga escala e do mundo real. Especificamente, permanece incerto se a inclusão de um número massivo de covariáveis altera a escolha ideal entre as estratégias de ajuste comuns: pareamento (matching), estratificação e ponderação pelo inverso da probabilidade de tratamento (IPTW). Benchmarks anteriores produziram resultados conflitantes, com alguns sugerindo que o IPTW apresenta desempenho inferior ao pareamento, enquanto outros favorecem o IPTW para o controle de viés.

Metodologia
Os autores conduziram o "Survey of Propensity-score Adjustment Routes for Treatment-effect Analyses" (SPARTA), uma avaliação empírica sistemática e de larga escala utilizando dados do mundo real de quatro bases de dados de saúde nacionais federadas (abrangendo mais de 11 milhões de pacientes).

• Desenho do Estudo: Foi empregado um desenho de coorte de novo usuário comparativo, focando em monoterapias de primeira linha para hipertensão. O estudo avaliou 12 comparações de tratamentos distintas (ao nível de droga e de classe) contra 160 desfechos de controle negativo (onde o efeito do tratamento é conhecido por ser zero) e 3 controles positivos sintéticos por controle negativo.
• Modelagem de PS: Modelos LSPS foram ajustados usando regressão logística com regularização $\ell_1$ com aproximadamente 12.000 covariáveis por modelo, cobrindo demografia, histórico médico, exposições a drogas e utilização de cuidados de saúde. Variáveis instrumentais foram rastreadas e removidas com base na correlação univariada com o tratamento.
• Estratégias de Ajuste Avaliadas:
  • Pareamento (Matching): Razões fixas (1:1, 1:5, 1:25) e pareamento de razão variável (VR) com um caliper de 0,2 desvio padrão.
  • Estratificação: Agrupamento de pacientes em 5 e 25 estratos.
  • IPTW: Três variantes foram testadas:
    1. IPTW (Crump): Poda (trimming) dos 10% superiores e inferiores da distribuição de PS, independentemente da atribuição de tratamento.
    2. IPTW (Stürmer): Um método de duas etapas que remove regiões não sobrepostas e, em seguida, poda os pacientes mais controversos.
    3. Overlap Weighting (Ponderação de Sobreposição): Aumento do peso de pacientes na região de maior sobreposição de PS.
• Métricas de Avaliação: O desempenho foi avaliado através de Erro do Tipo-I (taxa de falso positivo), Erro do Tipo-II (taxa de falso negativo), precisão média, erro quadrático médio (MSE) e a diferença média absoluta padronizada (SMD) máxima para o equilíbrio das covariáveis.
• Calibração: Um procedimento de calibração empírica foi aplicado a todas as estimativas para ajustar os p-valores e intervalos de confiança com base na distribuição observada dos efeitos de controle negativo, visando capturar tanto o erro aleatório quanto o sistemático.

Principais Resultados

• Equilíbrio e Viés: Em todas as especificações de modelo, o IPTW com poda de Crump e o pareamento 1:1 alcançaram consistentemente o equilíbrio de covariáveis mais forte (SMD < 0,1) e as menores taxas de Erro do Tipo-I. O IPTW (Stürmer) apresentou um desempenho ruim em todas as métricas, exibindo a maior taxa de Erro do Tipo-I e falhando em alcançar um equilíbrio adequado. A estratificação mostrou resultados mistos, às vezes alcançando equilíbrio, mas frequentemente ao custo de um maior Erro do Tipo-I.
• Precisão e MSE: Embora vários métodos tenham alcançado equilíbrio semelhante, o pareamento 1:1 demonstrou a maior precisão e o menor MSE em muitos cenários. Curiosamente, o aumento das razões de pareamento (ex: 1:25 ou razão variável) não melhorou consistentemente a precisão e, por vezes, introduziu variância, provavelmente devido ao pareamento de pacientes menos similares e ao custo estatístico de modelos de desfecho condicional.
• Impacto da Calibração: A calibração empírica reduziu significamente as diferenças de desempenho entre as estratégias. Após a calibração, as taxas de Erro do Tipo-I e Tipo-II, a precisão e as métricas de equilíbrio convergiram para a maioria dos métodos, sugerindo que a calibração pode mitigar a sensibilidade dos resultados à escolha específica da estratégia de ajuste.
• Variabilidade da Base de Dados: O desempenho variou ligeiramente conforme o tamanho e a composição da base de dados. Por exemplo, razões de pareamento maiores (1:25) ocasionalmente superaram o pareamento 1:1 em bases de dados específicas de grande porte (MDCR, Optum EHR), mas o pareamento 1:1 permaneceu como um padrão robusto.

Principais Contribuições

1. Benchmarking Empírico: O estudo fornece a primeira comparação sistemática e de larga escala de estratégias de ajuste de PS (pareamento, estratificação e múltiplas variantes de IPTW) utilizando dados do mundo real com modelos LSPS em quatro grandes bases de dados de saúde.
2. Diferenciação de Variantes de IPTW: O artigo esclarece que nem todos os métodos de IPTW são iguais; identifica o Crump trimming e o overlap weighting como altamente eficazes, enquanto demonstra que o Stürmer trimming é suboptimal em configurações de larga escala devido à remoção da região de sobreposição de PS.
3. Validação da Calibração: O trabalho valida empiricamente que a calibração empírica padroniza efetivamente o desempenho entre diferentes estratégias de ajuste, reduzindo a sensibilidade das estimativas de efeito de tratamento à escolha específica do modelo de PS.
4. Diretrizes Práticas: Os autores fornecem recomendações baseadas em dados para pesquisadores, desafiando a noção de que uma única estratégia é universalmente superior.

Significância e Alegações
O artigo afirma que, embora nenhuma estratégia domine todos os cenários, o IPTW com poda de Crump e o pareamento 1:1 servem como fortes escolhas padrão para o ajuste de PS em larga escala, oferecendo um equilíbrio favorável entre controle de viés e precisão. Os autores enfatizam que os pesquisadores não devem confiar em um único método, mas sim incorporar as estratégias de melhor desempenho como análises de sensibilidade. Além disso, o estudo defende fortemente o uso rotineiro da calibração empírica para reduzir o impacto da escolha do modelo nas conclusões do estudo. Os achados sugerem que a escolha da estratégia de ajuste deve ser guiada pelo contexto específico do estudo, validada através de diagnósticos de equilíbrio de covariáveis, e que a inclusão de muitas covariáveis não impede a eficácia das técnicas de ajuste padrão quando devidamente implementadas.