Weighted Extensions of the Kolmogorov-Smirnov, Cramer-von Mises, and Anderson-Darling Tests for Assessing Covariate Balance

Resumo Técnico: Extensões Ponderadas de Testes de Bondade de Ajuste Distribucional para Equilíbrio de Covariáveis

Definição do Problema
A avaliação do equilíbrio de covariáveis é uma etapa diagnóstica fundamental na inferência causal, necessária para sustentar a premissa de que características não medidas não confundem significativamente os efeitos estimados do tratamento. Embora o equilíbrio seja frequentemente alcançado por meio de ajustes post-hoc como ponderação por escore de propensão, balanceamento de entropia ou estratificação, as práticas diagnósticas atuais dependem fortemente de medidas de resumo, como a diferença média padronizada (SMD) e razões de variância. Essas estatísticas de resumo possuem uma limitação crítica: elas visam apenas pontos específicos da distribuição de uma covariável (por exemplo, a média ou a variância) e são inerentemente incapazes de detectar diferenças distribucionais em assimetria, localização de massa ou comportamento de cauda que não afetem esses momentos específicos.

Testes de bondade de ajuste baseados na distribuição cumulativa empírica (ECDF) — especificamente os testes de Kolmogorov–Smirnov (KS), Cramér–von Mises (CVM) e Anderson–Darling (AD) — oferecem uma alternativa mais abrangente ao comparar distribuições inteiras. No entanto, até este trabalho, esses testes estavam disponíveis apenas para dados não ponderados. Essa lacuna impedia sua aplicação justamente nos cenários onde o equilíbrio distribucional é mais crítico: análises ponderadas destinadas a igualar grupos tratados e de comparação.

Metodologia
O artigo estende os testes KS, CVM e AD para acomodar pesos de casos de qualquer origem. A inovação metodológica central é um procedimento de inferência por permutação de rótulos unificado que trata o peso de uma observação como um atributo fixo, em vez de uma quantidade vinculada a um mecanismo de estimação específico. Essa abordagem não requer suposições sobre como os pesos foram gerados, permitindo que os testes sejam aplicados a qualquer esquema de ponderação (por exemplo, ponderação pela razão inversa da probabilidade de tratamento, balanceamento de entropia) sem modificações.

As estatísticas ponderadas são definidas da seguinte forma:

• KS Ponderado ($D^w$): A distância vertical absoluta máxima entre as ECDFs ponderadas dos dois grupos.
• CVM Ponderado ($CVM^w$): A soma dos quadrados das discrepâncias entre as ECDFs ponderadas em valores distintos, sem padronização de variância.
• AD Ponderado ($AD^w$): A soma dos quadrados das discrepâncias padronizadas pela variância sob a hipótese nula. Crucialmente, o tamanho da amostra $N$ no termo de variância é substituído pelo tamanho de amostra efetivo de Kish ($n_e$) para contabilizar o conteúdo de informação da amostra ponderada. O multiplicador de empates permanece a contagem bruta de observações que compartilham um valor.

A inferência é conduzida via permutação de rótulos: os rótulos dos grupos são embaralhados aleatoriamente entre $N$ observações enquanto o valor e o peso de cada observação permanecem fixos. O $p$-valor é derivado da proporção de estatísticas permutadas que excedem a estatística observada.

Desenho do Estudo de Simulação
Um estudo de simulação foi conduzido para avaliar se as vantagens comparativas conhecidas dos testes não ponderados persistem sob ponderação. Quatro cenários foram construídos:

1. Nulo: Sem discrepância (para avaliar o Erro do Tipo I).
2. Discrepância Localizada Centralmente: Um deslocamento confinado ao intervalo interquartil.
3. Discrepância Localizada na Cauda: Um deslocamento confinado às extremidades (caudas).
4. Discrepância Difusa: Um deslocamento uniforme por toda a distribuição.

O estudo variou os tamanhos de amostra ($n = 1.000$ a $4.000$) e a variabilidade dos pesos (razão de tamanho de amostra efetivo de Kish alvo $r_e = 0,6$, com verificações de sensibilidade de $0,2$a$0,9$).

Principais Resultados

1. Controle do Erro do Tipo I: Em todos os tamanhos de amostra e sob substancial variabilidade de pesos, todos os três testes ponderados controlaram o Erro do Tipo I próximo ao nível nominal de 5%. Isso confirma que o procedimento compartilhado de permutação de rótulos calibra efetivamente a distribuição nula sem exigir suposições sobre a geração dos pesos.
2. Discrepância Localizada Centralmente: O teste KS demonstrou o maior poder, superando significativamente tanto o AD quanto o CVM. Isso se alinha à expectativa teórica de que o KS é mais sensível a uma única divergência localizada de grande magnitude.
3. Discrepância Localizada na Cauda: O teste AD foi esmagadoramente o mais poderoso, superando significativamente tanto o KS quanto o CVM. O KS e o CVM permaneceram próximos de suas taxas de Erro do Tipo I, falhando em detectar a discrepância na cauda. Isso confirma a sensibilidade do AD a desvios de cauda devido ao seu termo de padronização de variância.
4. Discrepância Difusa: Tanto o AD quanto o CVM apresentaram desempenho comparável e superaram significativamente o KS. Contrário à expectativa teórica de que o CVM seria unicamente superior em discrepâncias difusas, o AD manteve uma vantagem modesta, mas estatisticamente significativa, sobre o CVM em amostras de tamanho moderado a grande.
5. Sensibilidade à Variabilidade de Pesos: A ordenação comparativa dos testes permaneceu estável através de uma ampla gama de variabilidade de pesos ($r_e$ de $0,2$a$0,9$). Na variabilidade mais extrema ($r_e = 0,2$), todos os três testes mostraram um desvio ascendente modesto no Erro do Tipo I (aprox. 6,4–6,7%), embora as classificações de desempenho relativo tenham permanecido consistentes.

Exemplo Aplicado
Os métodos foram aplicados a uma avaliação quase-experimental de uma intervenção de coaching de saúde utilizando pesos de razão inversa da probabilidade de tratamento. A avaliação do equilíbrio do Índice de Massa Corporal (IMC) revelou conclusões divergentes: o teste AD detectou uma discrepância residual significativa ($p = ,018$), enquanto o CVM foi sugestivo ($p = ,079$) e o KS não foi significativo ($p = ,123$). A inspeção visual das ECDFs ponderadas mostrou uma divergência gradual e persistente através de uma gama de valores de IMC, em vez de uma única lacuna aguda, ilustrando por que o AD (sensível a deslocamentos de toda a distribuição) detectou o desequilíbrio enquanto o KS não o fez.

Significância e Alegações
O artigo apresenta duas contribuições primárias:

1. Extensão Metodológica: Fornece as primeiras generalizações ponderadas dos testes KS, CVM e AD, tornando-os disponíveis para a avaliação rotineira de equilíbrio de covariáveis em estudos de inferência causal ponderados.
2. Estrutura de Inferência: Estabelece um procedimento de inferência por permutação de rótulos único e livre de suposições, aplicável a qualquer esquema de ponderação.

Os autores concluem que as vantagens comparativas conhecidas desses testes não ponderados são preservadas sob ponderação. Consequentemente, eles recomendam o Anderson–Darling como um padrão geral razoável para a avaliação rotineira de equilíbrio de covariáveis, pois desempenha de forma robusta em diversos tipos de discrepância e é esmagadoramente superior para discrepâncias localizadas na cauda (uma preocupação comum em ponderação por escore de propensão). No entanto, observam que o Kolmogorov–Smirnov retém uma vantagem distinta se um desequilíbrio concentrado centralmente for especificamente suspeitado. O artigo sugere que relatar múltiplos testes (por exemplo, tanto AD quanto KS) é uma estratégia prudente para se proteger contra os pontos cegos de qualquer estatística individual.

Os autores mantêm a modéstia quanto ao escopo de seus achados, observando que as simulações utilizaram uma distribuição base normal e que a ordenação comparativa para discrepâncias difusas (onde AD e CVM foram comparáveis) justifica investigações adicionais sobre os mecanismos subjacentes. Eles não alegam ter provado a validade desses testes sob todos os possíveis esquemas de ponderação ou formas de distribuição, mas demonstram consistência sob as condições específicas simuladas.