Maximum-of-Differences Test for Comparing Multivariate K-Sample Distributions

Resumo Técnico: Teste de Máxima Diferença para Comparação de Distribuições Multivariadas de K Amostras

1. O Problema

A comparação de distribuições entre $K$ amostras é um problema fundamental na ciência de dados, com aplicações em bioinformática, economia, finanças e aprendizado de máquina. Exemplos incluem a avaliação de similaridade entre dados de origem e destino em transfer learning, a fusão de bancos de dados com distribuições similares e a análise de efeitos de tratamentos em políticas econômicas.

Embora existam métodos tradicionais, eles apresentam limitações significativas:

• Testes do tipo Hotelling: Assumem normalidade multivariada e focam na igualdade de médias ou covariâncias, não sendo adequados para testar a igualdade de distribuições completas.
• Testes Não Paramétricos Clássicos (ex: Kolmogorov-Smirnov): Frequentemente não performam bem com dados multivariados de alta dimensão.
• Métodos Baseados em Grafos (ex: MST): Embora poderosos, muitos são limitados a $K=2$ ou sofrem com instabilidade computacional e perda de poder em dimensões muito altas ou quando $K > 2$.

Além disso, há uma lacuna na literatura para métodos que lidem simultaneamente com dados multivariados de alta dimensão (onde a dimensão $p$ pode ser maior que o tamanho da amostra $n$), $K \ge 2$ amostras e a presença de covariáveis (cenários de regressão).

2. Metodologia Proposta

Os autores propõem uma abordagem baseada em Máxima Diferença (Maximum-of-Differences - MOD), composta por três etapas principais:

1. Definição de Conexão: Calculam-se as distâncias pareadas entre todas as observações das $K$ amostras combinadas (pooled). Duas observações $i$ e $j$ são definidas como "conectadas" se a distância entre elas $\|X_i - X_j\|$ for menor que um limiar pré-especificado $\tau$.
2. Cálculo de Probabilidades "Within" e "Between": Para cada observação $i$, calculam-se duas probabilidades:
   • $p_{in}$: Probabilidade de estar conectada a outras observações da mesma amostra.
   • $p_{bet}$: Probabilidade de estar conectada a observações de outras amostras.
     Sob a hipótese nula ($H_0$: todas as distribuições são iguais), espera-se que $p_{in} \approx p_{bet}$. Sob a hipótese alternativa, essas probabilidades diferem.
3. Estatística de Teste MOD: Constrói-se a estatística $T_\tau$ maximizando o quadrado da diferença padronizada entre $p_{in}$ e $p_{bet}$ sobre todas as observações:
   $$T_\tau = \max_{1 \le i \le n} \frac{(\hat{p}_{bet, i} - \hat{p}_{in, i})^2}{\text{Var}(\hat{p}_{bet, i} - \hat{p}_{in, i})}$$

Versão CA-MOD (Covariance-Adjusted):
Devido à complexa estrutura de correlação entre as estatísticas $T_{i,\tau}$, a distribuição assintótica do teste MOD original não possui forma analítica fechada (converge para o máximo de somas ponderadas de normais e distribuição de valor extremo). Para contornar isso, os autores propõem o CA-MOD, que ajusta a estrutura de covariância antes da maximização:
$$T^{adj}_\tau = \max_{1 \le i \le n} (\hat{\Sigma}^{-1/2} \mathbf{T}_\tau)_i^2$$
Após o ajuste, os elementos tornam-se fracamente correlacionados, permitindo que a estatística convirja para uma Distribuição de Valor Extremo Tipo I, facilitando a obtenção de valores críticos.

Seleção do Parâmetro $\tau$:
A análise teórica sugere que o poder do teste é maximizado quando $\tau$ é escolhido como a mediana das distâncias pareadas $\|X_i - X_j\|$.

Extensão para Regressão:
O método é estendido para modelos de regressão multivariada $X^{(k)}_i = \beta^{(k)}W^{(k)}_i + \epsilon^{(k)}_i$. O teste é aplicado aos resíduos $\hat{\epsilon}$ para verificar se as distribuições dos erros são iguais entre os grupos, ajustando-se para as covariáveis.

3. Principais Contribuições Teóricas

• Generalidade: O método é aplicável a dados multivariados com $K \ge 2$ amostras, tanto em dimensões fixas quanto de alta dimensão ($p \gg n$).
• Distribuições Assintóticas:
  • Sob $H_0$, o teste MOD converge para o máximo de somas ponderadas de normais e distribuição de valor extremo (requer simulação numérica para valores críticos).
  • O teste CA-MOD converge para a Distribuição de Valor Extremo Tipo I, permitindo inferência analítica direta.
• Consistência: Ambos os testes são consistentes sob hipóteses alternativas que envolvem deslocamentos de média, covariância ou mudanças na forma da distribuição.
• Robustez: O teste baseia-se em variáveis binárias (conectado/não conectado), não exigindo suposições sobre a distribuição subjacente dos dados (adequado para dados com caudas pesadas).

4. Resultados Empíricos (Simulações e Dados Reais)

Os autores realizaram extensos estudos de simulação e uma análise de dados reais:

• Controle de Tamanho (Size): Tanto MOD quanto CA-MOD controlam bem o tamanho do teste (nível de significância) em diversas configurações de $n$, $p$ e $K$.
• Poder (Power):
  • Deslocamento de Média: Os testes são comparáveis a métodos baseados em grafos existentes (como GEC e WEC) para $K=2$, mas inferiores quando $p$ é muito grande.
  • Deslocamento de Covariância e Mudança de Distribuição: O CA-MOD supera significativamente os métodos concorrentes (EC, GEC, WEC, GLP, MMCM) em cenários de mudança de variância e distribuição, especialmente em alta dimensão.
  • Múltiplas Amostras ($K=6$): O CA-MOD demonstra desempenho superior ao teste GLP (que sofre instabilidade com $K$ alto) e ao MMCM em cenários de mudança de covariância e distribuição.
• Regressão Multivariada: Os testes mantêm bom desempenho ao testar a igualdade de distribuições de resíduos em modelos de regressão, tanto para $K=2$ quanto $K=6$.
• Aplicação Real (Mercado de Ações Chinês):
  • O teste foi aplicado para verificar o "efeito do dia da semana" (se as distribuições de retornos de segunda a sexta são iguais).
  • Resultado: Ambos os testes (MOD e CA-MOD) não rejeitaram a hipótese nula, nem com nem sem ajuste pelo índice de mercado (Hushen 300).
  • Conclusão: Não há evidências suficientes para o efeito do dia da semana, sugerindo que o mercado de ações chinês tornou-se mais eficiente após as reformas estruturais de 2005-2006.

5. Significância e Conclusão

Este trabalho introduz uma ferramenta estatística robusta e versátil para a comparação de distribuições multivariadas. A principal inovação reside na capacidade de lidar com $K$ amostras, alta dimensionalidade e estruturas de regressão simultaneamente, superando as limitações de testes baseados em grafos tradicionais que muitas vezes falham quando $K > 2$ ou quando a dimensão dos dados cresce.

A proposta do CA-MOD é particularmente valiosa por fornecer uma distribuição assintótica analítica (Valor Extremo Tipo I), eliminando a necessidade de métodos de reamostragem computacionalmente intensivos para obter valores críticos, ao mesmo tempo em que mantém alto poder estatístico contra alternativas complexas de mudança de distribuição.