A Powerful Bootstrap Test of Independence in High Dimensions

Resumo Técnico: Um Teste Poderoso de Independência em Alta Dimensão

Autores: Mauricio Olivares, Tomasz Olma e Daniel Wilhelm (LMU Munique).
Data: Fevereiro de 2026.

1. O Problema

O artigo aborda o problema de testar a independência par a par entre uma variável aleatória escalar $X$ e um grande conjunto de variáveis aleatórias $Y_1, \dots, Y_p$, onde a dimensão $p$ pode ser muito maior que o tamanho da amostra $n$ (cenário de alta dimensão).

O objetivo é testar a hipótese nula global:
$$H_0: Y_j \perp X \quad \text{para todo } j \in \{1, \dots, p\}$$
contra a alternativa $H_1$ (a negação de $H_0$).

Desafios Específicos:

• Dependência entre $Y_j$: A metodologia deve ser válida sem impor restrições sobre a dependência entre as variáveis $Y_1, \dots, Y_p$.
• Alta Dimensão: O teste deve funcionar mesmo quando $p$ cresce exponencialmente com $n$.
• Controle de Erro: Deve ser possível identificar quais variáveis específicas violam a independência (screening) enquanto controla a taxa de erro familiar (Family-Wise Error Rate - FWER).
• Limitações de Testes Existentes: Testes baseados em covariância de distância (como os de Székely et al.) frequentemente falham em controlar o tamanho (size) sob a hipótese nula $H_0$ quando a cópula conjunta de $Y$ dado $X$ depende de $X$, ou possuem baixa potência em cenários de alta dimensão.

2. Metodologia

A proposta central é um teste não paramétrico baseado na correlação de postos de Chatterjee (2021), combinado com uma técnica de bootstrap específica.

A. Estatística de Teste
Para cada hipótese individual $H_{0,j}: Y_j \perp X$, utiliza-se a correlação de postos de Chatterjee, denotada por $\hat{\xi}_j$. A estatística de teste global para $H_0$ é o máximo dessas correlações, escalonada por $\sqrt{n}$:
$$\hat{T} = \sqrt{n} \max_{1 \le j \le p} \hat{\xi}_j$$

B. Bootstrap Multiplicador em Blocos (Block Multiplier Bootstrap)
O artigo identifica que o bootstrap não paramétrico padrão falha em estimar consistentemente a distribuição de $\hat{\xi}_j$ devido à dependência de 1 ordem nos termos da representação linear assintótica da correlação. Para resolver isso, os autores propõem um Bootstrap Multiplicador em Blocos:

1. Decomposição: A soma dos termos da representação linear é decomposta em "blocos grandes" (independentes entre si) e "blocos pequenos" (resíduos).
2. Estimativa: Como os termos originais não são observados (dependem da função de distribuição desconhecida), utilizam-se estimadores empíricos.
3. Reamostragem: Multiplicadores aleatórios (normais padrão) são aplicados aos blocos grandes estimados para gerar a distribuição bootstrap da estatística máxima.
4. Valor Crítico: O valor crítico $\hat{c}(\alpha)$ é obtido como o quantil condicional da estatística bootstrap.

C. Seleção de Variáveis (Procedimento Stepwise)
O teste é combinado com um procedimento stepdown (descendente) inspirado em Romano e Wolf (2005). Este algoritmo rejeita iterativamente hipóteses individuais que violam a independência, garantindo o controle assintótico da Taxa de Erro Familiar (FWER), mesmo com $p \gg n$.

D. Escolha do Parâmetro de Tuning ($q$)
O tamanho do bloco $q$ é um parâmetro crucial. Os autores derivam uma escolha ótima $q^*(n)$ que minimiza o erro quadrático médio (MSE) entre a variância bootstrap e a variância assintótica teórica. Eles propõem uma aproximação suave: $\tilde{q}(n) \approx (n/16)^{1/3}$.

3. Principais Contribuições Teóricas

1. Controle Uniforme do Tamanho (Size Control):

   • O teste controla assintoticamente o tamanho (probabilidade de rejeição sob $H_0$) uniformemente sobre uma vasta classe de processos geradores de dados.
   • A validade é garantida mesmo quando $p$ cresce exponencialmente em relação a $n$.
   • Ponto Chave: Não há restrições na dependência entre $Y_1, \dots, Y_p$.

2. Consistência:

   • O teste é consistente contra qualquer alternativa fixa onde as variáveis tenham distribuições contínuas.

3. Validação do Bootstrap para Chatterjee:

   • Enquanto Lin e Han (2024) mostraram que o bootstrap padrão falha para a correlação de Chatterjee, este trabalho prova que o block multiplier bootstrap corrige a dependência de 1 ordem, fornecendo uma aproximação válida da distribuição limite.

4. Procedimento de Seleção com FWER:

   • Desenvolvimento de um procedimento passo-a-passo que seleciona variáveis dependentes controlando rigorosamente o FWER em alta dimensão.

4. Resultados das Simulações

Os autores realizaram extensas simulações comparando seu método (BMB) com testes baseados em covariância de distância (dcov.test, dcorT.test) e testes baseados em postos (ZXZL, ZZYS).

• Controle de Tamanho:
  • Os testes baseados em covariância de distância falharam em controlar o tamanho sob $H_0$ quando a dependência entre as $Y_j$ varia com $X$ (violação da hipótese conjunta mais forte $H_0^{joint}$).
  • O teste proposto manteve o tamanho nominal (5%) em todos os cenários, incluindo alta dimensão e dependência forte entre $Y_j$.
• Potência:
  • O teste proposto é geralmente mais poderoso que os concorrentes em cenários de alta dimensão ($p$ grande).
  • Desempenha excepcionalmente bem contra alternativas "esparças" (onde poucas $Y_j$ são dependentes de $X$) e alternativas não lineares (ex: funções cosseno), onde testes de covariância de distância têm baixa potência.
  • A potência do teste proposto é praticamente insensível à dependência entre as variáveis $Y_j$, ao contrário dos testes concorrentes, cuja potência degrada significativamente sob dependência.
• Robustez ao Parâmetro $q$:
  • O desempenho do teste é pouco sensível à escolha específica do tamanho do bloco $q$, embora a escolha ótima teórica funcione bem.

5. Aplicação Empírica

O método foi aplicado a um conjunto de dados de expressão gênica de fígado de camundongos (GEO: GSE11923) para identificar genes cujos níveis de transcrição oscilam durante o ciclo celular.

• Dados: $n=48$ observações temporais, $p=45.101$ genes.
• Resultado: O procedimento stepdown identificou 4.554 genes (aprox. 10,1%) que violam a independência.
• Comparação: O estudo original (Hughes et al., 2009) identificou 3.667 genes usando uma metodologia diferente. O novo método encontrou 2.635 genes adicionais não detectados anteriormente, demonstrando maior poder de detecção de atividade gênica rítmica, mantendo ao mesmo tempo um controle rigoroso do FWER.

6. Significância e Conclusão

Este trabalho preenche uma lacuna crítica na estatística de alta dimensão ao fornecer um teste de independência que:

1. É computacionalmente eficiente (muito mais rápido que testes baseados em covariância de distância em alta dimensão).
2. É robusto a estruturas de dependência complexas entre as variáveis de entrada.
3. Oferece garantias teóricas rigorosas (controle de FWER e tamanho uniforme) em regimes onde $p \gg n$.
4. É implementado no pacote R hdIndep, facilitando sua adoção prática em áreas como inferência causal, aprendizado de máquina (fairness) e biologia computacional.

O artigo demonstra que, ao explorar a representação linear assintótica da correlação de Chatterjee e corrigir a dependência via bootstrap em blocos, é possível superar as limitações dos métodos baseados em covariância de distância, oferecendo uma ferramenta superior para a análise de dados modernos de alta dimensão.