T_root: A Comprehensive Closed-Form Statistic for Independence in Sparse and Heterogeneous Contingency Tables

Resumo Técnico: $T_{root}$ para Independência em Tabelas de Contingência Esparsas e Heterogêneas

Definição do Problema
O teste de independência em tabelas de contingência de duas vias é um procedimento fundamental na medicina e nas ciências sociais, contudo, os métodos padrão existentes falham em dois regimes críticos e comuns. Primeiro, a esparsidade: quando as contagens esperadas por célula são pequenas, o estatístico qui-quadrado de Pearson infla devido às caudas residuais pesadas em células esparsas, enquanto o teste exato de Fisher torna-se excessivamente conservador, perdendo poder estatístico significativo. Segundo, a heterogeneidade marginal: tabelas do mundo real frequentemente apresentam totais de linhas e colunas altamente desiguais. Sob tais condições, a distribuição nula do estatístico de Pearson desvia-se da distribuição qui-quadrado tanto na média quanto na variância, fazendo com que o teste se torne ou liberal ou conservador, dependendo da estrutura das margens. Nenhum estatístico fixo existente (incluindo a família de divergência de potência de Cressie-Read) mantém tanto a calibração (erro do Tipo I correto) quanto o poder em todo o plano de forma da tabela, esparsidade e equilíbrio marginal.

Metodologia: O Estatístico $T_{root}$
O artigo propõe o $T_{root}$, um estatístico de forma fechada e livre de parâmetros, projetado para permanecer calibrado através desses diversos regimes. A construção baseia-se em três componentes principais:

1. Estabilização de Variância via Raiz de Anscombe: Em vez de usar a métrica de Pearson $(O-E)^2/E$, que permite que células pequenas dominem a soma, o $T_{root}$ transforma cada contagem observada $O_{ij}$ usando a transformação de Anscombe: $A(x) = 2\sqrt{x + 3/8}$. Isso estabiliza a variância da contagem de Poisson para aproximadamente 1, independentemente da contagem esperada, impedindo que células esparsas inflem o estatístico.
2. Centralização Condicional Exata às Margens: Os resíduos transformados não são centralizados no valor esperado $A(E_{ij})$, mas sim em sua média condicional exata sob a hipótese nula dadas as margens observadas: $\mu_{ij} = E[A(O_{ij}) \mid \text{margens}]$. Essa centralização garante que o valor esperado da soma dos quadrados dos resíduos seja uma identidade exata, $E[S] = \sum \text{Var}(A(O_{ij}))$, eliminando a necessidade de constantes ajustadas ou projeções de alavancagem usadas em aproximações anteriores.
3. Referência Qui-Quadrado de Três Momentos: A soma dos quadrados dos resíduos centralizados, $S = \sum (A(O_{ij}) - \mu_{ij})^2$, é referenciada a uma distribuição qui-quadrado de três momentos. A distribuição de referência é construída usando os três primeiros cumulantes exatos de $S$ sob a nulidade condicional às margens.
   • O primeiro cumulante (média) é exato devido à centralização.
   • O segundo e terceiro cumulantes (variância e assimetria) são derivados dividindo-se o cálculo: as contribuições diagonais (por célula) são obtidas exatamente de tabelas de momentos condicionais, enquanto as contribuições off-diagonais (covariância célula-a-célula) são aproximadas usando uma identidade de forma quadrática Gaussiana. Esta divisão é computacionalmente eficiente (estrutura de baixo posto) e necessária, pois omitir os termos off-diagonais (como em trabalhos anteriores) leva à subprevisão da variância e da assimetria, causando taxas de erro do Tipo I liberais.

Escopo e Recurso (Fallback)
O estatístico é válido para tabelas onde a contagem esperada média é suficiente (aproximadamente $\ge 6$) e a tabela não colapsa (ou seja, não há linhas/colunas vazias após o condicionamento). Abaixo desse limiar, ou em casos de heterogeneidade extrema onde a tabela realizada colapsa para menos de $2 \times 2$ células não vazias, o método direciona a análise para o teste exato condicional às margens (extensão de Freeman-Halton do teste exato de Fisher). Esta triagem é base baseada na contagem esperada média, não no coeficiente de variação das contagens esperadas ($CV_e$), pois este último é um diagnóstico para a falha de outros testes, não do próprio $T_{root}$.

Resultos Principais
Simulações de Monte Carlo extensas (cobrindo 4.950 formas de tabela de $2 \times 2$ a $100 \times 100$, vários níveis de esparsidade e onze níveis de heterogeneidade marginal) demonstram:

• Calibração: O $T_{root}$ mantém o tamanho nominal (0,05) em todo o plano de esparsidade e heterogeneidade. Seu erro absoluto médio de tamanho sobre 378.415 células bem estimadas é de 0,0099, superando significativamente o estatístico 2/3 de Cressie-Read (0,0238) e o qui-quadrado de Pearson (0,0412).
• Robustez à Heterogeneidade: Enquanto o qui-quadrado de Pearson torna-se progressivamente liberal conforme a heterogeneidade marginal aumenta (atingindo 0,171 em alto $CV_e$) e o estatístico 2/3 de Cressie-Read torna-se conservador, o $T_{root}$ permanece estável próximo a 0,05.
• Poder: Onde tanto o $T_{root}$ quanto o qui-quadrado de Pearson controlam o tamanho, seu poder é quase idêntico. Na "zona de colapso" onde o 2/3 de Cressie-Read falha (tornando-se conservador), o $T_{root}$ recupera aproximadamente o dobro do poder.
• Comparação com Mielke-Berry: Quando comparado contra uma referência de tipo III de três momentos ajustada aos momentos condicionais exatos de Pearson para $X^2$ (o método Mielke-Berry), o $T_{root}$ permanece calibrado em altos níveis de heterogeneidade onde a referência Mielke-Berry torna-se liberal devido ao crescimento ilimitado da assimetria de $X^2$. A raiz de estabilização de variância mantém a assimetria do $T_{root}$ pequena o suficiente para que a aproximação de três momentos permaneça precisa.

Significância e Alegações
O artigo afirma que o $T_{root}$ fornece uma solução de estatístico único e abrangente para a independência de tabelas de contingência, subsumindo o conjunto fragmentado de testes exatos, assintóticos e corrigidos.

• Abrangência: É o primeiro estatístico a manter simultaneamente calibração e poder em todo o plano de forma da tabela, esparsidade e equilíbrio marginal.
• Forma Fechada e Determinística: Não requer permutações, bootstrap ou parâmetros de ajuste, produzindo um p-valor determinístico único tão rápido quanto o qui-quadrado de Pearson.
• Inovação Estrutural: A principal contribuição metodológica é a combinação específica da transformação de Anscombe com a centralização exata condicional às margens, que cria uma identidade para a média do estatístico, e a inclusão de termos de covariância off-diagonal no cálculo dos cumulantes, o que corrige o viés liberal de estatísticos baseados em raiz anteriores.
• Utilidade Prática: Simplifica a prática ao substituir árvores de decisão complexas (escolha entre testes exatos, assintóticos ou corrigidos baseados em regras de bolso) por um único estatístico e uma triagem binária simples baseada em contagens esperadas.

Os autores enfatizam que, embora a construção utilize ferramentas estabelecidas (transformação de Anscombe, família de divergência de potência, referências de ajuste de momentos), a configuração específica e o registro de calibração resultante em todo o espaço de parâmetros constituem a contribuição original. O artigo reconhece que a validade depende da nulidade condicional às margens (uma escolha de modelagem), mas argumenta que isso é coerente com o teste de fallback exato e que o desempenho incondicional (sob margens aleatórias) é verificado empiricamente como nominal.