T_root: A Comprehensive Closed-Form Statistic for Independence in Sparse and Heterogeneous Contingency Tables

Sintesi Tecnica: $T_{root}$ per l'Indipendenza in Tabelle di Contingenza Sparse e Eterogenee

Enunciato del Problem
Il test di indipendenza nelle tabelle di contingenza a due vie è una procedura fondamentale nella medicina e nelle scienze sociali, eppure i metodi standard esistenti falliscono in due regimi critici e comuni. Primo, la sparsità: quando i conteggi attesi nelle celle sono piccoli, la statistica chi-quadrato di Pearson si gonfia a causa delle code residue pesanti nelle celle sparse, mentre il test esatto di Fisher diventa eccessivamente conservativo, perdendo potere statistico significativo. Secondo, l'eterogeneità marginale: le tabelle del mondo reale presentano spesso totali di riga e colonna altamente disuguali. In tali condizioni, la distribuzione nulla della statistica di Pearson devia dalla distribuzione chi-quadrato sia nella media che nella varianza, rendendo il test o troppo liberale o troppo conservativo a seconda della struttura dei margini. Nessuna statistica fissa esistente (inclusa la famiglia delle divergenze di potenza di Cressie-Read) mantiene sia la calibrazione (corretto errore di Tipo I) che il potere attraverso l'intero piano di forma della tabella, sparsità e bilanciamento marginale.

Metodologia: La Statistica $T_{root}$
Il documento propone $T_{root}$, una statistica a forma chiusa e priva di parametri, progettata per rimanere calibrata in questi diversi regimi. La costruzione si basa su tre componenti fondamentali:

1. Stabilizzazione della Varianza tramite la Radice di Anscombe: Invece di utilizzare la metrica di Pearson $(O-E)^2/E$, che permette alle celle piccole di dominare la somma, $T_{root}$ trasforma ogni conteggio osservato $O_{ij}$ utilizzando la trasformazione di Anscombe: $A(x) = 2\sqrt{x + 3/8}$. Questo stabilizza la varianza del conteggio di Poisson a circa 1, indipendentemente dal conteggio atteso, impedendo alle celle sparse di gonfiare la statistica.
2. Centratura Condizionata ai Margini Esatti: I residui trasformati non sono centrati rispetto al conteggio atteso $A(E_{ij})$, ma rispetto alla loro media condizionale esatta sotto l'ipotesi nulla dati i margini osservati: $\mu_{ij} = E[A(O_{ij}) \mid \text{margini}]$. Questo condizionamento assicura che il valore atteso della somma dei quadrati dei residui sia un'identità esatta, $E[S] = \sum \text{Var}(A(O_{ij}))$, eliminando la necessità di costanti adattate o proiezioni di leva utilizzate nelle precedenti approssimazioni.
3. Riferimento Chi-Quadrato a Tre Momenti: La somma dei quadrati dei residui centrati, $S = \sum (A(O_{ij}) - \mu_{ij})^2$, è riferita a una distribuzione chi-quadrato a tre momenti. La distribuzione di riferimento è costruita utilizzando i primi tre cumulanti esatti di $S$ sotto il nulla condizionato ai margini.
   • Il primo cumulante (media) è esatto grazie alla centratura.
   • Il secondo e terzo cumulante (varianza e asimmetria) sono derivati dividendo il calcolo: i contributi diagonali (per cella) sono presi esattamente dalle tabelle dei momenti condizionali, mentre i contributi off-diagonali (covarianza cella-cella) sono approssimati utilizzando un'identità quadratica gaussiana. Questa divisione è computazionalmente efficiente (struttura low-rank) ed è necessaria, poiché omettere i termini off-diagonali (come nei lavori precedenti) porta a una sottostima della varianza e dell'asimmetria, causando tassi di errore di Tipo I liberali.

Ambito e Fallback
La statistica è valida per tabelle in cui il conteggio atteso medio è sufficiente (approssimativamente $\ge 6$) e la tabella non collassa (ovvero, non ci sono righe/colonne vuote dopo il condizionamento). Al di sotto di questa soglia, o in casi di estrema eterogeneità in cui la tabella realizzata collassa a meno di $2 \times 2$ celle non vuote, il metodo indirizza l'analisi verso il test esatto condizionato ai margini (estensione di Freeman-Halton del test esatto di Fisher). Questo screening si basa sul conteggio atteso medio, non sul coefficiente di variazione dei conteggi attesi ($CV_e$), poiché quest'ultimo è un diagnostico del fallimento di altri test, non di $T_{root}$ stesso.

Risultati Chiave
Estese simulazioni Monte Carlo (coprendo 4.950 forme di tabella da $2 \times 2$ a $100 \times 100$, vari livelli di sparsità ed undici livelli di eterogeneità marginale) dimostrano che:

• Calibrazione: $T_{root}$ mantiene la dimensione nominale (0,05) attraverso l'intero piano di sparsità ed eterogeneità. Il suo errore assoluto medio della dimensione su 378.415 celle ben stimate è 0,0099, superando significativamente la statistica 2/3 di Cressie-Read (0,0238) e il chi-quadrato di Pearson (0,0412).
• Robustezza all'Eterogeneità: Mentre il chi-quadrato di Pearson diventa sempre più liberale all'aumentare dell'eterogeneità marginale (raggiungendo lo 0,171 ad alto $CV_e$), e la statistica 2/3 di Cressie-Read diventa conservativa, $T_{root}$ rimane stabile vicino a 0,05.
• Potere: Laddove sia $T_{root}$ che il chi-quadrato di Pearson controllano la dimensione, il loro potere è quasi identico. Nella "zona di collasso" dove la 2/3 di Cressie-Read fallisce (diventando conservativa), $T_{root}$ recupera circa il doppio del potere.
• Confronto con Mielke-Berry: Quando confrontata con un riferimento di tipo Pearson III a tre momenti adattato ai momenti condizionali esatti di $X^2$ (il metodo Mielke-Berry), $T_{root}$ rimane calibrata ad alti livelli di eterogeneità dove il riferimento Mielke-Berry diventa liberale a causa della crescita illimitata dell'asimmetria di $X^2$. La radice di stabilizzazione della varianza mantiene l'asimmetria di $T_{root}$ sufficientemente piccola affinché l'approssimazione a tre momenti rimanga accurata.

Significato e Rivendicazioni
L'articolo sostiene che $T_{root}$ fornisce una soluzione completa, a statistica singola, per l'indipendenza nelle tabelle di contingenza, assorbendo il toolkit frammentato di test esatti, asintotici e corretti.

• Completezza: È la prima statistica che mantiene simultaneamente calibrazione e potere attraverso l'intero piano di forma della tabella, sparsità e bilanciamento marginale.
• A Forma Chiusa e Deterministica: Non richiede permutazioni, bootstrap o parametri di sintonia, producendo un singolo p-value deterministico con la stessa velocità del chi-quadrato di Pearson.
• Innovazione Strutturale: Il principale contributo metodologico è la specifica combinazione della trasformazione di Anscombe con la centratura esatta condizionata ai margini, che crea un'identità per la media della statistica, e l'inclusione dei termini di covarianza off-diagonale nel calcolo dei cumulanti, che corregge il bias liberale delle precedenti statistiche basate sulla radice.
• Utilità Pratica: Semplifica la pratica sostituendo complessi alberi decisionali (scegliere tra test esatti, asintotici o corretti basati su regole empiriche) con una singola statistica e un semplice screening binario basato sui conteggi attesi.

Gli autori sottolineano che, sebbene la costruzione utilizzi strumenti consolidati (trasformazione di Anscombe, famiglia delle divergenze di potenza, riferimenti di match dei momenti), la specifica configurazione e il conseguente record di calibrazione attraverso l'intero spazio dei parametri costituiscono il contributo originale. Il documento riconosce che la validità si basa sul nulla condizionato ai margini (una scelta di modellazione), ma sostiene che ciò è coerente con il test di fallback esatto e che la performance incondizionata (sotto margini casuali) è verificata empiricamente come nominale.