An association measure for mixed-type variables

Sintesi Tecnica: Una Misura di Associazione per Variabili di Tipo Misto

Problema
Quantificare l'associazione tra una variabile a valori reali ($X$) e una variabile categorica ($Y$) è una sfida fondamentale nell'analisi dei dati, particolarmente con l'aumentare della prevalenza di dati di tipo misto in campi come la genomica e le scienze sociali. I metodi esistenti per questo scenario "numerico–categorico" soffrono di limitazioni significative:

• Assunzioni Parametriche: Metodi come la correlazione poliseriale si basano su modelli latenti-normali o assunzioni lineari/ordinali che potrebbero non essere rispettate.
• Codifica Arbitraria: I comuni espedienti consistono nel codificare le categorie nominali come interi per applicare metodi numerici (ad esempio, la $\xi_n$ di Chatterjee) o nel discretizzare le variabili numeriche. Questi approcci introducono ordinamenti e spaziature artificiali, portando a risultati instabili dove la statistica fluttua significativamente in base allo schema di codifica scelto.
• Mancanza di Scala: I test standard come il test $F$ dell'ANOVA valutano le differzioni tra le medie, ma non forniscono una misura di dipendenza su una scala fissa e interpretabile (ad esempio, da 0 a 1).

Metodologia
Gli autori propongono una nuova misura di associazione della popolazione invariante rispetto alle etichette, denominata $\xi'$, e il relativo stimatore campionario, $\xi'_n$, progettati specificamente per l'ambito misto reale-categorico.

1. Misura della Popolazione ($\xi'$):
   La misura è definita sulla base della riduzione dell'impurità di Gini (o guadagno di informazione) ottenuta osservando $X$. Sia $g_j(x) = P(Y=j | X=x)$ le funzioni di probabilità condizionata. La misura della popolazione è:
   $$\xi'(X, Y) = \frac{E\left[\sum_{j=1}^k g_j(X)^2\right] - \sum_{j=1}^k P(Y=j)^2}{1 - \sum_{j=1}^k P(Y=j)^2}$$
   Questa formulazione aggrega le probabilità condizionate al quadrato (concentrazione della distribuzione condizionata) e le normalizza rispetto alla concentrazione marginale.

2. Stimatore Campionario ($\xi'_n$):
   Lo stimatore è costruito in modo non parametrico senza smoothing o parametri di tuning:

• Ordinare il campione $(X_i, Y_i)$ per $X$ per ottenere $(X_{(1)}, Y_{(1)}), \dots, (X_{(n)}, Y_{(n)})$.
• Calcolare la proporzione di match adiacenti $A_n = \frac{1}{n-1}\sum_{i=1}^{n-1} \mathbb{I}(Y_{(i+1)} = Y_{(i)})$.
• Calcolare la probabilità di coincidenza marginale $B_n = \sum_{j=1}^k \hat{p}_j^2$, dove $\hat{p}_j$ è la proporzione campionaria della classe $j$.
• Lo stimatore è $\xi'_n = \frac{A_n - B_n}{1 - B_n}$.
• Questo stimatore è computabile in tempo $O(n \log n)$ grazie al passaggio di ordinamento.

3. Proprietà Teoriche:

• Normalizzazione: $\xi' \in [0, 1]$.
• Indipendenza: $\xi' = 0$ se e solo se $X$ e $Y$ sono indipendenti.
• Dipendenza Funzionale: $\xi' = 1$ se e solo se $Y$ è una funzione misurabile di $X$ quasi certamente.
• Invarianza: La misura è invariante rispetto alle trasformazioni strettamente monotone di $X$ e, crucialmente, a qualsiasi permutazione delle etichette categoriche di $Y$.
• Connessione con le Misure Classiche: $\xi'$ generalizza il coefficiente di determinazione ($R^2$) utilizzando l'impurità di Gini. È strutturalmente simile alla $\xi$ di Chatterjee, ma aggrega le varianze specifiche per classe senza pesatura della prevalenza, rendendola adatta per categorie nominali (non ordinate).

Teoria Asintotica e Inferenza
Il documento stabilisce la consistenza forte di $\xi'_n$ e deriva la sua normalità asintotica sotto due regimi:

• Sotto Indipendenza ($H_0$): $\sqrt{n}\xi'_n$ converge a una distribuzione normale con media 0. Gli autori derivano uno stimatore della varianza consistente, consentendo un test di Wald per l'indipendenza computazionalmente efficiente e privo di permutazioni. È proposta una correzione di centratura per campioni finiti per affrontare il bias negativo nei piccoli campioni.
• Sotto Dipendenza Generale: Gli autori dimostrano la normalità asintotica per $\sqrt{n}(\xi'_n - \xi')$ sotto condizioni deboli (variazione limitata delle probabilità condizionate). Viene fornito uno stimatore della varianza "plug-in" utilizzando i $k$-vicini più prossimi ($k$-NN), permettendo la costruzione di intervalli di confidenza asintoticamente validi per la misura della popolazione.

Risultati Chiave

• Studi di Simulazione: Ampie simulazioni utilizzando un modello di disegno a blocchi dimostrano che $\xi'_n$ raggiunge la copertura nominale per gli intervalli di confidenza e mantiene tassi di errore di tipo I corretti per il test di Wald.
• Stabilità della Codifica: A differenza della $\xi_n$ di Chatterjee, che fluttua selvaggiamente sotto diverse codifiche intere degli stessi dati nominali, $\xi'_n$ rimane costante indipendentemente dalle permutazioni delle etichette.
• Potenza: Il metodo proposto dimostra una potenza competitiva rispetto alle alternative consolidate come la Covarianza di Distanza (dCov), HSIC e ANOVA, specialmente in scenari con segnali deboli o rilevamento di classi minoritarie.
• Efficienza Computazionale: La complessità $O(n \log n)$ rende il metodo scalabile, evitando il costo $O(n^2)$ dei metodi basati su kernel come HSIC.
• Applicazione su Dati Reali: Un'applicazione ai dati del cancro al seno TCGA (The Cancer Genome Atlas) mostra la capacità del metodo di rilevare dipendenze generali, inclusa l'eterogeneità della varianza, che potrebbero sfuggire ai test basati sulla media.

Significato e Rivendicazioni
Il documento sostiene di fornire una soluzione robusta e model-free per misurare l'associazione in dati di tipo misto. Il suo significato primario risiede in:

1. Invarianza delle Etichette: Risolvere il problema dell'instabilità inerente all'applicazione di statistiche basate sul rango a variabili categoriche nominali, aggregando direttamente gli indicatori di classe invece di imporre un ordine artificiale.
2. Interpretabilità: Offrire una misura normalizzata (da 0 a 1) che quantifica la proporzione di riduzione dell'impurità di Gini (guadagno di informazione), colmando il divario tra i test statistici e i concetti di modellazione predittiva.
3. Inferenza Efficiente: Consentire test di ipotesi e la costruzione di intervalli di confidenza rapidi e privi di permutazioni tramite la teoria asintotica, il che è computazionalmente vantaggioso per dataset su larga scala rispetto alle alternative che richiedono pesanti procedure di resampling.

Gli autori posizionano $\xi'$ come un'estensione necessaria del lavoro di Chatterjee, adattata specificamente per le sfide delle risposte categoriche nominali dove le correlazioni basate sul rango falliscono a causa della loro sensibilità alle codifiche arbitrarie.