The Fréchet correlation coefficient for heterogeneous random objects

1. Il Problema e il Contesto

Nell'analisi statistica moderna, in particolare negli studi multimodali, è sempre più comune incontrare dati eterogenei dove sia le variabili di risposta ($Y$) che i predittori ($X$) risiedono in spazi metrici non euclidei (es. distribuzioni di probabilità, matrici simmetriche definite positive, grafi).
In questi contesti, le misure classiche di potenza esplicativa, come il coefficiente di determinazione $R^2$ euclideo o le correlazioni di Pearson, non sono direttamente applicabili. Le strategie esistenti spesso riducono gli oggetti complessi a riassunti euclidei (scalars), rischiando di perdere informazioni geometriche cruciali.
Le misure di dipendenza recenti per oggetti metrici (es. ball covariance, profile association) sono spesso simmetriche e non forniscono una misura direzionale della varianza spiegata. Il problema centrale affrontato è: come definire un coefficiente direzionale, privo di scala e interpretabile che quantifichi la proporzione di variazione di Fréchet di una risposta $Y$ spiegata da un predittore $X$, permettendo il confronto tra predittori eterogenei?

2. Metodologia Proposta: Il Coefficiente di Correlazione di Fréchet (FCC)

Gli autori introducono il Fréchet Correlation Coefficient (FCC), definito come la riduzione relativa della varianza di Fréchet della risposta dopo aver condizionato sul predittore.

Definizione Teorica

Siano $(X, d_X)$ e $(Y, d_Y)$ spazi metrici. La media di Fréchet $\mu_F$ e la varianza di Fréchet $V_F$ generalizzano media e varianza classiche.
Il FCC è definito come:
$$\rho = 1 - \frac{E[V(X)]}{V_F}$$
dove:

• $V_F = E[d_Y^2(Y, \mu_F)]$ è la varianza di Fréchet marginale di $Y$.
• $V(X) = E[d_Y^2(Y, \mu_{F,X}) | X]$ è la varianza di Fréchet condizionata, con $\mu_{F,X}$ che è la media di Fréchet condizionata.
• $E[V(X)]$ rappresenta la varianza residua di $Y$ dopo aver condizionato su $X$.

Proprietà Fondamentali

• Direzionalità: $\rho$ distingue tra predittore e risposta (non è simmetrico).
• Interpretabilità: Assume valori nell'intervallo $[0, 1]$.
  • $\rho = 1$ se e solo se $Y$ è una funzione misurabile di $X$ (dipendenza funzionale perfetta).
  • $\rho = 0$ se e solo se la media di Fréchet condizionata coincide con quella marginale quasi ovunque (assenza di dipendenza della media di Fréchet).
• Indipendenza dal modello: Non richiede la specificazione di una forma parametrica di regressione.

Stima: L'Approccio basato su Partizioni

Stimare direttamente la media condizionata di Fréchet è un problema non parametrico difficile. Gli autori propongono un stimatore basato su partizioni che evita la stima esplicita della funzione di regressione:

1. Si divide lo spazio del predittore $\mathcal{X}$ in $M_n$ celle $\{\Omega_m\}$.
2. Si calcolano le medie e le varianze di Fréchet all'interno di ogni cella e globalmente.
3. Lo stimatore è:
   $$\hat{\rho}_{M_n} = 1 - \frac{\sum_{m=1}^{M_n} \frac{n_m}{n} \hat{V}_m}{\hat{V}_F}$$
   dove $n_m$ è il numero di osservazioni nella cella $m$.
   Questo approccio è computazionalmente efficiente e flessibile, adattandosi a qualsiasi geometria del predittore (es. partizioni basate su prototipi o clustering).

3. Risultati Teorici

La sezione teorica stabilisce le proprietà asintotiche dello stimatore:

• Consistenza: Sotto condizioni di regolarità (partizioni che diventano più fini e celle con sufficiente massa di probabilità), lo stimatore $\hat{\rho}_{M_n}$ converge in probabilità al vero FCC.
• Distribuzione Asintotica sotto l'Ipotesi Nulla ($H_0: \rho=0$):
  Gli autori derivano la distribuzione limite in due regimi:
  1. Partizione Fissa ($M_n = O(1)$): La statistica normalizzata converge a una distribuzione chi-quadro pesata (somma di variabili chi-quadro indipendenti con pesi dati dagli autovalori di un operatore specifico).
  2. Partizione Crescente ($M_n \to \infty$):
     • Se la varianza cumulata diverge, la distribuzione è Gaussiana (Teorema del Limite Centrale).
     • Se la varianza cumulata è limitata, la distribuzione è un caos gaussiano di secondo ordine.
• Casi Specifici: I risultati sono stati applicati a varietà Riemanniane finite-dimensionali e a risposte nello spazio di Wasserstein unidimensionale (tramite embedding $L^2$ delle funzioni quantili).

4. Simulazioni e Risultati Empirici

Gli autori hanno valutato la potenza dello stimatore in diversi scenari:

• Scenari: Dati euclidei ($\mathbb{R}^p$), dati su sfera ($S^2$), distribuzioni nello spazio di Wasserstein ($W_2$) e matrici SPD ($S^+_p$).
• Concorrenti: FCC è stato confrontato con correlazione di Pearson, correlazione di Chatterjee, misure di correlazione generalizzate (GMC), Ball covariance e Energy distance.
• Risultati:
  • In scenari non euclidei, FCC mostra una potenza competitiva o superiore rispetto alle alternative, specialmente quando la dipendenza è strutturata e non lineare.
  • FCC riesce a catturare la dipendenza direzionale della varianza spiegata, a differenza di misure simmetriche che potrebbero non distinguere la direzione causale o la geometria specifica della risposta.
  • In scenari con rumore elevato, il valore di FCC diminuisce monotonicamente, confermando la sua interpretazione come misura di forza esplicativa.

5. Significato e Contributi Chiave

Il paper offre contributi significativi alla statistica dei dati complessi:

1. Unificazione Concettuale: Estende il concetto classico di $R^2$ a spazi metrici generici, fornendo una metrica unificata per confrontare predittori eterogenei (es. confrontare un predittore vettoriale con uno distribuzionale in base alla varianza spiegata).
2. Praticità Computazionale: L'uso di partizioni evita la complessità computazionale della stima non parametrica della regressione di Fréchet, rendendo il metodo applicabile a grandi dataset e geometrie complesse.
3. Inferenza Solida: Fornisce una teoria asintotica completa per il test di indipendenza, permettendo di calcolare p-value senza ricorrere esclusivamente a metodi di ricampionamento (permutation tests), sebbene questi ultimi rimangano una valida opzione.
4. Interpretazione Direzionale: Sottolinea che la "varianza spiegata" in spazi metrici è intrinsecamente legata alla geometria della risposta, offrendo uno strumento più informativo rispetto a semplici misure di dipendenza simmetriche.

In sintesi, il Fréchet Correlation Coefficient rappresenta un passo avanti fondamentale per l'analisi di regressione e correlazione in contesti di dati moderni e non euclidei, offrendo un equilibrio tra rigore teorico, interpretabilità e efficienza computazionale.