Covariance test for discretely observed functional data: when and how it works?

Titolo: Test di covarianza per dati funzionali osservati discretamente: quando e come funziona?

1. Il Problema

L'analisi dei dati funzionali (FDA) si occupa di dati generati da processi sottostanti continui, osservati in campi come la medicina, la biologia e la meteorologia. Sebbene l'analisi dei dati funzionali sia ben consolidata, la maggior parte dei metodi esistenti per il test di ipotesi sulla funzione di covarianza è stata sviluppata esclusivamente per curve completamente osservate (continuo).
Nella pratica, tuttavia, le traiettorie sono spesso osservate in modo discreto, con un numero limitato di punti temporali per soggetto e contaminate da rumore di misurazione.
Le sfide principali identificate dagli autori sono:

• La natura intrinsecamente non parametrica del test di covarianza, che opera su operatori compatti in spazi infinito-dimensionali.
• La difficoltà di gestire dati discreti e rumorosi, dove i metodi esistenti (basati su pre-lisciatura individuale o su spazi a dimensione fissa) falliscono o richiedono assunzioni irrealistiche.
• La mancanza di una teoria rigorosa che colleghi l'osservazione discreta al continuum, specialmente quando il numero di componenti principali (truncation level) cresce con la dimensione del campione.

2. Metodologia

Gli autori propongono un approccio basato sulle Componenti Principali Funzionali (FPC) che utilizza una strategia di pool-smoothing (lisciatura raggruppata) per stimare i parametri della popolazione.

• Stima della Covarianza: Invece di lisciare le curve individualmente (pre-smoothing), che è inefficiente per dati sparsi, si utilizza un kernel smoothing che raggruppa tutte le osservazioni di tutti i soggetti per stimare le funzioni di covarianza della popolazione ($\hat{C}_X$ e $\hat{C}_Y$).
• Strategia di Split del Campione: Per gestire la dipendenza tra le osservazioni e le funzioni proprie stimate (eigenfunctions), viene adottata una tecnica di split del campione (sample-splitting). I dati vengono divisi in due sottoinsiemi disgiunti:
  1. Il primo sottoinsieme viene usato per stimare le funzioni proprie ($\hat{e}_j$) della covarianza raggruppata.
  2. Il secondo sottoinsieme viene usato per calcolare i coefficienti Monte-Carlo e le statistiche di test basate su quelle funzioni proprie stimate. Questo riduce il bias e semplifica l'analisi teorica.
• Statistiche di Test:
  • Viene definita una statistica non standardizzata ($\hat{T}_{K, Z'}$) che converge a una forma quadratica di una misura gaussiana nello spazio infinito-dimensionale.
  • Per l'implementazione pratica, viene proposta una statistica standardizzata ($\hat{D}_{K, Z'}$) che normalizza le varianze stimate dei punteggi. Questa statistica segue asintoticamente una distribuzione Chi-quadro con gradi di libertà $K(K+1)/2$, dove $K$ è il livello di truncation.
• Truncation Divergente: A differenza dei lavori precedenti che fissano $K$, questo metodo permette a $K$ di crescere con la dimensione del campione $n$, mantenendo il test di natura non parametrica.

3. Contributi Chiave

Il contributo teorico più significativo è la caratterizzazione della fase di transizione (phase transition) tra scenari "sparsi" e "densi" di osservazione:

1. Nuovi Limiti di Perturbazione: Gli autori stabiliscono nuovi limiti di perturbazione per un numero divergente di funzioni proprie stimate basate su dati discreti osservati con rumore, estendendo i risultati di Hall e Horowitz (2007) al caso di pool-smoothing.
2. Soglia di Transizione: Viene identificata una soglia critica per la frequenza di campionamento $N$ (numero di misurazioni per soggetto) rispetto alla dimensione del campione $n$:
   • Regime "Denso" ($N \gtrsim n^{(\alpha+1)/(\alpha+3)}$): Quando la frequenza di campionamento è sufficientemente alta, il test si comporta come se i dati fossero completamente osservati. Il livello di truncation ammissibile $K$ può crescere fino all'ordine $O(n^{1/(2\alpha+6)})$.
   • Regime "Sparsa" ($N = o(n^{(\alpha+1)/(\alpha+3)})$): Quando i dati sono sparsi, il livello di truncation ammissibile deve essere ridotto (circa $O(N^{1/(2\alpha+2)})$) per mantenere la validità della distribuzione asintotica, ma può comunque divergere lentamente con $n$.
3. Difficoltà Elevata: Il paper dimostra che il test di covarianza è intrinsecamente più difficile della semplice stima della media o della covarianza. La soglia di transizione per il test ($n^{(\alpha+1)/(\alpha+3)}$) è più alta di quella per la stima ($n^{1/4}$), riflettendo la complessità aggiuntiva legata alla decomposizione spettrale e alla stima delle varianze divergenti.

4. Risultati

• Teorici: È stata provata la convergenza della statistica standardizzata alla distribuzione Chi-quadro sotto ipotesi nulla, con gradi di libertà che crescono con $n$. Sono state fornite condizioni rigorose su $h$ (bandwidth), $N$ e $K$ per garantire la validità asintotica.
• Simulazioni: Gli studi di simulazione mostrano che il metodo proposto ($T_{pool}$) mantiene dimensioni empiriche (empirical size) vicine al livello nominale (0.05) anche con dati sparsi, a differenza dei metodi concorrenti ($T_{FH}$ e $T_{PK}$) che soffrono di forte inflazione del tipo I errore o sono privi di potenza.
  • Il metodo proposto raggiunge la massima potenza quando include le componenti rilevanti, anche se la potenza diminuisce leggermente se $K$ diventa troppo grande (inclusione di componenti ad alto rumore).
• Applicazione Reale: Il metodo è stato applicato ai dati di tensori di diffusione longitudinali (DTI) del cervello (regione dell'ippocampo) provenienti dallo studio ADNI, confrontando soggetti cognitivamente normali (CN) con pazienti affetti da Alzheimer (AD).
  • Il test proposto ha rilevato differenze significative nelle strutture di covarianza (p-value < 0.05) quando $K$ è sufficientemente alto, suggerendo che le differenze risiedono nelle componenti principali di ordine superiore.
  • I metodi concorrenti hanno fallito nel rilevare queste differenze o hanno prodotto risultati inaffidabili (p-value nulli o inflazione dei falsi positivi).

5. Significato e Implicazioni

Questo lavoro colma un divario fondamentale nella letteratura FDA fornendo un test di covarianza non parametrico rigoroso per dati osservati discretamente.

• Guida Pratica: Offre indicazioni concrete su come scegliere il livello di truncation $K$ in base alla densità dei dati (sparsi vs densi), suggerendo di esplorare un intervallo di $K$ e osservare la tendenza della potenza del test.
• Robustezza: Dimostra che l'uso della pool-smoothing combinata con lo split del campione permette di gestire efficacemente il rumore e la scarsità dei dati, superando i limiti delle tecniche di pre-lisciatura individuale.
• Teoria Avanzata: Stabilisce un nuovo benchmark teorico sulla relazione tra frequenza di campionamento, dimensione del campione e complessità del modello (truncation) per l'inferenza funzionale, evidenziando la maggiore difficoltà del test rispetto alla stima.

In sintesi, l'articolo fornisce sia la giustificazione matematica che la guida pratica per condurre test di ipotesi sulla covarianza in scenari reali di dati funzionali, dove le osservazioni complete sono raramente disponibili.