Sintesi Tecnica: Test della supposizione di assenza completa e casuale (MCAR) per i dati funzionali

Definizione del Problema

L'Analisi dei Dati Funzionali (FDA) assume tradizionalmente che le osservazioni siano disponibili su un dominio comune. Tuttavia, in molte applicazioni pratiche, i dati sono "parzialmente osservati", il che significa che ogni funzione è osservabile solo su un sottoinsieme $O$ del dominio $I$, con valori mancanti su $I \setminus O$. Un prerequisito critico per la maggior parte dei metodi esistenti di ricostruzione e inferenza per tali dati è la supposizione che il meccanismo di mancanza sia Assenza Completamente Casuale (Missing Completely at Random - MCAR). Questa supposizione postula che la funzione osservata $X$ e l'insieme di osservazione $O$ siano indipendenti.

Sebbene esistano numerosi metodi per recuperare i dati funzionali mancanti sotto l'assunzione MCAR (ad es., Delaigle e Hall, 2016; Kraus, 2015), manca una procedura statistica generale per validare tale assunzione. I test esistenti per l'MCAR in contesti multivariati (ad es., Little, 1988) si basano sul raggruppamento dei dati per distinti pattern di mancanza. Questo approccio è impraticabile per i dati funzionali perché il numero di distinti insiemi di osservazione è uncountably infinito e, nella pratica, ogni pattern di osservazione può essere unico. Il documento affronta la lacuna nello sviluppo di un framework di test generale per determinare se $X$ e $O$ siano indipendenti.

Metodologia

1. Partizionamento degli Insiemi di Osservazione

Il nucleo del framework proposto è la partizione dello spazio degli insiemi di osservazione $\mathcal{K}$ in due sottoinsiemi disgiunti, $\mathcal{A}$ e $\mathcal{B}$, tali che $\mathcal{K} = \mathcal{A} \dot{\cup} \mathcal{B}$.

• Partizionamento Ad Hoc: Un approccio semplice divide i dati in funzioni "complete" e "incomplete".
• Clustering Sistematico: Gli autori propongono un approccio di clustering basato sui centroidi. Definiscono una distanza tra gli insiemi $S_1, S_2$ utilizzando la misura della differenza simmetrica $d(S_1, S_2) = \lambda(S_1 \triangle S_2)$, che corrisponde alla distanza $L^1$ tra le loro funzioni indicatrici.
• Centri Ottimali: La partizione è determinata trovando due centri ottimali (mediane) $M_A$ e $M_B$ che minimizzano la distanza attesa dal centro più vicino. Gli insiemi $\mathcal{A}$ e $\mathcal{B}$ sono definiti come le celle di Voronoi associate a questi centri.
• Restrizione del Dominio: Per garantire un confronto valido, l'analisi è limitata a un sottodominio $I \subset [0, 1]$ dove entrambi i gruppi hanno una copertura sufficiente (specificamente, $P(t \in O | \mathcal{A}) > 0$ e $P(t \in O | \mathcal{B}) > 0$).

2. Test di Ipotesi

L'ipotesi nulla $H_0$ (MCAR) implica che $X$ e $O$ siano indipendenti. Il framework di test valuta un'ipotesi più forte $H_0^F$:
$$H_0^F: P(X(t) \le z | O \in \mathcal{A}) = P(X(t) \le z | O \in \mathcal{B}), \quad \forall z \in \mathbb{R}, t \in [0, 1].$$
Sotto $H_0^F$, la distribuzione condizionale del processo dato l'insieme di osservazione per gruppo dovrebbe essere identica. Gli autori propongono due statistiche di test:

• Confronto delle Medie ($T_\mu$):
  Questa statistica confronta le funzioni media empiriche dei due gruppi, $\hat{\mu}_{\mathcal{A}}(t)$ e $\hat{\mu}_{\mathcal{B}}(t)$.
  $$T_\mu = \sqrt{n} \| \hat{\mu}_{\mathcal{A}} - \hat{\mu}_{\mathcal{B}} \|_\infty$$
  Gli autori stabiliscono che, sotto l'ipotesi MCAR, $T_\mu$ converge al supremo di un processo gaussiano. Un contributo teorico chiave è la gestione del fatto che le funzioni media empiriche di dati parzialmente osservati sono generalmente discontinue (càdlàg), richiedendo l'uso dello spazio di Skorokhod $D[0, 1]$ piuttosto che $L^2[0, 1]$ o $C[0, 1]$.

• Confronto delle Distribuzioni ($T_F$):
  Questa statistica confronta le funzioni di distribuzione condizionale empirica $\hat{F}_{\mathcal{A}}(t, z)$ e $\hat{F}_{\mathcal{B}}(t, z)$.
  $$T_F = n \int_{[0,1] \times \Xi} (\hat{F}_{\mathcal{A}}(t, z) - \hat{F}_{\mathcal{B}}(t, z))^2 d(\lambda \otimes \nu)(t, z)$$
  Si tratta di una statistica di tipo Cramér–von Mises. È dimostrato che è consistente rispetto a una classe più ampia di alternative rispetto al confronto delle medie, poiché rileva differenze nell'intera distribuzione, non solo nella media.

3. Teoria Asintotica e Implementazione

Il documento deriva le distribuzioni asintotiche per entrambi i test statistici sotto l'ipotesi nulla. Le distribuzioni limite coinvolgono processi gaussiani con strutture di covarianza specifiche che dipendono dai pattern di osservazione.

• Stima della Covarianza: Gli autori forniscono stimatori per le funzioni di covarianza necessarie per approssimare la distribuzione nulla.
• Bande di Confidenza Simultanee: Viene introdotto un metodo per costruire bande di confidenza simultanee per la differenza nelle funzioni media, fornendo uno strumento grafico per visualizzare potenziali violazioni di MCAR.
• Consistenza: I risultati teorici (Teorema 3) stabiliscono che i test sono consistenti contro le alternative in cui le funzioni media o le funzioni di distribuzione differiscono tra i gruppi.

Risultati Chiave

Studio di Simulazione

La metodologia è stata valutata utilizzando simulazioni di moto browniano:

• Errore di Tipo I: Sotto l'ipotesi MCAR, entrambi i test ($T_\mu$ e $T_F$) hanno mantenuto tassi di errore vicini al livello nominale (0,05) attraverso varie dimensioni campionarie ($n=100, 250, 500$).
• Potenza:
  • Negli scenari in cui l'MCAR era violata a causa del censoring (Missing Not At Random - MNAR), il test di distribuzione $T_F$ ha dimostrato una potenza maggiore rispetto al test della media $T_\mu$.
  • Nello specifico, in scenari di censoring simmetrico in cui le medie condizionali dei gruppi erano identiche ($\|\mu_A - \mu_B\|_\infty = 0$), $T_\mu$ non è riuscito a rifiutare l'ipotesi nulla, mentre $T_F$ ha rilevato con successo la violazione.
  • L'approccio di clustering sistematico ha performato in modo comparabile o migliore rispetto alle partizioni deterministiche (ad es., complete vs incomplete) in molti scenari, particolarmente per campioni di dimensioni ridotte.

Applicazioni su Dati Reali

Il framework è stato applicato a tre dataset:

1. Dati sulla Frequenza Cardiaca (Swiss Kidney Project): Analisi di 878 profili di frequenza cardiaca. I test non hanno rifiutato l'assunzione MCAR (p-value: 0,765 per $T_\mu$, 0,911 per $T_F$). Ciò supporta la visione epidemiologica secondo cui la mancanza (dovuta alla rimozione o al guasto del dispositivo) è casuale.
2. Dati sui Prezzi dell'Elettricità: Analisi di 583 curve settimanali dei prezzi. I test hanno rigettato fortemente l'MCAR ($p < 0,001$). Il grafico della differenza delle medie mostra deviazioni significative, in linea con la struttura del mercato dove i livelli di prezzo correlano con la durata dell'osservazione (gli insiemi di osservazione più ampi corrispondono a prezzi più elevati).
3. Dati sulla Temperatura: Analisi di 76 curve di temperatura giornaliere. I test hanno rifiutato l'MCAR (p-value: 0,036 per $T_\mu$, 0,054 per $T_F$). I risultati hanno suggerito un potenziale difetto tecnico nel sensore (ad es., sensibilità alle alte temperature o problemi di alimentazione) piuttosto che una mancanza casuale.

Significato e Contributi

Il documento rivendica i seguenti contributi:

1. Framework Innovativo: Introduce il primo framework di test generale per l'assunzione MCAR nei dati funzionali, superando l'impraticabilità del raggruppamento basato sui pattern usato nei contesti multivariati.
2. Partizionamento Sistematico: Propone un metodo di clustering adattivo ai dati basato sulla distanza Fréchet-Nikodym-Aronszajn per dividere sistematicamente gli insiemi di osservazione, invece di fare affidamento esclusivamente su definizioni ad hoc.
3. Avanzamento Teorico: Stabilisce risultati asintotici per i dati funzionali nello spazio di Skorokhod $D[0, 1]$, accogliendo le discontinuità intrinseche nelle funzioni media parzialmente osservate.
4. Superiorità dei Test di Distribuzione: Dimostra che il confronto delle distribuzioni complete ($T_F$) è più robusto e potente rispetto al confronto delle medie ($T_\mu$), specialmente nei casi in cui la mancanza influenza i momenti di ordine superiore o la forma delle distribuzioni ma non la media.
5. Utilità Pratica: La metodologia fornisce uno strumento diagnostico per i ricercatori per validare le assunzioni che sottostanno ai loro metodi di ricostruzione dei dati funzionali, illustrato dalla capacità di rilevare difetti dei sensori e mancanze guidate dal mercato in esempi del mondo reale.

Gli autori osservano che, sebbene il loro approccio sia generale, la potenza del test dipende dalla scelta della partizione. Suggeriscono che, per campioni di piccole dimensioni, partizioni deterministiche guidate da esperti potrebbero essere preferibili, e che lavori futuri potrebbero esplorare metodi di classificazione supervisionata per ottimizzare la separazione dei gruppi.