Inference on the Significance of Modalities in Multimodal Generalized Linear Models

Sintesi Tecnica: Inferenza sulla Significatività delle Modalità nei Modelli Lineari Generalizzati Multimodali

Enunciato del Problema
I dati multimodali, che integrano informazioni provenienti da molteplici fonti (ad esempio, MRI, PET, CT o multi-omica), sono sempre più frequenti in campi come la ricerca biomedica e l'intelligenza artificiale. Sebbene i modelli multimodali fusi spesso superino i modelli a singola modalità in termini di predizione, esiste una lacuna critica nell'inferenza statistica rigorosa: non esistono strumenti consolidati per quantificare la significatività di una singola modalità all'interno di un modello multimodale ad alta dimensionalità. I metodi di inferenza ad alta dimensionalità esistenti (ad esempio, de-biased LASSO, test del punteggio decorrelato) sono progettati per testare i coefficienti di singoli covariati o le loro combinazioni lineari. Non possono valutare direttamente il contributo di un'intera modalità perché il contributo di una modalità dipende non solo dall'entità dei suoi coefficienti, ma anche da complessi parametri di popolazione, come le correlazioni tra le modalità. Inoltre, le metriche classiche di bontà di adattamento (ad esempio, $R^2$, pseudo-$R^2$) quantificano il contributo di tutte le variabili collettivamente, non delle singole modalità.

Metodologia
Gli autori propongono un framework per i Modelli Lineari Generalizzati Multimodali (MGLM) in cui la risposta $y$ dipende da un vettore concatenato di variabili $x = (x_1^T, \dots, x_M^T)^T$ provenienti da $M$ modalità.

1. Definizione della Metrica (Entropia Relativa Attesa - ERE):
   Gli autori introducono una metrica, $H_m$, per quantificare il guadagno di informazione della $m$-esima modalità dato l'insieme delle altre. Questa è definita come il doppio della divergenza di Kullback-Leibler (KL) attesa tra il modello completo (utilizzando tutte le modalità) e un modello "oracolo" ridotto (utilizzando tutte le modalità eccetto la $m$-esima):
   $$H_m = 2E_x [D_{KL}(p(y|x) \parallel p(y|x_{-m}))]$$
   dove $x_{-m}$ rappresenta il sottovettore dei predittori escludendo la $m$-esima modalità. Il documento dimostra che $H_m$ è non negativa e monotona. Per casi specifici (ad esempio, regressione lineare), $H_m$ ha un'espressione in forma chiusa che coinvolge i coefficienti e le strutture di covarianza. Per funzioni di legame non lineari (logistica, Poisson), è definita tramite l'aspettativa del rapporto di verosimiglianza. Gli autori mostrano che le convenzionali metriche di bontà di adattamento sono casi particolari di questa ERE quando tutti i covariati sono trattati come un'unica modalità.

2. Procedura di Stima:
   Per stimare $H_m$ in contesti ad alta dimensionalità ($p \gg n$), gli autori propongono un estimatore a due fasi basato sulla devianza:

• Fase 1 (Screening): Viene applicata una procedura di Sure Independence Screening (SIS) per ridurre lo spazio ultra-ad alta dimensionalità a una dimensione moderata. Le variabili sono classificate in base ai loro contributi marginali di verosimiglianza, e una soglia $\gamma_n$ viene selezionata (tramite minimizzazione del BIC) per garantire che l'insieme schermato contenga il supporto vero con alta probabilità.
• Fase 2 (Penalizzazione Parziale): Viene eseguita una stima di massima verosimiglianza parzialmente penalizzata.
  • Per il modello completo, le variabili nel set schermato al di fuori della $m$-esima modalità sono penalizzate (utilizzando una penalità concava ripiegata come SCAD), mentre le variabili all'interno della $m$-esima modalità sono lasciate non penalizzate per evitare bias.
  • Per il modello ridotto, viene utilizzata la stessa procedura, ma le variabili nella $m$-esima modalità sono costrette ad avere coefficienti nulli.
    L'estimatore $\hat{H}_m$ è calcolato come la differenza normalizzata della devianza tra il modello completo e quello ridotto.

3. Inferenza Teorica:
   Gli autori stabiliscono le proprietà asintotiche di $\hat{H}_m$:

• Consistenza: $\hat{H}_m$ è consistente per $H_m$ con un errore di ordine $O_P(\max\{s n^{-1} \log n, n^{-1/2}\})$.
• Distribuzione Asintotica: Sotto condizioni di regolarità (inclusa la sub-gaussianità dei covariati e tassi specifici per i parametri di tuning), $n\hat{H}_m$ converge a una distribuzione chi-quadrato non centrale ($\chi^2_{e_{sm}, \Gamma_n}$), dove $e_{sm}$ è la dimensione del set schermato per la $m$-esima modalità e $\Gamma_n$ è un parametro di non centralità legato ai veri coefficienti.
• Test di Significatività: Questo risultato distributivo permette la costruzione di intervalli di confidenza per $H_m$ e il calcolo dei p-value per testare l'ipotesi nulla $H_m = 0$. Fondamentalmente, gli autori dimostrano che questa inferenza non richiede la consistenza della selezione delle variabili (ovvero, gli estimatori non devono identificare perfettamente i coefficienti nulli o non nulli), un significativo rilassamento rispetto ai metodi esistenti di inferenza ad alta dimensionalità.

Risultati Chiave

• Studi di Simulazione: Gli autori hanno valutato il metodo su modelli di regressione lineare, logistica e probit con $n=300$ e $p=600$. Il metodo proposto "SIS+SCAD" ha dimostrato probabilità di copertura empirica soddisfacenti (vicine al 95% nominale) per gli intervalli di confidenza di $H_m$, particolarmente quando il vero guadagno di informazione era sostanziale. Il metodo ha superato un approccio "SIS+refit" (che manca della penalizzazione parziale) in termini di specificità e copertura, specialmente per dimensioni dell'effetto minori. I risultati hanno confermato che il metodo mantiene la validità anche quando la selezione delle variabili è imperfetta.
• Applicazione su Dati Reali: Il metodo è stato applicato a un dataset di neuroimaging multimodale dall'Alzheimer's Disease Neuroimaging Initiative (ADNI) che coinvolgeva 669 soggetti con scansioni Amyloid-PET e FDG-PET. Gli esiti erano punteggi di memoria (MEM), punteggi di funzione esecutiva (EF) e una etichetta diagnostica (DX).
  • L'analisi ha rivelato che la FDG-PET forniva significativamente più informazione rispetto alla Amyloid-PET per predire la funzione esecutiva e lo stato diagnostico (p-value più bassi e stime ERE più elevate per la FDG-PET).
  • Al contrario, la Amyloid-PET mostrava un guadagno di informazione più forte per i punteggi di memoria.
  • Questi risultati sono in linea con la comprensione clinica secondo cui l'attività metabolica (FDG) è un biomarcatore forte per il declino funzionale, mentre il carico di amiloide è più specifico per la patologia legata alla memoria.

Significatività e Rivendicazioni
Il documento sostiene di fornire i primi strumenti di inferenza statistica rigorosi per valutare la significatività delle singole modalità nei modelli lineari generalizzati multimodali ad alta dimensionalità. Definendo l'Entropia Relativa Attesa (ERE) e derivando la sua distribuzione asintotica, gli autori consentono ai ricercatori di:

1. Quantificare il guadagno di informazione specifico di una modalità oltre a quanto fornito dalle altre.
2. Costruire intervalli di confidenza e p-value per questo guadagno senza dipendere dalla condizione difficile da raggiungere di una selezione perfetta delle variabili.
3. Estendere il concetto di bontà di adattamento dal livello della variabile al livello della modalità, colmando il divario tra le metriche classiche e la moderna analisi multimodale ad alta dimensionalità.

Gli autori osservano che, sebbene il presente lavoro si concentri sui GLM, la metrica basata sull'entropia potrebbe potenzialmente essere estesa ad altri modelli (ad esempio, i modelli a rischi proporzionali di Cox), sebbene tali estensioni siano lasciate a ricerche future.