On Nonparanormal Likelihoods

Sintesi Tecnica: Sulle Verosimiglianze Nonparanormali

Enunciato del Problema
La distribuzione normale multivariata è fondamentale per la statistica classica e contemporanea grazie all'interpretabilità delle sue matrici di covarianza e di precisione riguardo l'indipendenza marginale e condizionale. Tuttavia, i dati del mondo reale violano frequentemente le assunzioni di normalità. Sebbene i modelli nonparanormali (NPN) offrano un'alternativa flessibile assumendo una struttura gaussiana latente accoppiata a marginali non parametriche flessibili, le procedure di stima esistenti si affidano spesso a un approccio "in due fasi" (two-step). In questo schema standard, le distribuzioni marginali non parametriche vengono stimate prima, e i parametri della copula vengono stimati successivamente, trattando le stime marginali come note. Questo approccio è insufficiente per applicazioni che richiedono efficienza semiparametrica, il calcolo degli errori standard o la modellazione congiunta degli effetti delle covariate sia nelle marginali che nella copula. Inoltre, gli approcci basati sui ranghi faticano a gestire dati misti continuo-discreti o il censoring dipendente, rendendo necessaria l'inferenza basata sulla verosimiglianza completa.

Metodologia
L'articolo propone un quadro unificato per la stima simultanea della massima verosimiglianza (MLE) di tutti i parametri nei modelli nonparanormali, coprendo risposte discrete, continue e miste discrete-continue.

1. Parametrizzazione del Modello:

   • Il modello $Y \sim \text{NPN}(h, \Sigma)$ assume $J$ variabili di risposta trasformate da funzioni monotone $h$ in una distribuzione normale multivariata latente $Z \sim N_J(0, \Sigma)$.
   • Le trasformazioni marginali $h_j$ sono parametrizzate o non parametricamente (come funzioni a scalino basate sui ranghi empirici) o semiparametricamente (utilizzando basi lisce come spline o polinomi di Bernstein).
   • La struttura di covarianza è parametrizzata tramite il fattore di Cholesky inferiore inverso $\Omega$ di $\Sigma$, garantendo la semidefinitezza positiva. Sono discussi due vincoli di identificazione: fissare la diagonale di $\Omega$ a 1 o fissare la diagonale di $\Sigma$ a 1.

2. Formulazioni della Verosimiglianza:
   L'autore definisce quattro distinti log-verosimiglianza per affrontare diversi tipi di dati e necessità computazionali:

   • Log-verosimiglianza NPN: Un'estensione diretta della verosimiglianza ordinale bivariata di Jöreskog, che integra la densità normale multivariata su scatole definite dai rangi osservati. Questo gestisce dati discreti e misti tramite masse di probabilità.
   • Log-verosimiglianza NPN Smooth: Sostituisce le funzioni a scalino non parametriche con trasformazioni lisce (es. spline), riducendo il numero di parametri per spazi campionari infiniti.
   • Log-verosimiglianza NPN Flow: Per risposte assolutamente continue, approssima le log-probabilità con log-densità, utilizzando efficacemente i normalizing flows. Ciò consente l'inclusione di termini di Jacobiano.
   • Log-verosimiglianza NPN Mixed: Combina l'approccio flow per le variabili continue con l'approccio basato sulla probabilità per le variabili discrete, consentendo la gestione di tipi di dati misti e osservazioni con limite di rilevamento (censurate).

3. Ottimizzazione e Computazione:

   • Il paper dimostra che le log-verosimiglianze negative sono generalmente non convesse rispetto allo spazio congiunto dei parametri di margini e copula.
   • Tuttavia, problemi specifici sono biconi geli (convesse nelle marginali dato la copula, e viceversa).
   • Per affrontare la non convessità, sono proposte tre approssimazioni convesse per generare valori iniziali: (1) un approccio a due fasi di pseudo-verosimiglianza, (2) una ricerca convessa alternata (ACS), e (3) una procedura di fitting sequenziale.
   • Il principale contributo computazionale è la derivazione di funzioni di score esatte per le probabilità normali multivariate calcolate tramite il metodo di integrazione quasi-Monte Carlo di Genz, piuttosto che approssimare la funzione di score stessa.

Risultati Chiave

• Proprietà di Convessità: L'analisi teorica conferma che, sebbene l'ottimizzazione completa sia non convessa, la log-verosimiglianza NPN flow è biconvessa rispetto ai parametri di trasformazione e ai parametri della copula.
• Performance Empirica (Analisi Discriminante HCC): In uno studio caso-controllo su biomarcatori del carcinoma epatocellulare (alcuni soggetti a limite di rilevamento/censura), la stima simultanea utilizzando la log-verosimiglianza NPN mista ha prodotto risultati comparabili ai benchmark convessi per i modelli lineari, ma ha offerto una maggiore flessibilità per trasformazioni non lineari. Lo studio ha rilevato che ignorare il censoring ha avuto un impatto trascurabile sulle stime dei parametri in questo specifico dataset, sebbene la verosimiglianza mista fornisca un quadro teoricamente corretto.
• Efficienza Semiparametrica (Correlazioni Policoriche): Studi di simulazione che confrontano gli stimatori contro il limite teorico di efficienza semiparametrica (Klaassen e Wellner, 1997) hanno mostrato che gli stimatori della log-verosimiglianza NPN raggiungono tale limite per dati continui. Fondamentalmente, per campioni piccoli e tipi di dati misti, gli stimatori NPN hanno fornito stime meno distorte e errori standard più accurati (tramite l'inversa dell'Hessiana) rispetto agli stimatori a due fasi di massima pseudo-verosimiglianza.
• Fattibilità Computazionale: L'implementazione della funzione di score permette la MLE congiunta in problemi in cui i metodi precedenti si affidavano a verosimiglianze composte o differenziazione numerica, risultando in tempi di convergenza più rapidi per dati ordinali ad alta dimensionalità rispetto agli approcci di verosimiglianza composta.

Significatività e Rivendicazioni
Il paper sostiene che il quadro proposto consente un'inferenza basata sulla verosimiglianza in "un solo step" (one-step) per i modelli nonparanormali, il che è vantaggioso quando:

1. L'interpretabilità è fondamentale: La stima congiunta permette un'inferenza valida sugli effetti delle covariate sia nelle componenti marginali che nella copula, il che è critico nel censoring dipendente e nella modellazione di equazioni strutturali.
2. I dati sono misti o censurati: La log-verosimiglianza NPN mista fornisce un modo rigoroso per gestire variabili continue e discrete simultaneamente, inclusi i problemi di limite di rilevamento, senza dipendere da approssimazioni basate sui ranghi che potrebbero essere difficili da giustificare in tali contesti.
3. Efficienza e Quantificazione dell'Incertezza: Il metodo raggiunge i limiti di efficienza semiparametrica e fornisce errori standard più affidabili rispetto agli approcci a due fasi.

L'autore nota con modestia che, sebbene la non convessità del problema ponga sfide per la penalizzazione in dimensioni ultra-elevate, il framework funge da benchmark robusto per valutare altre approssimazioni e offre uno strumento computazionalmente fattibile per una vasta gamma di applicazioni multivariate, incluse l'analisi discriminante di trasformazione e i modelli grafici con risposte non normali.