Fitting Large Nonlinear Mixed Effects Models Using Variational Expectation Maximization

1. Enunciato del Problema

I modelli a effetti misti non lineari (NLME) sono lo standard per l'analisi di dati gerarchici e longitudinali nella farmacometrica, nella Farmacologia Quantitativa dei Sistemi (QSP) e negli studi clinici. Questi modelli stimano i parametri di popolazione ($\theta$) massimizzando la verosimiglianza marginale, il che richiede l'integrazione degli effetti casuali specifici del soggetto ($\eta$).

La Sfida Principale:

• Intrattabilità Computazionale: Man mano che i modelli diventano più complessi (ad esempio, incorporando reti neurali, ODE ad alta dimensionalità o migliaia di parametri), l'integrazione necessaria per calcolare la verosimiglianza marginale diventa computazionalmente proibitiva.
• Limiti dei Metodi Esistenti: Gli algoritmi tradizionali come la Stima Condizionale del Primo Ordine (FOCE) e l'Approssimazione Stocastica EM (SAEM) si basano sull'integrazione numerica o sul campionamento Markov Chain Monte Carlo (MCMC). Questi metodi scalano male con il numero di parametri ed effetti casuali, spesso fallendo nella convergenza o richiedendo tempi eccessivi per modelli con migliaia di parametri (ad esempio, modelli DeepNLME).

2. Metodologia: Massimizzazione dell'Aspettativa Variazionale (VEM)

Gli autori propongono l'uso della Massimizzazione dell'Aspettativa Variazionale (VEM) come alternativa scalabile. Invece di campionare dalla distribuzione a posteriori degli effetti casuali (come in MCEM/SAEM), la VEM approssima la posterior utilizzando una distribuzione parametrica (famiglia variazionale).

Componenti Tecnici Chiave:

• Quadro dell'Inferenza Variazionale (VI):
  • L'obiettivo è massimizzare il Limite Inferiore della Prova (ELBO) piuttosto che la verosimiglianza marginale direttamente.
  • L'ELBO è definito come: $\text{ELBO} = \mathbb{E}_{q}[\log p(y, \eta|\theta)] - \text{KL}(q(\eta) || p(\eta|y, \theta))$.
  • Massimizzare l'ELBO è equivalente a minimizzare la divergenza di Kullback-Leibler (KL) tra la distribuzione variazionale $q(\eta)$ e la vera posterior.
• Trucco di Riparametrizzazione:
  • Per abilitare l'ottimizzazione basata su gradienti, gli autori utilizzano il trucco di riparametrizzazione. Gli effetti casuali sono generati come una trasformazione deterministica di una distribuzione base fissa (ad esempio, $\eta = T(\xi; \kappa)$ dove $\xi \sim \mathcal{N}(0, I)$).
  • Questo permette ai gradienti di fluire attraverso il processo di campionamento, abilitando l'uso di ottimizzatori efficienti.
• Ottimizzazione Congiunta:
  • A differenza dell'EM tradizionale che alterna rigorosamente tra passi E e passi M, l'implementazione in Pumas esegue un'ottimizzazione congiunta sia dei parametri di popolazione ($\theta$) che dei parametri variazionali ($\kappa$) simultaneamente, utilizzando metodi basati su gradienti.
• Differenziazione Automatica (AD):
  • Viene utilizzata l'AD in modalità inversa per modelli con un gran numero di parametri rispetto agli output (comune nei DeepNLME). Questo è cruciale per calcolare efficientemente i gradienti dell'ELBO rispetto a migliaia di parametri.
  • L'implementazione supporta sia la modalità diretta (per modelli più piccoli) che la modalità inversa AD.
• Strategie di Ottimizzazione:
  • VEM Deterministica: Utilizza variabili base pre-campionate e l'ottimizzatore L-BFGS (quasi-Newton) per una convergenza stabile e rapida.
  • VEM Stocastica: Utilizza il ricampionamento per iterazione e l'ottimizzatore Adam, adatto all'elaborazione in mini-batch di grandi popolazioni.
• Gestione dei Vincoli: Per effetti casuali vincolati (ad esempio, log-normale), il metodo applica trasformazioni del dominio (ad esempio, trasformazione logaritmica) prima di approssimare con una famiglia variazionale gaussiana.

3. Contributi Chiave

1. Algoritmo Scalabile per NLME: Il documento introduce una variante VEM specificamente adattata per i modelli NLME, capace di adattare modelli con >15.000 parametri di popolazione e 16+ effetti casuali, un regime in cui i metodi tradizionali falliscono.
2. Implementazione in Pumas: L'algoritmo è implementato nel software statistico Pumas, sfruttando le capacità di calcolo ad alte prestazioni di Julia e la differenziazione automatica.
3. Connessioni Teoriche: Gli autori chiariscono la relazione tra VEM, Autoencoder Variazionali (VAE), PCA Probabilistica (PPCA) e l'approssimazione di Laplace. Dimostrano che il metodo di Laplace è essenzialmente un'approssimazione di Taylor del secondo ordine dell'obiettivo VEM.
4. Validazione Empirica: Il documento fornisce benchmark rigorosi che confrontano la VEM con la FOCE su modelli sia su piccola scala (Warfarina) che su larga scala (DeepNLME).

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti su due modelli utilizzando il software Pumas:

A. Modello Warfarina (Validazione su Piccola Scala)

• Configurazione: Modello PK-PD standard con 31 soggetti e 464 osservazioni.
• Confronto: VEM vs FOCE.
• Risultati:
  • Accuratezza: La VEM ha prodotto stime dei parametri e log-verosimiglianze quasi identiche alla FOCE (Log Verosimiglianza: -994,5 vs -995,3).
  • Velocità: La VEM è stata significativamente più veloce (16,6 secondi vs 44,4 secondi).
  • Conclusione: La VEM è un'alternativa corretta ed efficiente per i modelli farmacometrici standard.

B. Modello DeepNLME Friberg (Scalabilità su Larga Scala)

• Configurazione: Un modello artificialmente grande che incorpora reti neurali (MLP) con 15.410 parametri di popolazione e 16 effetti casuali.
• Confronto: VEM (5 iterazioni) vs FOCE (tentativo di 1 iterazione).
• Risultati:
  • VEM: Ha completato 5 iterazioni in 3092 secondi (618 secondi/iterazione) utilizzando l'AD in modalità inversa.
  • FOCE: Non è riuscito a completare una singola iterazione entro 24 ore.
  • Conclusione: La VEM scala con successo a modelli complessi e ad alta dimensionalità dove la FOCE diventa computazionalmente intrattabile.

5. Significato e Implicazioni

• Abilitazione di DeepNLME e QSP: La capacità di adattare modelli con migliaia di parametri apre la porta al DeepNLME (integrazione di reti neurali in modelli meccanicistici) e a complessi modelli di Farmacologia Quantitativa dei Sistemi (QSP), che in precedenza erano troppo costosi dal punto di vista computazionale da adattare come NLME.
• Cambiamento nel Paradigma di Ottimizzazione: Il documento sostiene un passaggio dal campionamento basato su MCMC (SAEM/MCEM) all'inferenza variazionale basata su gradienti per problemi su larga scala, sfruttando l'infrastruttura moderna dell'apprendimento profondo (AD in modalità inversa, compatibilità GPU/TPU).
• Limitazioni Pratiche: Gli autori riconoscono che la VEM è sensibile agli iperparametri (numero di campioni, scelta della famiglia variazionale) e richiede passaggi separati per calcolare le Stime di Bayes Empiriche (EBE) e le approssimazioni della log-verosimiglianza post-ottimizzazione, a differenza della FOCE che lo fa durante la stima.
• Direzioni Future: Il metodo è pronto a diventare uno strumento standard per l'adattamento di grandi modelli congiunti di biomarcatori e sistemi biologici complessi dove i metodi tradizionali incontrano un "muro" di costi computazionali.

In sintesi, questo documento dimostra che la Massimizzazione dell'Aspettativa Variazionale, quando combinata con la differenziazione automatica in modalità inversa, fornisce un framework robusto, scalabile e accurato per l'adattamento della prossima generazione di modelli complessi e ad alta dimensionalità a effetti misti non lineari nella farmacometrica.