Bi-cross-validation: a data-driven method to evaluate dynamic functional connectivity models in fMRI

1. Il Problema

La connettività funzionale dinamica (dFC) è diventata fondamentale per caratterizzare le interazioni variabili nel tempo tra le regioni cerebrali, andando oltre l'approccio statico tradizionale. Tuttavia, l'area soffre di sfide critiche nella valutazione e nel confronto dei modelli:

• Natura non supervisionata: I modelli dFC (come HMM, DyNeMo, SWC) identificano "stati" o "modi" latenti senza una verità fondamentale (ground truth) nota nei dati reali.
• Selezione dei parametri: È difficile determinare il numero ottimale di stati o modi. Metodi basati sulla complessità o sulla riproducibilità spesso falliscono nel bilanciare goodness-of-fit (adattamento ai dati) e complessità del modello.
• Circolarità nella validazione: L'applicazione standard della cross-validation nei contesti non supervisionati è problematica. Se si inferiscono stati latenti su un set di validazione e si valuta la bontà di adattamento sugli stessi dati, si introduce una circolarità che porta a un sovrastima delle prestazioni (overfitting), poiché il modello può adattarsi al rumore specifico del set di validazione.

2. Metodologia: Bi-Cross-Validation (Bi-CV)

Gli autori introducono la Bi-Cross-Validation come quadro generale per valutare i modelli dFC e selezionare gli iperparametri (es. numero di stati).

• Concetto Fondamentale: A differenza della cross-validation standard che divide solo i soggetti, la Bi-CV partiziona i dati lungo due dimensioni:
  1. Soggetti/Tempo: Righe della matrice dei dati.
  2. Regioni Cerebrali: Colonne della matrice dei dati.
• Procedura in 4 Passi:
  1. Addestramento Completo: Il modello viene addestrato su un blocco di dati di training ($Y_{train}$) per stimare le traiettorie temporali degli stati, i parametri del modello di osservazione e la dinamica temporale.
  2. Inferenza Spaziale: Utilizzando le traiettorie temporali stimate da $Y_{train}$, si inferiscono i parametri del modello di osservazione (es. le matrici di covarianza degli stati) su un sottoinsieme di regioni del training set ($X_{train}$).
  3. Inferenza Temporale: Utilizzando i parametri di osservazione fissati da $X_{train}$, si inferiscono le traiettorie temporali degli stati su un sottoinsieme di regioni del test set ($X_{test}$).
  4. Valutazione: Si calcola la verosimiglianza (log-likelihood) sul blocco di test completo ($Y_{test}$) combinando i parametri di osservazione (da $Y_{train}$) e le traiettorie temporali (da $X_{test}$).
• Vantaggio Chiave: Questo approccio separa l'inferenza dalla valutazione su sottoinsiemi diversi di variabili, prevenendo la fuga di informazioni e penalizzando automaticamente i modelli che si adattano al rumore (overfitting), poiché stati spurii non generalizzano bene tra le diverse partizioni di regioni e soggetti.
• Modelli Valutati: Il framework è stato applicato a:
  • SWC (Sliding Window Correlation): Correlazione a finestre scorrevoli con clustering k-means.
  • sFC (Static FC): Connettività statica come caso limite.
  • HMM (Hidden Markov Model): Modelli a stati discreti con transizioni markoviane.
  • DyNeMo (Dynamic Network Modes): Modelli a mistura continua di "modi" con dipendenze temporali a lungo raggio (LSTM).

3. Risultati Chiave

A. Validazione su Dati Simulati

Utilizzando dati simulati con dinamiche note (ground truth):

• La Bi-CV ha identificato correttamente il numero di stati/modi generati (es. 6 stati per HMM, 6 modi per DyNeMo).
• Ha mostrato una chiara penalizzazione per la complessità eccessiva: le prestazioni (log-likelihood) aumentavano fino al numero corretto di stati per poi declinare a causa dell'overfitting.
• Ha dimostrato di essere in grado di distinguere tra modelli generativi corretti e modelli errati.

B. Applicazione su Dati Reali (HCP e UK Biobank)

Applicando il metodo a dati fMRI a riposo (Human Connectome Project e UK Biobank):

• Bilanciamento Complessità-Adattamento: La Bi-CV ha rivelato un andamento "a campana" o a plateau per i modelli dinamici. Le prestazioni migliorano all'aumentare della complessità fino a un punto di ottimo, per poi declinare o stabilizzarsi, a differenza della cross-validation standard che favorisce modelli sempre più complessi.
• Confronto tra Modelli:
  • DyNeMo ha mostrato le prestazioni migliori, superando HMM, SWC e sFC, specialmente ad alta dimensionalità spaziale. La sua capacità di modellare sovrapposizioni di stati (modi continui) e dipendenze temporali lunghe sembra catturare meglio la dinamica cerebrale.
  • HMM e SWC hanno mostrato prestazioni simili o inferiori rispetto a DyNeMo.
  • sFC (Statico): A basse dimensionalità spaziali (es. 15 o 25 componenti ICA), i modelli statici hanno spesso superato quelli dinamici.
• Impatto della Dimensionalità ICA: È emerso un risultato cruciale: i modelli dinamici superano quelli statici solo quando la risoluzione spaziale è sufficientemente alta (es. 50 o 100 componenti ICA). A risoluzioni più basse, le dinamiche vengono "offuscate" dalla mediazione su reti ampie, rendendo il modello statico più appropriato.

C. Confronto con Metriche Tradizionali

La Bi-CV è risultata superiore alle metriche convenzionali:

• La verosimiglianza incrociata standard (naive CV) favorisce monotonamente la complessità senza trovare un ottimo.
• La riproducibilità split-half tende a diminuire all'aumentare della complessità, ma non misura direttamente la bontà di adattamento ai dati.
• La Bi-CV integra implicitamente entrambi gli aspetti, fornendo un criterio unico e robusto per la selezione del modello.

4. Contributi Principali

1. Framework di Valutazione Principato: Introduzione della Bi-Cross-Validation come metodo standard per l'addestramento e la selezione di modelli dFC, risolvendo il problema della circolarità nella validazione non supervisionata.
2. Strumento di Selezione Iperparametri: Dimostrazione pratica di come selezionare il numero ottimale di stati/modi senza bisogno di verità fondamentale, bilanciando automaticamente adattamento e complessità.
3. Confronto Oggettivo tra Modelli: Capacità di confrontare direttamente modelli con strutture diverse (discreti vs. continui, markoviani vs. LSTM) su una scala comune (log-likelihood).
4. Scoperta sulla Risoluzione Spaziale: Evidenza che l'efficacia dei modelli dinamici dipende criticamente dalla granularità della parcellazione cerebrale (dimensionalità ICA), suggerendo che le dinamiche significative emergono solo a scale spaziali fini.

5. Significato e Implicazioni

Questo lavoro fornisce un "gold standard" metodologico per il campo della connettività funzionale dinamica.

• Per i Metodologi: Offre uno strumento per sviluppare nuovi modelli dFC, permettendo di testare rigorosamente se nuove architetture (es. inclusione di HRF, mean activation) migliorano realmente la descrizione dei dati.
• Per i Ricercatori Clinici: Guida nella scelta degli iperparametri per l'analisi di dataset specifici, evitando la selezione arbitraria del numero di stati.
• Comprensione del Cervello: I risultati suggeriscono che la dinamica funzionale è un fenomeno che si manifesta a diverse scale spaziali; l'uso di parcellazioni troppo grossolane può nascondere le dinamiche temporali, portando a conclusioni errate sulla natura statica o dinamica della connettività cerebrale.

In sintesi, la Bi-Cross-Validation si posiziona come uno strumento essenziale per trasformare la modellazione dFC da un'attività esplorativa soggettiva a un processo di selezione del modello rigoroso, guidato dai dati e privo di bias circolari.