Bi-cross-validation: a data-driven method to evaluate dynamic functional connectivity models in fMRI

1. Problématique

La connectivité fonctionnelle dynamique (dFC) vise à caractériser les interactions temporelles variables entre les régions cérébrales, souvent à l'aide de modèles non supervisés tels que les modèles de Markov cachés (HMM), les modes de réseaux dynamiques (DyNeMo) ou la corrélation à fenêtre glissante (SWC). Cependant, l'évaluation et la sélection de ces modèles restent un défi majeur pour plusieurs raisons :

• Absence de vérité terrain : Dans les données réelles, les états sous-jacents sont inconnus, rendant difficile la validation de la justesse des modèles.
• Dilemme biais-variance : Il est crucial d'équilibrer la qualité de l'ajustement (goodness-of-fit) et la complexité du modèle (nombre d'états ou de modes). Les méthodes actuelles de sélection de paramètres (comme la validation croisée standard) échouent souvent dans le contexte non supervisé car elles introduisent une circularité : l'évaluation sur un ensemble de validation nécessite d'inférer des états cachés sur ces mêmes données, ce qui permet aux modèles de surajuster (overfitting) le bruit et d'obtenir des scores artificiellement élevés.
• Comparaison difficile : Il n'existe pas de cadre unifié pour comparer objectivement des modèles aux hypothèses temporelles différentes (ex: états discrets vs mélanges continus).

2. Méthodologie : La Bi-Cross-Validation (Bi-CV)

Les auteurs proposent la bi-cross-validation comme cadre général pour évaluer les modèles de dFC. Cette méthode, initialement développée pour l'apprentissage non supervisé (décomposition de matrices, k-means), est adaptée ici aux données d'IRMf en partitionnant les données selon deux dimensions simultanément : les sujets (ou le temps) et les régions cérébrales.

Le protocole en quatre étapes :

1. Partitionnement : Les données (matrice Sujets $\times$ Régions) sont divisées en quatre blocs : $X_{train}, Y_{train}$ (ensemble d'entraînement) et $X_{test}, Y_{test}$ (ensemble de test), en veillant à ne pas couper les séries temporelles d'un même sujet pour éviter les fuites de données.
2. Entraînement complet : Un modèle complet est entraîné sur $Y_{train}$ pour estimer les paramètres du modèle d'observation (matrices de covariance des états/modes) et les dynamiques temporelles.
3. Inférence spatiale : En utilisant les trajectoires temporelles estimées sur $Y_{train}$, on infère les paramètres d'observation (covariances) sur $X_{train}$.
4. Inférence temporelle et évaluation : Les paramètres d'observation estimés sur $X_{train}$ sont fixés. On infère ensuite les trajectoires temporelles (états/modes) sur $X_{test}$. Enfin, on calcule la vraisemblance (log-likelihood) sur $Y_{test}$ en combinant les paramètres d'observation de l'étape 1 et les trajectoires temporelles de l'étape 4.

Avantages clés :

• Élimination de la circularité : L'inférence des états et l'évaluation se font sur des sous-ensembles de variables (régions) disjoints. Un état qui surajuste le bruit dans un sous-ensemble de régions ne pourra pas prédire correctement les données dans l'autre sous-ensemble, pénalisant ainsi le surajustement.
• Comparabilité : Permet de comparer directement des modèles statiques (1 état) et dynamiques (N états), ainsi que des modèles aux structures différentes (HMM, DyNeMo, SWC).

3. Contributions Clés

1. Cadre d'évaluation principiel : Introduction de la bi-cross-validation comme méthode standard pour la sélection d'hyperparamètres (nombre d'états/modes) et la comparaison de modèles de dFC.
2. Validation sur données simulées : Démonstration que la méthode retrouve correctement la structure de vérité terrain (nombre d'états) dans des données simulées générées par des HMM et DyNeMo, là où d'autres métriques échouent.
3. Analyse de la dimensionnalité ICA : Mise en évidence d'un résultat contre-intuitif : les modèles dynamiques ne surpassent les modèles statiques que lorsque la dimensionnalité de la décomposition ICA (nombre de composants) est suffisamment élevée.
4. Outils logiciels : Intégration de cette méthode dans le package osl-dynamics, rendant l'approche accessible à la communauté.

4. Résultats Principaux

A. Données simulées (Récupération de la vérité terrain)

• Sur des données générées par un HMM à 6 états, la bi-CV a correctement identifié 6 états comme optimal, pénalisant les modèles à plus de 6 états (surajustement).
• Sur des données générées par DyNeMo à 6 modes, la méthode a identifié un plateau de performance autour de 4 à 6 modes, reflétant la complexité effective des données (certains modes étant faibles ou redondants).
• La méthode a réussi à distinguer les modèles capables de capturer la structure sous-jacente de ceux qui ne le font pas.

B. Données réelles (HCP et UK Biobank)

• Sélection de modèles : Appliqué aux données de repos (HCP, UKB), la bi-CV a sélectionné des configurations optimales : 6 états pour HMM et 14 modes pour DyNeMo (sur 50 composants ICA).
• Comparaison des modèles : DyNeMo a systématiquement surpassé HMM, SWC et les modèles statiques, suggérant que l'hypothèse de mélanges continus de modes et la dépendance temporelle à long terme (via LSTM) capturent mieux la dynamique cérébrale.
• Évolution avec la complexité : Contrairement à la validation croisée standard (qui favorise toujours des modèles plus complexes) ou à la reproductibilité (qui diminue avec la complexité), la bi-CV montre une courbe en cloche : la performance augmente puis diminue lorsque la complexité devient excessive, prouvant sa capacité à régulariser le modèle.

C. Impact de la dimensionnalité ICA

• Dimensionnalité faible (15-25 composants) : Les modèles statiques (ou à très peu d'états) surpassent les modèles dynamiques. Les dynamiques sont masquées par la granularité grossière des réseaux.
• Dimensionnalité élevée (50-100 composants) : Les modèles dynamiques surpassent nettement les modèles statiques.
• Conclusion : Les interactions dynamiques se manifestent principalement au niveau des sous-réseaux fins. Les modèles dynamiques ne sont bénéfiques que si la résolution spatiale est suffisante pour révéler ces structures.

5. Signification et Implications

• Résolution du débat Statique vs Dynamique : L'article suggère que la question de savoir si la connectivité est dynamique ou non dépend de la résolution spatiale. Les modèles dynamiques sont nécessaires pour capturer la complexité fine, mais peuvent être inutiles ou nuisibles si les données sont trop agrégées.
• Guide pour le développement de modèles : La bi-cross-validation offre un moyen objectif de tester de nouvelles architectures (ex: inclusion de la réponse hémodynamique, moyennes d'activation) sans risque de surajustement.
• Standardisation : Elle propose une métrique unifiée pour comparer des approches hétérogènes (HMM, DyNeMo, SWC), favorisant une avancée plus rapide dans le domaine de la connectivité cérébrale.
• Limites : La méthode est coûteuse en calcul (nécessite de multiples itérations de partitionnement) et ne distingue pas intrinsèquement le bruit systématique (mouvement, dérive du scanner) des dynamiques neuronales, bien que les résultats montrent une robustesse aux filtres passe-haut agressifs.

En résumé, cette étude établit la bi-cross-validation comme un outil indispensable pour l'évaluation rigoureuse des modèles de connectivité fonctionnelle dynamique, permettant de sélectionner des modèles qui capturent véritablement la structure temporelle du cerveau tout en évitant le surajustement.