🧬 biology

The Variance Brain Foundation Models Forgot: Third-Order Statistics Predict Cognition Where Billion-Parameter Models Fail

Malgré leur échelle, les modèles de fondation cérébraux actuels échouent à prédire la performance cognitive car leurs objectifs de pré-entraînement rejettent des structures statistiques de troisième ordre cruciales (la co-asymétrie), une limitation qui peut être surmontée par un simple pipeline linéaire, sans pré-entraînement, qui préserve explicitement ces caractéristiques d'ordre supérieur pour surpasser à la fois les modèles et les bases de référence de connectivité fonctionnelle standard.

Auteurs originaux : Giovanni Marraffini, Gabriel Mahuas, Trinidad Borrell, Victoria Shevchenko, Demian Wassermann

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Giovanni Marraffini, Gabriel Mahuas, Trinidad Borrell, Victoria Shevchenko, Demian Wassermann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le modèle de cerveau « intelligent » qui est passé à côté de l'essentiel

Imaginez que vous avez un étudiant super intelligent (un Modèle de Fondation Cérébrale) qui a lu tous les manuels sur le fonctionnement du cerveau. Vous lui faites passer un test : « Regarde ce scanner cérébral et dis-moi à quel point cette personne est intelligente. »

Vous vous attendez à ce que cet étudiant réussisse haut la main le test parce qu'il est immense, complexe et qu'il a été entraîné sur des quantités massives de données. Mais au lieu de cela, il échoue lamentablement. Une calculatrice simple et démodée (une régression linéaire) qui se contente d'observer les données brutes du scanner cérébral obtient en réalité un bien meilleur score.

Plus étrange encore : lorsque les chercheurs ont rendu l'étudiant « intelligent » encore plus grand et plus puissant, ses résultats se sont dégradés.

Cet article explique pour exprès cela s'est produit et comment ils l'ont résolu.

1. Le problème : Écouter le mauvais bruit

Considérez un scanner cérébral (IRMf) comme l'enregistrement d'une rue de ville très animée.

Le Bruit : L'enregistrement est dominé par des sons forts et évidents : le grondement d'un bus (les battements du cœur), le vent (la respiration) et le bruit des pas (les mouvements de la tête). Ce sont les sons « dominants ».
Le Signal : La véritable conversation entre deux personnes (la pensée cognitive) est discrète et subtile. Elle est cachée dans les motifs rythmiques complexes de la façon dont trois ou plusieurs personnes parlent simultanément.

Ce que l'IA a fait : Les modèles d'IA ont été entraînés pour « reconstruire » l'enregistrement. Leur objectif était que la sortie sonne exactement comme l'entrée. Comme les bruits forts (battements du cœur, respiration) étaient beaucoup plus forts que la conversation discrète, l'IA a appris à être parfaite pour copier le bruit. Elle est devenue experte pour prédire le grondement du bus, mais elle a complètement ignoré la conversation discrète.

Le Résultat : Les modèles d'IA étaient si doués pour copier le « bruit » qu'ils en ont oublié le « signal ». Ils ont échoué à prédire la cognition humaine car ils étaient trop occupés à se concentrer sur les parties bruyantes et ennuyeuses des données.

2. Le paradoxe de l'« échelle inverse »

Habituellement, en IA, si vous rendez un modèle plus grand (en lui donnant plus de puissance cérébrale), il devient plus intelligent.

La découverte de l'article : Ici, c'est l'inverse qui s'est produit. Les chercheurs ont testé une « petite » IA (111 millions de paramètres) et une « énorme » IA (650 millions de paramètres).
Le rebondissement : La grande IA était moins bonne pour prédire la cognition que la petite.
Pourquoi ? La grande IA était encore meilleure pour copier le bruit fort. Elle avait plus de capacité pour mémoriser les battements du cœur et la respiration, ce qui étouffait encore plus efficacement les signaux cognitifs subtils. C'était comme embaucher un micro géant et ultra-précis qui ne ferait qu'amplifier le bruit de la circulation et étouffer la conversation.

3. La solution : Observer les motifs de « troisième ordre »

Les chercheurs ont réalisé que la pensée humaine ne concerne pas seulement deux régions cérébrales qui communiquent entre elles (ce que les scanners cérébraux standards mesurent habituellement). Il s'agit de trois régions qui interagissent de manière spécifique et complexe en même temps.

L'analogie :
- Second ordre (Standard) : Deux amis, Alice et Bob, discutent. On peut mesurer la fréquence à laquelle ils parlent.
- Troisième ordre (La recette secrète) : Alice, Bob et Charlie sont dans une pièce. La partie intéressante n'est pas seulement Alice qui parle à Bob ; c'est le moment précis où les trois réagissent simultanément à une blague. Cette interaction complexe à trois est là où réside la « pensée ».

Les modèles d'IA standards étaient aveugles à cette interaction de « troisième ordre » car leur méthode d'entraînement (essayer de copier le son brut) la détruisait.

4. La solution : Le « filtre de débruitage »

Au lieu d'essayer de construire une IA plus grande, les chercheurs ont construit un filtre simple et ingénieux.

La Méthode : Ils ont utilisé une technique mathématique appelée décomposition de Tucker. Considérez cela comme une paire de lunettes spéciales qui filtre les bruits de bus et le vent, ne laissant que les conversations complexes à trois voix.
Le Résultat :
1. Ils ont pris les données cérébrales brutes.
2. Ils les ont passées à travers ce « filtre de troisième ordre ».
3. Ils ont mesuré les connexions à l'intérieur de cet espace filtré.
4. Boum : Cette méthode simple, non basée sur l'IA, a prédit la cognition humaine mieux que n'importe quel modèle d'IA pré-entraîné massif. Elle était si performante qu'elle a battu les meilleurs résultats précédents du domaine, le tout sans avoir besoin d'un supercalculateur ou d'un entraînement coûteux.

5. Le miracle du « Fine-Tuning » (Ajustement fin)

Les chercheurs ont ensuite demandé : « Pouvons-nous apprendre à la grande IA à voir cela ? »

Ils ont pris la grande IA et lui ont donné un nouveau devoir à la maison. Au lieu de simplement « copier le son », ils lui ont dit : « Copie le son, mais assure-toi de garder intactes les conversations complexes à trois voix. »

Le Résultat : Lorsqu'ils ont fait cela, l'IA est soudainement devenue aussi performante que le filtre simple. Elle est passée de l'échec au test à une réussite totale.
La Leçon : L'IA n'était pas « stupide » ou « trop petite ». Elle avait simplement été entraînée avec le mauvais objectif. Le problème n'était pas l'architecture (le cerveau du modèle) ; le problème était l'objectif (ce qu'on lui demandait d'apprendre).

Résumé des points clés

Plus grand n'est pas toujours meilleur : Dans la modélisation cérébrale, rendre l'IA plus grande ne faisait que la rendre meilleure pour copier le « bruit » (battements du cœur/mouvement) et moins bonne pour trouver le « signal » (la pensée).
Le signal est caché dans la complexité : La cognition humaine réside dans des interactions complexes à trois (statistiques de troisième ordre), que les méthodes d'entraînement d'IA standard suppriment accidentellement.
La simplicité est puissante : Un filtre mathématique simple qui se concentre sur ces interactions complexes fonctionne mieux que des modèles d'IA à des milliards de paramètres.
L'objectif est primordial : Si vous apprenez à une IA ce qu'elle doit chercher (préserver ces interactions complexes), même un modèle standard peut surpasser les géants de pointe.

En résumé : Les chercheurs ont découvert que les modèles d'IA « intelligents » étaient trop occupés à écouter le bruit de la circulation pour entendre la conversation. En construisant un filtre qui étouffe le trafic et amplifie les conversations de groupe complexes, ils ont trouvé un moyen de prédire la pensée humaine mieux que n'importe quel modèle d'IA géant.

Résumé Technique : Les modèles de fondation cérébraux ont oublié la variance

Énoncé du problème
Les modèles de fondation cérébraux (BFM - Brain Foundation Models) sont des Transformers auto-supervisés pré-entraînés sur des données d'IRMf, avec pour objectif d'apprendre des représentations riches de l'activité cérébrale afin de prédire la performance cognitive. L'hypothèse prédominante suggère que les Transformers profonds, grâce à leur capacité à modéliser des interactions complexes au-delà des corrélations par paires, devraient surpasser les bases classiques de connectivité fonctionnelle (FC). Cependant, cet article démontre que les BFMs actuels de pointe (spécifiquement BrainLM, Brain-JEPA et BrainMass) échouent à capturer la variance nécessaire à la prédiction de la cognition. Au lieu de cela, ils sont moins performants qu'une simple régression linéaire sur des matrices de FC brutes (environ 80 000 paramètres). De plus, l'article identifie un phénomène d'« échelle inverse » où les modèles plus larges (par exemple, le modèle de 650 millions de paramètres de BrainLM) sont moins performants que les plus petits (111 millions de paramètres), suggérant qu'une capacité accrue est gaspillée à ajuster le bruit dominant et non cognitif plutôt que la structure pertinente pour la tâche.

Méthodologie
Les auteurs emploient un protocole d'évaluation rigoureux basé sur Ooi et al. [2022], utilisant une validation croisée imbriquée répliquée (20 répétitions $\times$ 10 plis) sur deux jeux de données : AOMIC-ID1000 (N=876) et HCP (N=955), avec deux parcellisations (AAL-424 et Schaefer-400).

Analyse statistique via les cumulants : L'article cadre l'analyse en utilisant l'expansion des cumulants joints.
- $\kappa_2$ (second ordre) : Représente la covariance par paire (FC standard).
- $\kappa_3$ (troisième ordre) : Représente l'asymétrie (co-skewness) à trois voies, capturant la structure non gaussienne invisible pour la FC.
  Les auteurs analysent les reconstructions des BFM pour déterminer quels ordres statistiques sont préservés. Ils trouvent que si $\kappa_2$ est partiellement préservé, $\kappa_3$ est largement détruit par l'objectif de pré-entraînement MSE (Mean Squared Error), qui privilégie le bruit physiologique à haute variance (cardiaque, respiratoire, mouvement) au détriment des signaux cognitifs synergiques.
Pipeline linéaire proposé (Décomposition de Tucker) : Pour récupérer la structure $\kappa_3$ perdue sans apprentissage profond, les auteurs proposent un pipeline linéaire :
- Calculer le tenseur de co-asymétrie empirique ( $S \in \mathbb{R}^{P \times P \times P}$ ) à partir des données d'entraînement.
- Effectuer une décomposition de Tucker (SVD d'ordre supérieur) pour extraire un sous-espace spatial de rang faible ( $U$ ) qui maximise la structure de troisième ordre.
- Projeter les séries temporelles brutes des ROI dans ce sous-espace.
- Calculer la FC au sein de ce sous-espace informé par $\kappa_3$ .
- Injecter ces caractéristiques dans un prédicteur de régression Ridge à noyau (KRR).
Stratégie de fine-tuning : Pour tester si l'architecture du BFM elle-même est le goulot d'étranglement ou simplement l'objectif de pré-entraînement, les auteurs effectuent le fine-tuning de BrainLM en utilisant une perte à « double moment ». Cette perte aligne la reconstruction non seulement avec le signal brut, mais aussi avec la FC calculée à l'intérieur du sous-espace optimal de Tucker de $\kappa_3$ (en utilisant une métrique de distance Log-Cholesky).

Résultats clés

Sous-performance des BFM : Sous le protocole d'Ooi et al., tous les trois BFMs atteignent des scores de prédiction de la cognition négligeables (corrélation de Pearson $r \approx 0,00$ à $0,18$), nettement inférieurs aux bases de FC brutes ( $r \approx 0,31$ à $0,39$).
Échelle inverse : Dans la famille BrainLM, le modèle de 650M prédit la cognition moins bien que le modèle de 111M, confirmant que l'augmentation des paramètres sans changement d'objectif exacerbe l'incapacité à capturer la variance cognitive.
Échec de la préservation des cumulants : L'analyse des reconstructions des BFM montre que l'erreur $\kappa_2$ est modérée (erreur relative de 29 à 47 %), mais que l'erreur $\kappa_3$ est catastrophique (NMSE de 2,6 à 6,2 $\times$ l'énergie d'entrée), indiquant que les modèles rejettent l'ordre statistique spécifique où réside l'information pertinente pour la cognition.
Supériorité du sous-espace de Tucker : Le pipeline linéaire proposé (FC calculée dans le sous-espace de Tucker optimal pour $\kappa_3$ $κ_{3}$ ) établit un nouveau niveau de l'état de l'art (SOTA) pour la prédiction de la cognition par IRMf au repos. Il surpasse la FC brute et tous les BFMs pré-entraînés à travers tous les jeux de données et parcellisations sans nécessiter de pré-entraînement ou de GPU.
- Sur HCP Schaefer-400, la méthode atteint $r = 0,571 \pm 0,089$ , dépassant les résultats SOTA précédents (par exemple, $r = 0,520$ pour les gradients principaux).
Récupération par fine-tuning : Lorsque BrainLM est affiné avec la perte informée par les cumulants (double moment), sa prédiction de la FC basée sur la reconstruction récupère le plafond de la FC brute ( $r \approx 0,39$ sur HCP, égalant la base de référence). Cela prouve que le goulot d'étranglement est l'objectif de pré-entraînement, et non l'architecture Transformer ou la taille du modèle.
Échec de l'embedding : Malgré le succès de la sortie de reconstruction, les embeddings CLS des BFMs restent proches de zéro en termes de pouvoir prédictif, même après fine-tuning, suggérant que la géométrie latente est fixée lors du pré-entraînement et n'est pas réorganisée par la perte du décodeur.

Signification et affirmations
L'article affirme que l'échec des modèles de fondation cérébraux ne provient pas d'un manque de capacité, mais d'un « problème d'allocation de la variance » inhérent aux objectifs de pré-entraînement basés sur la reconstruction. Ces objectifs privilégient le bruit physiologique dominant ( $\kappa_2$ ) et rejettent l'information synergique d'ordre supérieur ( $\kappa_3$ ) qui prédit la cognition.

Les auteurs soutiennent que :

Standards d'évaluation : Les modèles de fondation doivent être évalués par rapport à des bases classiques fondées sur la connaissance du domaine (comme la FC brute) avant de passer à l'échelle supérieure.
Décomposition explicite : Lorsque le sous-espace pertinent pour la tâche est connu (dans ce cas, le sous-espace de Tucker optimal pour $\kappa_3$ ), les décompositions linéaires explicites (Tucker) sont plus propres et plus efficaces que l'apprentissage de représentations latentes via l'auto-supervision.
Objectif vs Architecture : Le goulot d'étranglement de la performance des BFM est l'objectif de pré-entraînement, et non l'architecture du modèle. Aligner la fonction de perte avec la structure statistique spécifique de la tâche (asymétrie de troisième ordre) peut restaurer la performance sans changer la structure du modèle.

L'article conclut que la structure pertinente pour la cognition dans l'IRMf au repos réside au moins au troisième cumulant, et que des pipelines linéaires simples, ne nécessitant pas de GPU et exploitant cette structure, surpassent actuellement les modèles de fondation de plusieurs milliards de paramètres.