Imaginez que vous avez un puzzle géant en 3D du cerveau humain, mais que vous n'avez jamais vu l'image sur la boîte. Vous n'avez pas de professeur pour vous dire quelle pièce va où, et vous n'avez certainement pas d'étiquette indiquant « ceci est un individu de 25 ans » ou « ceci est une tumeur ». C'est le défi auquel les médecins sont confrontés avec les scanners IRM : il en existe des millions, mais très peu possèdent les étiquettes coûteuses et chronophages nécessaires pour apprendre aux ordinateurs comment les comprendre.

Entrez en scène COJEPA, un nouveau modèle d'IA « autodidacte » qui tente de découvrir les secrets du cerveau simplement en observant les pièces brutes du puzzle.

Le monstre à deux têtes

La plupart des modèles d'IA essayant d'apprendre à partir d'images non étiquetées choisissent généralement l'une de ces deux stratégies :

1. L'artiste du « texte à trous » (JEPA) : Ce modèle observe un fragment du cerveau, en recouvre une partie, et essaie de deviner ce qui se trouve en dessous en se basant sur le contexte environnant. Il est excellent pour comprendre les détails locaux, comme la façon dont la texture des replis du cerveau se connecte au repli suivant.
2. Le détective du « ressemblant » (Apprentissage contrastif) : Ce modèle prend deux photos légèrement différentes du même cerveau et essaie de les rendre identiques dans sa mémoire, tout en s'assurant qu'elles paraissent totalement différentes des cerveaux d'autres personnes. Il est excellent pour déterminer « Qui est cette personne ? ».

L'article soutient que faire seulement l'un de ces deux processus n'est pas suffisant pour les scanners cérébraux 3D. L'artiste du « texte à trous » est trop vague pour distinguer des jumeaux, et le détective du « ressemblant » est trop concentré sur la vue d'ensemble pour comprendre les minuscules détails locaux de la structure cérébrale.

La découverte principale : Les auteurs ont combiné ces deux stratégies en un seul modèle appelé COJEPA. Ils ont découvert que cette approche hybride est le point d'équilibre idéal. Elle apprend à prédire les détails locaux du cerveau et à reconnaître l'identité unique de la personne.

Comment ils l'ont enseigné

L'équipe a entraîné ce modèle cérébral sur 2 286 scanners de cerveaux sains provenant de deux groupes : des jeunes adultes (22–37 ans) et des adultes plus âgés (36–90 ans et plus). Ils n'ont utilisé aucune étiquette. À la place, ils ont utilisé une astuce ingénieuse :

• Ils ont masqué (recouvert) des blocs 3D aléatoires du cerveau, mais en faisant attention à ne recouvrir que le « premier plan » (le tissu cérébral réel), ignorant l'espace vide environnant.
• Ils ont demandé au modèle de prédire les parties cérébrales cachées.
• Simultanément, ils ont montré au modèle deux vues différentes du même cerveau et l'ont forcé à réaliser : « Hé, c'est la même personne ! ».

Les résultats : Qu'a-t-il appris ?

L'équipe a testé ce nouvel apprenant cérébral sur trois tâches différentes pour voir à quel point il était intelligent.

1. Le test des jumeaux (Recherche Zero-Shot)
C'était le test ultime. Le modèle devait regarder un cerveau qu'il n'avait jamais vu auparavant et trouver son jumeau dans une base de données d'autres cerveaux.

• Le modèle uniquement « texte à trous » a échoué lamentablement à trouver des jumeaux identiques (monozygotes), ne trouvant la bonne correspondance que 26 % du temps en première position. Il ne pouvait pas assez bien distinguer les individus.
• Le modèle uniquement « ressemblant » a fait bien mieux, trouvant la correspondance 78 % du temps.
• COJEPA (L'hybride) a été le champion, trouvant le bon jumeau 84 % du temps en première position.
• Le bémol : Le modèle était étonnamment mauvais pour trouver des jumeaux non identiques (dizygotes), avec un taux de correspondance de seulement 17 %. Cela suggère que, bien qu'il ait appris à repérer l'« empreinte digitale » unique d'un cerveau, il éprouve encore des difficultés avec les similitudes génétiques plus subtiles des jumeaux non identiques.

2. La chasse aux tumeurs (Segmentation)
Ils ont demandé au modèle de trouver des tumeurs cérébrales dans un ensemble de données qu'il n'avait jamais vu (BraTS 2024).

• Lorsque le modèle était simplement « gelé » (ne lui permettant pas d'apprendre de nouvelles choses, juste d'utiliser ce qu'il savait déjà), le modèle hybride et le modèle « ressemblant » ont obtenu des performances similaires, trouvant environ 52 % de la tumeur correctement avec très peu de données d'entraînement.
• Cependant, lorsqu'ils ont offert au modèle un peu de réglage fin (fine-tuning — en le laissant apprendre des données spécifiques sur les tumeurs), les trois modèles se sont nettement améliorés, atteignant environ 71 % de précision.
• La leçon à retenir : Le modèle hybride n'a pas dégradé les détails locaux ; il était tout aussi performant que les autres pour trouver des tumeurs, prouvant qu'il n'a pas perdu ses compétences d'« artiste » en devenant un « détective ».

3. L'estimation de l'âge (Régression)
Ils ont essayé de deviner l'âge de la personne en regardant simplement son scanner cérébral.

• Le modèle hybride a été le plus efficace. Avec seulement 5 % des données étiquetées, il a deviné l'âge avec une erreur de 4,22 ans, ce qui est meilleur que les autres modèles.
• Lorsqu'il a été entièrement ajusté, il a obtenu le meilleur résultat de tous : une erreur de seulement 2,55 ans.
• Curieusement, les auteurs ont remarqué que la partie du cerveau sur laquelle le modèle se concentrait le plus pour deviner l'âge était le cervelet (la partie arrière du cerveau). Ils suggèrent qu'il s'agit d'une « propriété émergente », signifiant que le modèle a découvert par lui-même que cette zone change avec l'âge, même si personne ne lui a dit de regarder là.

Ce que l'article écarte

Les auteurs sont très clairs sur ce qui ne fonctionne pas aussi bien que leur nouvelle méthode :

• Ils excluent explicitement l'idée que la simple prédiction des parties manquantes (JEPA) soit suffisante pour créer un modèle capable de distinguer différentes personnes. Les données ont montré qu'elle échouait à la recherche de jumeaux.
• Ils suggèrent également que la simple recherche de similitudes (Apprentissage contrastif) pourrait manquer certains détails structurels locaux fins qui sont cruciaux pour les tâches médicales comme la segmentation, bien que le modèle hybride ait réussi à conserver ces compétences.

À quel point sont-ils sûrs ?

Les auteurs sont confiants dans leurs chiffres mais prudents quant à la vue d'ensemble.

• Ils ont mesuré les résultats de la recherche de jumeaux et de la prédiction de l'âge directement sur des ensembles de tests, donc ces chiffres (comme les 84 % de correspondance de jumeaux et l'erreur de 2,55 ans) sont des faits solides issus de leur expérience.
• Cependant, ils suggèrent que le succès du modèle provient de l'équilibre entre la « prédictibilité » (deviner le futur) et la « spécificité » (connaître l'identité). Ils ne prétendent pas que ceci est la solution finale et parfaite pour toute l'IA médicale.
• Ils admettent que leur ensemble d'entraînement de 2 286 personnes est en réalité assez petit par rapport aux normes modernes de l'IA. Ils soupçonnent que s'ils avaient eu un groupe de personnes beaucoup plus large et diversifié pour l'entraînement, le modèle serait probablement devenu encore meilleur.
• Ils ont également noté une limitation : le modèle avait plus de mal avec les scanners provenant d'une machine spécifique (scanners 1.5T), suggérant qu'il ne fonctionnera peut-être pas parfaitement sur tous les scanners d'hôpitaux pour le moment.

En résumé, COJEPA est une nouvelle façon prometteuse d'enseigner aux ordinateurs à comprendre le cerveau sans avoir besoin d'un professeur pour chaque scanner. Il a appris à être à la fois un bon devineur de détails locaux et un détective aiguisé de l'identité, mais il lui reste encore du chemin à parcourir avant de pouvoir gérer tous les scanners cérébraux du monde.