Self-supervision drives representational convergence in medical foundation models more than clinical supervision
Cette étude révèle que la convergence représentationnelle dans les modèles de fondation médicale est principalement pilotée par les objectifs de pré-entraînement auto-supervisés plutôt que par la supervision clinique ou l'échelle du modèle, ce qui entraîne un alignement modeste qui soutient l'apprentissage par transfert de type encodeur croisé mais ne parvient pas à capturer pleinement le jugement clinique ou la similitude sémantique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'apprendre à un groupe de robots très différents à comprendre le monde. Vous leur donnez à tous la même tâche : regarder des images de scanners médicaux et décrire ce qu'ils voient. Dans le monde de l'intelligence artificielle, il existe une idée populaire appelée l'« Hypothèse de la Représentation Platonicienne ». Voyez cela comme ceci : si vous entraînez suffisamment de robots sur suffisamment de données, ils devraient tous finir par penser exactement de la même manière. Ils devraient tous construire une carte interne de la réalité identique, où une « fracture » ressemble de la même façon pour le Robot A que pour le Robot B, peu importe qui les a fabriqués ou les leçons spécifiques qu'ils ont reçues. Cette idée est passionnante car, si tous les modèles d'IA médicale convergeaient vers cette carte unique et parfaite, les médecins pourraient les échanger comme des piles sans casser leurs outils. Mais est-ce réellement en train de se produire ? Ces cerveaux numériques sont-ils vraiment d'accord sur ce qu'est une maladie, ou ne font-ils que parler des dialectes différents d'une même langue ?
Une équipe de chercheurs a décidé de mettre cette idée à l'épreuve avec une expérience massive et contrôlée. Ils ont rassemblé 18 « encodeurs d'images » différents (les parties de l'IA qui regardent les images) et 7 « encodeurs de texte » (les parties qui lisent les rapports) provenant de divers laboratoires et entreprises. Ces modèles allaient de petits modèles de 7 millions de paramètres à des géants de 27 milliards de paramètres. Les chercheurs ne se sont pas contentés de les comparer ; ils les ont disséqués. Ils ont entraîné de nouveaux modèles qui étaient identiques à tous points de vue, sauf pour une chose : l'objectif qu'ils tentaient d'atteindre. Certains étaient entraînés par « auto-supervision » (apprendre des motifs à partir des images seules), d'autres par « supervision clinique » (apprendre à partir des étiquettes des médecins), et d'autres par couplage « image-texte » (associer des images à des rapports).
Voici le rebondissement : les chercheurs ont découvert que l'idée d'une carte universelle et partagée est principalement un mythe, mais qu'un type très spécifique de réalité existe à la place. Ils ont découvert que l'apprentissage auto-supervisé (apprendre à partir des images elles-mêmes) est le véritable ciment qui fait que ces modèles s'accordent entre eux. En fait, l'ajout d'une étiquette de médecin à l'entraînement rendait en réalité les modèles moins similaires à leurs pairs, et non plus. Les modèles entraînés pour simplement « regarder et apprendre » sans étiquettes spécifiques finissaient par s'aligner beaucoup mieux (environ 40 % de similitude dans les radiographies thoraciques) que ceux entraînés avec des étiquettes médicales spécifiques (seulement environ 21 %).
Cependant, cet accord est modeste et possède des limites strictes. Cela ne se produit que pour un même type d'image (les radiographies sont d'accord avec les radiographies, mais pas avec les photos de peau). Cela ne s'améliore pas simplement parce que le modèle devient plus grand ou plus intelligent ; un géant de 27 milliards de paramètres n'est pas nécessairement plus aligné qu'un plus petit. Plus surprenant encore, ces modèles d'images et les modèles de texte qui lisent les rapports médicaux ne partagent pas du tout une carte commune ; leurs langages internes sont complètement différents, et à mesure que vous les nourrissez de plus de données, ils s'éloignent en réalité l'un de l'autre.
Malgré ces limites, il existe une lueur d'espoir. Même si les modèles ne s'accordent pas sur une géométrie parfaite et partagée, ils sont « assez bons » pour être interchangeables pour des tâches pratiques. Les chercheurs ont montré qu'un outil de diagnostic entraîné sur un modèle pouvait être transféré à un modèle complètement différent et fonctionner toujours avec environ 85 % de son efficacité d'origine. C'est comme avoir deux cartes différentes d'une ville qui ne se ressemblent pas tout à fait, mais si vous savez traduire les points de repère, vous pouvez toujours conduire d'un point A à un point B sans vous perdre. L'étude conclut que nous ne devrions pas attendre que les modèles d'IA convergent par magie en un seul cerveau parfait grâce à la simple taille ; au lieu de cela, nous devons les concevoir avec les bons objectifs d'entraînement pour garantir qu'ils puissent au moins se parler quand cela compte le plus.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.