VINTER: a generative vision-language model for annotating and interrogating spatial tissues

Les tissus ne sont pas de simples cartes plates de cellules ; ce sont des quartiers tridimensionnels complexes où l'identité d'une cellule unique dépend fortement de ses voisins. Dans le corps humain, la fonction d'une cellule est souvent dictée par son environnement immédiat, tout comme le rôle d'une personne dans une communauté change en fonction des personnes avec lesquelles elle interagit quotidiennement. Pendant des décennies, les scientifiques ont lutté pour lire ces quartiers d'une manière unique et unifiée. Ils pouvaient observer le tissu au microscope pour voir sa forme et sa structure, ou ils pouvaient mesurer les signaux chimiques à l'intérieur des cellules pour comprendre leur activité, mais faire les deux simultanément a été difficile. Les méthodes traditionnelles imposent souvent un choix : soit décrire le tissu par son apparence visuelle, soit par sa signature moléculaire, sans que les deux puissent véritablement communiquer en temps réel. Cette séparation laisse une lacune dans la compréhension de la manière dont la disposition physique d'une tumeur ou d'un organe influence le comportement des cellules qui s'y trouvent.

Une nouvelle approche appelée VINTER vise à combler cette lacune en traitant le tissu comme une histoire unique et lisible. Les chercheurs ont développé un modèle informatique capable de regarder une image d'un échantillon de tissu, de lire la liste des gènes actifs dans un point spécifique, et de considérer simultanément l'activité génique des six points environnants. Au lieu de forcer l'ordinateur à choisir entre l'image et les gènes, le modèle lit ces trois sources — la structure visuelle, les gènes locaux et le contexte du voisinage — comme une séquence continue d'informations. Cela permet au système de prendre une décision sur le type de tissu qu'il observe, tout en gardant une trace précise des éléments de preuve ayant conduit à cette conclusion. Comme l'information génétique est présentée sous la forme d'une liste de noms plutôt que de nombres abstraits, les chercheurs peuvent éditer l'entrée, en supprimant ou en réorganisant des gènes spécifiques pour voir comment la décision du modèle change. Cela transforme le processus d'identification du tissu, passant d'une étiquette statique à une interrogation interactive, où les scientifiques peuvent poser des questions de type « et si » sur la composition du tissu.

L'équipe a testé ce système sur une variété de défis biologiques, en commençant par le cerveau humain. Ils ont demandé au modèle d'identifier les différentes couches du cortex cérébral, une tâche où il a surpassé les méthodes existantes qui reposent uniquement sur les données géniques ou les données d'imagerie seules. Le modèle a atteint un haut niveau de précision, identifiant correctement les couches corticales dans la grande majorité des cas. Plus important encore, le système a démontré une capacité remarquable à transférer ses connaissances vers de nouvelles situations sans avoir besoin d'être réentraîné. Lorsque les chercheurs ont appliqué un modèle entraîné sur des données de cancer du sein à un groupe de patientes totalement différent atteint de cancer du sein triple négatif, il a réussi à identifier des types de tissus qu'il n'avait jamais vus auparavant. Cela suggère que le modèle a appris un langage fondamental de l'organisation tissulaire qui s'applique à travers différentes maladies et patients, plutôt que de simplement mémoriser des exemples spécifiques.

L'une des découvertes les plus frappantes est venue de l'étude des structures lymphoïdes tertiaires, qui sont de petits amas organisés de cellules immunitaires se formant à l'intérieur des tumeurs et pouvant influencer la façon dont le corps combat le cancer. Les chercheurs ont utilisé la capacité du modèle à éditer les entrées pour déterminer exactement quels signaux ces structures envoient à leur environnement. Ils ont découvert que le jugement du modèle quant à la « maturité » ou l'« immaturité » d'une structure dépendait de deux programmes opposés d'activité génique dans le voisinage. Un programme, piloté par les cellules B folliculaires, rendait la structure plus mature, tandis qu'un autre, piloté par les plasmocytes qui produisent des anticorps, la rendait moins mature. En cartographiant ces signaux sur le tissu, ils ont découvert un motif spatial caché : les signaux de maturation et d'organisation étaient concentrés au centre de la structure, tandis que les signaux de production d'anticorps étaient repoussés vers les bords extrêmes. Cela a révélé que la « maturité » de ces hubs immunitaires n'est pas un état unique, mais un équilibre dynamique entre un noyau et une périphérie, une nuance que les méthodes standards auraient manquée.

La puissance de cette approche s'est également étendue à la découverte de détails cachés dans le cancer du sein triple négatif, une maladie connue pour sa complexité. Dans de nombreux cas, les pathologistes étiquettent une région de tissu comme « stroma », ou tissu conjonctif, une catégorie large qui peut masquer des différences significatives. Le modèle, cependant, a examiné la probabilité de chaque type de tissu possible pour chaque point et a trouvé qu'au sein de ces régions stromales largement étiquetées, il existait des zones distinctes d'activité immunitaire. Certaines zones étaient riches en cellules immunitaires et montraient des signes d'une réponse inflammatoire active, tandis que d'autres étaient calmes et silencieuses. Cette capacité à voir les zones « chaudes » et « froides » au sein d'une seule étiquette a permis aux chercheurs d'identifier un type spécifique d'environnement immunitaire qui est connu pour bien répondre à certains traitements contre le cancer. De plus, en examinant les probabilités secondaires du modèle, ils ont pu signaler des points étiquetés comme bénins mais qui contenaient en réalité des cellules cancéreuses cachées. En examinant ces points signalés, ils ont récupéré près de la moitié du cancer qui avait été manqué par l'approche standard à étiquette unique, particulièrement dans les sous-types les plus agressifs de la maladie.

Enfin, les chercheurs ont montré que cette méthode fonctionne à différentes échelles d'observation, des grands échantillons de tissus jusqu'aux cellules individuelles. Ils ont appliqué le même modèle à des données de haute résolution provenant du cancer colorectal, où il a identifié avec succès des structures immunitaires et distingué différents types de cellules immunitaires sans entraînement supplémentaire. Le modèle a correctement identifié que certaines cellules immunitaires, spécifiquement celles produisant un type particulier d'anticorps, se rassemblaient aux bords de ces structures, tandis que d'autres restaient au centre. Cette cohérence à travers différentes technologies et résolutions suggère que le modèle a capturé une compréhension robuste de l'organisation des tissus. En transformant l'annotation spatiale en une lecture interrogable du tissu, VINTER offre une nouvelle façon d'explorer les quartiers du corps, permettant aux scientifiques de poser des questions sur les preuves derrière chaque décision biologique et de voir les motifs cachés qui définissent la santé et la maladie.