VINTER: a generative vision-language model for annotating and interrogating spatial tissues
VINTER 是一种生成式视觉-语言模型，它将组织学、基因表达和空间邻域统一为一个序列，以准确地标注和查询跨不同平台与分辨率的空间组织结构，从而揭示隐藏的生物异质性，并实现无需重新训练的分子证据编辑。
原始论文根据 CC0 1.0（https://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
组织不仅仅是细胞的平面地图；它们是复杂的、三维的邻里社区，其中单个细胞的身份在很大程度上取决于谁住在隔壁。在人体内，一个细胞的功能往往由其直接环境决定，就像一个人在社区中的角色会根据他们每天与之互动的人而改变一样。几十年来，科学家们一直难以用一种统一的方式来解读这些“邻里”。他们可以透过显微镜观察组织的形状和结构，或者可以通过测量细胞内的化学信号来了解其活性，但同时进行这两者却一直非常困难。传统方法通常迫使人们做出选择：要么通过视觉外观来描述组织，要么通过分子特征来描述组织，很少能让两者实时进行对话。这种分离导致我们在理解肿瘤或器官的物理布局如何影响其中细胞行为方面存在认知鸿士。
一种名为 VINTER 的新方法旨在通过将组织视为一个单一的、可读的故事来弥补这一差距。研究人员开发了一种计算机模型，该模型可以观察组织样本的照片，读取特定位置内活跃基因的列表，并同时考虑周围六个位置的基因活性。该模型并没有强迫计算机在图像和基因之间做出选择，而是将这三个来源——视觉结构、局部基因和邻里上下文——视为一个连续的信息序列进行读取。这使得系统能够对它正在观察的组织类型做出判断，同时还能记录下导致该结论的具体证据。由于遗传信息是以名称列表而非抽象数字的形式呈现的，研究人员可以编辑输入内容，通过移除或重新排列特定的基因来观察模型的决策如何发生变化。这使得组织识别过程从一种静态的标签化转变为一种交互式的质询，科学家可以针对组织的组成提出“如果……会怎样”的问题。
团队在各种生物学挑战中测试了这个系统，首先是从人类大脑开始。他们要求模型识别大脑皮层的不同层级，在这个任务中，该模型的表现优于仅依赖基因数据或仅依赖图像数据的现有方法。模型达到了极高的准确度，在绝大多数情况下都能正确识别皮层层级。更重要的是，该系统展示了在无需重新训练的情况下将其知识迁移到新情境中的卓越能力。当研究人员将一个基于乳腺癌数据训练的模型应用于一组完全不同的三阴性乳腺癌患者时，它成功识别出了它从未见过的组织类型。这表明该模型学习到了一种适用于不同疾病和患者的组织组织的基本语言，而不仅仅是记住了特定的案例。
其中一个最令人瞩目的发现来自于对三级淋巴结构的研究，这些是形成在肿瘤内部的小型、有组织的免疫细胞簇，能够影响身体对抗癌症的方式。研究人员利用模型编辑输入的能力，查明了这些结构向周围环境发送了什么样的信号。他们发现，模型对一个结构是“成熟”还是“不成熟”的判断，取决于邻里环境中两种相反的基因活性程序。一个由滤泡 B 细胞驱动的程序使结构看起来更成熟，而另一个由产生抗体的浆细胞驱动的程序则使结构看起来较不成熟。通过将这些信号映射回组织，他们发现了一个隐藏的空间模式：成熟的组织信号集中在结构的中心，而产生抗体的信号则被推向了边缘。这揭示了这些免疫枢纽的“成熟度”并非单一状态，而是核心与外周之间的一种动态平衡，而这种细微差别是标准方法会错过的。
这种方法的威力还延伸到了发现三阴性乳腺癌中隐藏细节的能力，这种疾病以其复杂性而闻名。在许多情况下，病理学家将一块组织区域标记为“间质”（stroma）或结缔组织，这是一个宽泛的类别，可能会掩盖显著的差异。然而，该模型观察了每个位点所有可能组织类型的概率，并发现即使在这些被宽泛标记的间质区域内，也存在着截然不同的免疫活动区。有些区域富含免疫细胞，显示出活跃的炎症反应，而另一些区域则显得安静且沉寂。这种在单一标签内识别“热”区和“冷”区的能力，帮助研究人员识别出一种特定的免疫环境，而这种环境已知对某些癌症治疗反应良好。此外，通过查看模型的次级概率，他们能够标记出那些虽然被标记为良性但实际上含有隐藏癌细胞的点位。通过审查这些被标记的点位，他们找回了近一半被标准单标签法漏掉的癌症，特别是在那些最具侵略性的亚型中。
最后，研究人员展示了这种方法可以在从大型组织样本到单个细胞的不同观察尺度上发挥作用。他们将相同的模型应用于高分辨率的结直肠癌数据，在该数据中，模型成功识别了免疫结构，并在没有任何额外训练的情况下区分了不同类型的免疫细胞。模型正确地识别出某些免疫细胞（特别是产生特定类型抗体的细胞）聚集在这些结构的边缘，而其他细胞则留在中心。这种跨越不同技术和分辨率的一致性表明，该模型捕捉到了组织组织的一种稳健理解。通过将空间注释转变为一种可质询的组织阅读，VINTER 为探索人体的“邻里”提供了一种新途径，允许科学家询问关于每一次生物学决策背后的证据，并观察定义健康与疾病的隐藏模式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。