Rotation, rescaling, or replacement? Decomposing organ adaptation in single-cell transformer representations

想象一下，你是一名正在试图弄清楚一个超级聪明的机器人是如何理解世界的侦探。在生物学领域，科学家们正在构建这些被称为“Transformer”的机器人，用来阅读我们细胞内部的说明书。这些说明书是用基因这种语言编写的，而机器人通过阅读海量的细胞数据来学习人体不同部分是如何运作的。一个重大的问题是：当我们教机器人了解一个特定的器官（比如大脑或肾脏）时，它仅仅是从一个新的角度观察旧有的事实，还是彻底重写了它的理解？这一点至关重要，因为如果机器人只是“旋转”了它的视角，我们就能很容易地将它对大脑的学习成果转化为对肾脏的理解。但如果它“替换”了整个世界观，那么每次切换器官时，我们都必须从头开始。

这篇论文研究了正是这样一个谜团，使用的是由 scGPT 项目创建的一组特殊的三个机器人大脑。研究人员拥有一个独特的优势：他们拥有三个版本的同一个机器人，它们拥有完全相同的蓝图和完全相同的随机数字“种子”。唯一的区别在于它们的训练库：一个阅读了涵盖全身 3300 万个细胞的百科全书，一个阅读了关于大脑的 1320 万个细胞，还有一个阅读了关于肾脏的 81.4 万个细胞。通过对比这三个模型，作者可以准确地看到哪些是数据教会机器人的，哪些仅仅是诞生时留下的随机噪声。

这场伟大的“你学到了什么？”实验

把这三个 AI 模型想象成三名在同一天入学、坐在相同座位上、拿着完全相同的空白笔记本并带有相同随机涂鸦（“初始化”）的学生。

• 学生 A 阅读了一本包含 3300 万页、涵盖人体每个部分的宏大百科全书。
• 学生 B 阅读了一本厚达 1320 万页的教科书，但内容仅限于大脑。
• 学生 C 阅读了一本只有 81.4 万页的小册子，但内容仅限于肾脏。

研究人员想知道：当学生 B 和学生 C 完成阅读后，他们是仅仅调整了头部以从不同角度看待相同的客观事实（旋转），还是改变了他们所关注的事实的大小（缩放）？或者，他们是否抛弃了旧的事实并写下了全新的事实（替换）？

机器中的“幽灵”

在回答这个大问题之前，研究人员发现了一个诡异的线索。他们注意到，这三名学生的笔记本中有数千行内容是逐比特完全一致的。这些行是没有任何一名学生真正阅读或学习过的。因为笔记本最初是由随机涂鸦组成的，而这些行从未发生变化，研究人员意识到：“啊哈！这三名学生最初拥有完全相同的随机涂鸦！”

这是一个游戏规则的改变者。这意味着研究人员准确地知道了“噪声”长什么样。他们可以在沙滩上画一条分界线：任何低于这条线的都是最初的随机涂鸦；任何高于这条线的才是真正的学习成果。

令人震惊的结果：不是旋转，而是重写

一旦过滤掉随机涂鸦，对核心问题的回答就变得清晰且令人惊讶。

1. “肾脏”学生其实没学到多少东西
那个只读了肾脏小册子（81.4 万个细胞）的学生，几乎没有改变他们的笔记本。在 512 个可能的学习方向中，只有 12 个是真正新的方向。其余部分都只是最初的随机涂鸦。这就像试图通过读一本单人漫画来学习一门新语言；你还没真正掌握这门语言。研究人员发现，对于这个学生来说，“学习”非常微弱，大多只是噪声。

2. “大脑”学生改变的是地图，而不只是角度
那个阅读了大脑教科书（1320 万个细胞）的学生确实学到了更多——大约 104 个新方向。但转折点在于：他们不仅仅是旋转了地图或扩大了现有道路的大小。他们替换了道路。

研究人员尝试使用“旋转”（转动地图）或“缩放”（拉伸地图）的方法，将大脑学生的地图拟合到全身学生（全人类）的地图上。但这并不能很好地奏效。

• 一个简单的旋转只能解释不到 30% 的变化。
• 即使为每一条路都增加一个“拉伸”，也只能解释极小的一部分。
• 为了让两张地图匹配，他们必须使用一种复杂的、混乱的线性映射，这种映射也只能解释大约 57% 的变化。

这意味着，当机器人学习一个特定器官时，它并不只是从不同的角度观察生物学事实，而是丢弃了大部分旧的“轴”（它组织信息的主要方式），并编写了新的轴。大脑学生和肾脏学生是在说同一种语言的不同方言，而不是同一种方言带着不同的口音。

3. “中间层”才是奇迹发生的地方
研究人员还观察了学习发生在机器人大脑的哪个位置。他们发现，学习集中在机器人网络的中间层，特别是那些处理连接（注意力机制）和处理信息（前馈网络）的部分。“归一化”（保持机器人稳定的部分）几乎没有发生变化。这就像学生重写了教科书的中部章节，但保留了开头和结尾，使其与开始时完全一致。

4. 方向比大小更重要
当机器人学习大脑相对于肾脏时，变化的“大小”并没有告诉他们是哪个器官。一个发生剧烈变化的基因可能来自任何地方。但变化的“方向”却是铁证如山的证据。如果一个基因向特定方向移动，它几乎肯定是一个大脑基因。如果它向相反方向移动，它就是一个肾脏基因。机器人通过信息的“移动方向”而非“移动程度”来识别器官。

给未来探索者的启示

这篇论文为任何试图利用这些 AI 机器人来理解生物学的人提供了几条非常实用的规则：

• 坚持使用通用型模型： 如果你想理解生物学，请使用针对全身细胞训练的模型（即 3300 万细胞模型）。它拥有最多的“已学习”方向和最清晰的结构。
• 不要假设可迁移性： 你不能简单地通过转动旋钮，就把在“大脑”模型中发现的规律应用到“肾脏”模型中。它们的内部地图差异太大。如果你想将大脑模型的发现用于肾脏，你必须从头开始重新学习。
• 警惕小数据集： 如果一个模型的训练细胞数少于约 1000 万个（例如本研究中的肾脏模型），它可能根本没有学到任何真实的东西。它可能只是在回响它最初的随机起始涂鸦。在信任一个小型器官特异性模型之前，你应该检查它是否真的学到了噪声之外的东西。

简而言之，机器人不仅仅是“转动”头部来看待一个新的器官；它必须长出一个新的脑袋。而且，如果它没有足够的时间去阅读（足够的数据），它可能根本长不出新脑袋——它只会对着最初的随机涂鸦发呆。