Rotation, rescaling, or replacement? Decomposing organ adaptation in single-cell transformer representations
通过利用三个具有相同架构但预训练语料库不同的 scGPT 检查点,本研究表明单细胞 Transformer 中的器官特异性适应是极小的,且集中在特定的注意力层而非全局几何变换中,这表明训练细胞数少于一千万个的模型在很大程度上保留了其初始化噪声,并且通用检查点在提取生物算法方面更为优越。