Rotation, rescaling, or replacement? Decomposing organ adaptation in single-cell transformer representations
En exploitant trois points de contrôle scGPT aux architectures identiques mais aux corpus de pré-entraînement différents, cette étude démontre que l'adaptation spécifique à un organe dans les transformers de cellules uniques est minimale et concentrée dans des couches d'attention spécifiques plutôt que dans des transformations géométriques globales, suggérant que les modèles entraînés sur moins de dix millions de cellules conservent largement leur bruit d'initialisation et que les points de contrôle généraux sont supérieurs pour extraire les algorithmes biologiques.