Rotation, rescaling, or replacement? Decomposing organ adaptation in single-cell transformer representations
同一のアーキテクチャを持ちながら異なる事前学習コーパスを用いた3つのscGPTチェックポイントを活用することで、本研究は、シングルセル・トランスフォーマーにおける臓器特異的な適応は最小限であり、グローバルな幾何学的変換ではなく特定のアテンション層に集中していることを示し、これは1,000万個未満の細胞で学習されたモデルは主に初期化ノイズを保持しており、一般的なチェックポイントが生物学的アルゴリズムを抽出する上で優れていることを示唆している。