Reverse Distillation: Consistently Scaling Protein Language Model Representations
この論文は、自然言語処理やコンピュータビジョンとは異なりスケーリングが不安定なタンパク質言語モデル(PLM)に対し、小規模モデルの表現を大規模モデルの埋め込みの最初の次元に一致させる「Reverse Distillation」というフレームワークを提案し、これにより埋め込み次元を固定したままモデルサイズが大きくなるほど性能が向上し、ProteinGym ベンチマークで SOTA 性能を達成することを示しています。