Reverse Distillation: Consistently Scaling Protein Language Model Representations
Die Arbeit stellt Reverse Distillation vor, ein Framework, das Protein-Sprachmodelle durch die Zerlegung ihrer Repräsentationen in orthogonale Unterräume so optimiert, dass größere Modelle konsistent besser abschneiden als kleinere, indem sie die von kleineren Modellen erlernten allgemeinen Merkmale bewahren und zusätzliche Informationen orthogonal hinzufügen.