Reverse Distillation: Consistently Scaling Protein Language Model Representations
Deze paper introduceert Reverse Distillation, een raamwerk dat de representaties van grote eiwit-taalmodellen ontleedt in geneste orthogonale subruimtes om de vaak tegenstrijdige schaalwetten op te lossen en consequent betere prestaties te behalen dan kleinere modellen of de oorspronkelijke baselines.