Reverse Distillation: Consistently Scaling Protein Language Model Representations
O artigo apresenta o Reverse Distillation, um framework que melhora consistentemente o desempenho de modelos de linguagem proteica ao decompor suas representações em subespaços ortogonais guiados por modelos menores, garantindo que modelos maiores superem os menores em tarefas específicas.