Reverse Distillation: Consistently Scaling Protein Language Model Representations
Il paper introduce "Reverse Distillation", un framework che decompone le rappresentazioni dei modelli linguistici proteici (PLM) in sottospazi ortogonali guidati da modelli più piccoli, creando embedding nidificati che garantiscono prestazioni superiori e una scalabilità coerente rispetto ai modelli PLM tradizionali.