Reverse Distillation: Consistently Scaling Protein Language Model Representations
Este artículo presenta "Reverse Distillation", un marco que descompone las representaciones de grandes modelos de lenguaje de proteínas en subespacios ortogonales guiados por modelos más pequeños, creando incrustaciones anidadas que aseguran que los modelos más grandes superen consistentemente a los más pequeños en tareas de proteínas.