EvoESAP: Non-Uniform Expert Pruning for Sparse MoE
El artículo presenta EvoESAP, un marco de búsqueda evolutiva que optimiza la asignación no uniforme de la dispersidad entre capas en modelos MoE escasos mediante una métrica de proxy llamada ESAP, logrando mejoras significativas en la generación de texto abierto sin sacrificar la precisión en comparación con los métodos de poda uniformes.