EvoESAP: Non-Uniform Expert Pruning for Sparse MoE
Die Arbeit stellt EvoESAP vor, einen evolutionären Suchrahmen, der durch die Optimierung einer nicht-uniformen Schicht-für-Schicht-Sparsität unter Verwendung der ESAP-Metrik die Leistung von Sparse-Mixture-of-Experts-Modellen bei gleichzeitiger Reduzierung des Speicherverbrauchs signifikant verbessert.