Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU
Diese Arbeit untersucht Substitutions- und Caching-Strategien für die Mixture-of-Experts-Inferenz auf Consumer-GPUs und zeigt auf, dass das selektive Abrufen nur hochprioritärer Experten oder die Verwendung einer Hintergrund-Laderelation basierend auf der akkumulierten Gate-Masse die Dekodierung signifikant beschleunigen kann (2,5–3,0× schneller) bei minimaler Verschlechterung der Perplexität im Vergleich zum Abrufen jedes Experten-Misses.