How Portable Are LLM-Serving Scheduler Rankings Across Workloads, Operating Regions, and Metrics?
Dieses Paper führt den LLM-Serving Scheduler Portability Benchmark (LSSP) ein, um zu demonstrieren, dass, während die Rankings von Scheduling-Policies über einige Workload-Quellen hinweg eine starke Übereinstimmung zeigen, sie über verschiedene Betriebsbereiche und Evaluierungsmetriken hinweg eine signifikante Variabilität und begrenzte Portabilität aufweisen, was erforderlich macht, dass Scheduler-Vergleiche als abhängig von ihrem spezifischen experimentellen Kontext interpretiert werden.