How Portable Are LLM-Serving Scheduler Rankings Across Workloads, Operating Regions, and Metrics?
Questo articolo introduce l'LLM-Serving Scheduler Portability Benchmark (LSSP) per dimostrare che, sebbene le classifiche delle policy di scheduling mostrino un forte accordo tra alcune sorgenti di carico di lavoro, esse esibiscono una variabilità significativa e una portabilità limitata attraverso diverse regioni operative e metriche di valutazione, rendendo necessario che i confronti tra scheduler siano interpretati come condizionati al loro specifico contesto sperimentale.