Coral: Cost-Efficient Multi-LLM Serving over Heterogeneous Cloud GPUs
कोरल (Coral) एक अनुकूलनशील, विषमता-जागरूक (heterogeneity-aware) मल्टी-एलएलएम (multi-LLM) सर्विंग सिस्टम है जो विविध क्लाउड जीपीयू (cloud GPUs) में संसाधन आवंटन और सर्विंग रणनीतियों को संयुक्त रूप से अनुकूलित करता है, जिससे तेज़, निकट-इष्टतम निर्णय लेने में सक्षम बनाने के लिए एक हानिरहित दो-चरणीय अपघटन (lossless two-stage decomposition) का उपयोग करके 2.79 लागत कमी और 2.39 उच्च गुडथ्रूप (goodput) प्राप्त होता है।