Online Linear Programming for Multi-Objective Routing in LLM Serving
यह शोध पत्र LLM सर्विंग में मल्टी-ऑब्जेक्टिव रूटिंग को अनुकूलित करने के लिए बिड-प्राइस कंट्रोल और वॉर्म-स्टार्टेड ड्यूल अपडेट्स के साथ एक विज्ञान-आधारित ऑनलाइन लीनियर प्रोग्रामिंग फ्रेमवर्क प्रस्तावित करता है, जो पारंपरिक ह्यूरिस्टिक दृष्टिकोणों की तुलना में बेहतर लेटेंसी और थ्रूपुट प्रदर्शन प्रदर्शित करता है।