तकनीकी सारांश: क्लस्टर, रूट, एस्केलेट: लागत-जागरूक LLM सर्विंग के लिए कैस्केडेड फ्रेमवर्क

समस्या विवरण

उत्पादन वातावरण (production environments) में लार्ज लैंग्वेज मॉडल्स (LLMs) की कुशल तैनाती के लिए सटीकता और सर्विंग लागत के बीच एक संतुलन बनाना आवश्यक है। ऑपरेटर आमतौर पर एक एकल मॉडल का चयन करते हैं: या तो एक बड़ा, महंगा मॉडल जो आसान प्रश्नों पर अत्यधिक कंप्यूट संसाधन खर्च करता है, या एक छोटा, कुशल मॉडल जो कठिन प्रश्नों पर खराब प्रदर्शन करता है। मौजूदा मॉडल रूटिंग सिस्टम अक्सर मानक कार्य मूल्यांकन (जैसे मानव प्राथमिकता डेटा या जटिल कठिनाई लेबल) से परे एनोटेशन की मांग करते हैं और एक स्पष्ट अनुमान लागत बजट के तहत रूटिंग को अनुकूलित करने और पोस्ट-जेनरेशन गुणवत्ता अनुमान के माध्यम से सटीकता को पुनः प्राप्त करने में संघर्ष करते हैं। इसके अलावा, कई दृष्टिकोण उपलब्ध मॉडल पूल में बदलाव होने पर बिना मैनुअल पुनर्गठन के आसानी से अनुकूलित नहीं हो पाते हैं।

कार्यप्रणाली (Methodology)

लेखक एक दो-चरणीय कैस्केडेड फ्रेमवर्क प्रस्तावित करते हैं जो केवल 'टास्क-करेक्टनेस' (कार्य-सत्यता) लेबल का उपयोग करके TPOT (Time Per Output Token) बजट के तहत रूटिंग को अनुकूलित करता है और सटीकता को पुनः प्राप्त करता है।

चरण 1: क्लस्टरिंग-आधारित रूटिंग (Clustering-Based Routing)

पहला चरण क्लस्टर स्तर पर कार्य करता है ताकि प्रश्नों को प्री-रूट किया जा सके, जिससे एस्केलेशन (escalation) का निर्णय लेने से पहले हर क्वेरी पर एक कुशल मॉडल चलाने की अक्षमता से बचा जा सके।

1. सिमेंटिक क्लस्टरिंग (Semantic Clustering): आने वाली क्वेरीज को all-MiniLM-L6-v2 का उपयोग करके एनकोड किया जाता है और k-means का उपयोग करके सुसंगत समूहों ($N$ क्लस्टर्स) में विभाजित किया जाता है। क्लस्टर्स की संख्या मीन सिलुएट स्कोर (mean Silhouette score) को अधिकतम करके चुनी जाती है।
2. लागत-जागरूक रूटिंग (Cost-Aware Routing): प्रत्येक क्लस्टर $c$ और मॉडल $m$ के लिए, एक रूटिंग स्कोर की गणना की जाती है:
   $$\text{Score}(m, c) = \text{Error}(m, c) + \lambda \cdot \text{Cost}_{\text{norm}}(m)$$
   जहाँ $\text{Error}(m, c)$ प्रशिक्षण डेटा पर अनुभवजन्य त्रुटि दर है, और $\text{Cost}_{\text{norm}}(m)$ मॉडल का सामान्यीकृत (normalized) TPOT है (सबसे तेज़ के लिए 0, सबसे धीमे के लिए 1)।
3. हाइपरपैरामीटर ट्यूनिंग ($\lambda$): एक व्याख्यात्मक हाइपरपैरामीटर $\lambda$ सटीकता-विलंबता (accuracy-latency) के बीच संतुलन को नियंत्रित करता है। इष्टतम $\lambda^*$ को उपयोगकर्ता द्वारा निर्दिष्ट TPOT बजट $B$ को संतुष्ट करने के लिए प्रशिक्षण डेटा पर ऑफलाइन रूप से स्वचालित रूप से ट्यून किया जाता है।
4. पारेटो विश्लेषण (Pareto Analysis): रूटिंग से पहले, उन मॉडलों को पूल से हटा दिया जाता है जो पारेटो-डोमिनेटेड (सभी क्लस्टर्स में दूसरे मॉडल की तुलना में धीमे और कम सटीक) हैं।
5. रूटिंग निर्णय: प्रत्येक क्वेरी को उसके निकटतम क्लस्टर सेंट्रॉइड (centroid) को सौंपा जाता है और उस मॉडल को रूट किया जाता है जो उस क्लस्टर के लिए न्यूनतम स्कोर प्रदान करता है।

चरण 2: गुणवत्ता अनुमान (QE) कैस्केड

दूसरा चरण कुशल मॉडलों को रूट की गई क्वेरीज के लिए एक सुरक्षा जाल (safety net) के रूप में कार्य करता है।

1. तंत्र (Mechanism): एक हल्का बाइनरी क्लासिफायर (fine-tuned ModernBERT-base) कुशल मॉडलों के आउटपुट का निरीक्षण करता है।
2. इनपुट: क्लासिफायर क्वेरी, मॉडल का आउटपुट और जेनरेशन लेंथ (generation length) को इनपुट के रूप में लेता है।
3. निर्णय: प्रशिक्षण डेटा पर कुशल मॉडल के प्रदर्शन से प्राप्त टास्क-करेक्टनेस लेबल के आधार पर, क्लासिफायर यह तय करता है कि आउटपुट को स्वीकार (accept) करना है या क्वेरी को एक मजबूत मॉडल में एस्केलेट (escalate) करना है।
4. एकीकरण (Integration): यह चरण केवल कुशल मॉडलों के आउटपुट पर लागू होता है; चरण 1 में सीधे मजबूत मॉडलों को रूट की गई क्वेरीज इस क्लासिफायर को बायपास करती हैं ताकि विलंबता (latency) की बचत बनी रहे।

मुख्य योगदान

• दो-चरणीय फ्रेमवर्क: एक नवीन आर्किटेक्चर जो प्री-जेनरेशन क्लस्टर-लेवल रूटिंग को पोस्ट-जेनरेशन क्वालिटी एस्टीमेशन के साथ जोड़ता है, जो पिछले कार्यों में पहचानी गई "मल्टी-स्टेज कैस्केड गैप" को संबोधित करता है।
• लागत-जागरूक अनुकूलन: सिस्टम एक एकल, व्याख्यात्मक हाइपरपैरामीटर ($\lambda$) का उपयोग करके एक स्पष्ट TPOT बजट के तहत रूटिंग को संयुक्त रूप से अनुकूलित करता है, न कि एक मौद्रिक लागत वक्र (monetary cost curve) को स्कैन करके।
• न्यूनतम एनोटेशन आवश्यकता: फ्रेमवर्क के लिए केवल मानक टास्क-करेक्टनेस लेबल की आवश्यकता होती है (जो मानक बेंचमार्क मूल्यांकन से उपलब्ध होते हैं), जिसका उपयोग क्लस्टरिंग-आधारित रूटिंग और QE क्लासिफायर ट्रेनिंग दोनों के लिए किया जाता है।
• गतिशील अनुकूलन क्षमता (Dynamic Adaptability): सिस्टम पारेटो विश्लेषण और रूटिंग टेबल के पुनर्गणना के माध्यम से मॉडल पूल में बदलाव (मॉडल्स को जोड़ने या हटाने) के प्रति स्वतः अनुकूलित हो जाता है, जिसमें किसी मैनुअल पुनर्गठन की आवश्यकता नहीं होती।
• सामान्यीकरण (Generalization): इस दृष्टिकोण को टेलीकम्युनिकेशन (TeleQnA) और गणितीय तर्क (AIME 2024) के दो अलग-अलग डोमेन में मान्य किया गया है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन Qwen 3/3.5 और Gemma 4 परिवारों के पूल्स का उपयोग करके TeleQnA और AIME 2024 पर किया गया।

• AIME 2024 (गणितीय तर्क):

  • संयुक्त चरण 1+2 सिस्टम ने 9.7 ms के TPOT के साथ 88.4% सटीकता प्राप्त की।
  • यह सबसे मजबूत मॉडल (Qwen3-30B) की सटीकता (89.1%) को 97% तक बनाए रखता है जबकि विलंबता (latency) में 18% (2.1 ms तेज़) की कमी लाता है।
  • चरण 2 ने केवल 0.2 ms के TPOT वृद्धि के साथ चरण 1 के मुकाबले 2.0% सटीकता लाभ प्राप्त किया।

• TeleQnA (टेलीकम्युनिकेशंस QA):

  • संयुक्त सिस्टम ने 23.8 ms के TPOT के साथ 74.3% सटीकता प्राप्त की।
  • यह सबसे मजबूत मॉडल की सटीकता (76.4%) के 2.1% के भीतर है और साथ ही 0.7 ms तेज़ है।
  • चरण 2 ने चरण 1 के मुकाबले 3.1 प्रतिशत अंक की सटीकता रिकवर की।

• विस्तारशीलता (Extensibility): पूल में नए मॉडल जोड़ने वाले प्रयोगों ने दिखाया कि फ्रेमवर्क स्वचालित रूप से डोमिनेटेड मॉडलों को हटा देता है और बेहतर मॉडलों को एकीकृत करता है, जिससे बिना किसी मैनुअल हस्तक्षेप के पारेटो सुधार प्राप्त होता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह फ्रेमवर्क लागत-बाधित वातावरण में LLMs को तैनात करने के लिए एक व्यावहारिक, व्याख्यात्मक समाधान प्रदान करता है, विशेष रूप से टेलीकम्युनिकेशंस जैसे क्षेत्रों में जहाँ ऑन-प्रिमाइसेस परिनियोजन और कम विलंबता महत्वपूर्ण है।

• दक्षता बनाम सटीकता: सिस्टम प्रदर्शित करता है कि ऑपरेटरों को केवल एक मजबूत मॉडल या केवल एक कुशल मॉडल के बीच चयन करने की आवश्यकता नहीं है। इसके बजाय, एक कैस्केडेड दृष्टिकोण लगभग अत्याधुनिक (state-of-the-art) सटीकता बनाए रखते हुए अनुमान लागत (TPOT) को काफी कम कर सकता है।
• परिचालन सरलता (Operational Simplicity): केवल टास्क-करेक्टनेस लेबल और एक व्याख्यात्मक हाइपरपैरामीटर ($\lambda$) पर निर्भर करके, यह फ्रेमवर्क ऑपरेटरों को मॉडल पूल्स को प्रबंधित करने के लिए एक "सरल मार्ग" प्रदान करता है, जिससे प्रेफरेंस डेटा पर जटिल राउटरों को प्रशिक्षित करने की जटिलता से बचा जा सकता है।
• स्केलेबिलिटी: पारेटो विश्लेषण का उपयोग यह सुनिश्चित करता है कि रूटिंग लॉजिक विकसित होते मॉडल्स के साथ मजबूत बना रहे, जिससे यह फ्रेमवर्क गतिशील उत्पादन वातावरणों के लिए उपयुक्त बनता है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि वर्तमान में फ्रेमवर्क ऑफलाइन क्लस्टरिंग पर निर्भर करता है (इन्फरेंस के समय क्वेरी वितरण परिवर्तनों के अनुकूल नहीं होता है) और लागत के प्रॉक्सी के रूप में TPOT का उपयोग करता है, जो क्यूइंग (queueing) या नेटवर्क ओवरहेड को ध्यान में नहीं रखता है। हालांकि, उनका मानना है कि यह फ्रेमवर्क कुशल LLM सर्विंग के लिए एक लागत-जागरूक आधारभूत आर्किटेक्चर प्रदान करता है।