Dynamic Mixed-Precision Routing for Efficient Multi-step LLM Interaction
यह शोध पत्र डायनेमिक मिक्स्ड-प्रिसिजन रूटिंग (DMR) का प्रस्ताव करता है, जो एक दो-चरणीय प्रशिक्षण पाइपलाइन का उपयोग करके प्रत्येक निर्णय चरण में उच्च- और निम्न-परिशुद्धता वाले LLMs के बीच अनुकूल रूप से चयन करने के लिए एक ढांचा है, ताकि लंबी अवधि के बहु-चरणीय कार्यों में इष्टतम सटीकता-लागत संतुलन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल, बहु-चरणीय रहस्य को सुलझाने के लिए जासूसों की एक टीम को काम पर रख रहे हैं (जैसे कि किसी विशाल ऑनलाइन स्टोर में एक विशिष्ट वस्तु को खोजना या एक आभासी घर में नेविगेट करना)।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "जासूस" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। बेहतरीन परिणाम प्राप्त करने के लिए, आप आमतौर पर सबसे महंगे, उच्च प्रशिक्षित वरिष्ठ जासूस (एक हाई-प्रिसिजन मॉडल) को काम पर रखते हैं। वे बुद्धिमान हैं लेकिन धीमे हैं और उन्हें चलाने में बहुत अधिक लागत आती है। वैकल्पिक रूप से, आप तेज़, सस्ते जूनियर जासूसों (एक लो-प्रिसिजन/क्वांटाइज्ड मॉडल) की एक टीम को काम पर रख सकते हैं। वे त्वरित और सस्ते हैं, लेकिन वे कभी-कभी मूर्खतापूर्ण गलतियाँ कर देते हैं या महत्वपूर्ण सुराग छोड़ देते हैं।
समस्या यह है कि लंबे, जटिल कार्यों के लिए कई चरणों की आवश्यकता होती है। यदि आप हर एक चरण के लिए महंगे वरिष्ठ जासूस को काम पर रखते हैं, तो लागत बहुत अधिक हो जाएगी। यदि आप हर चरण के लिए सस्ते जूनियर जासूसों को काम पर रखते हैं, तो वे कठिन हिस्सों पर भ्रमित होकर केस को विफल कर सकते हैं।
यह पेपर एक स्मार्ट समाधान पेश करता है जिसे डायनेमिक मिक्स्ड-प्रिसिजन रूटिंग (DMR) कहा जाता है। इसे एक सुपर-इंटेलिजेंट डिस्पैचर के रूप में समझें जो जासूसों का प्रबंधन करता है।
डिस्पैचर कैसे काम करता है
पूरे काम के लिए केवल एक ही प्रकार के जासूस को काम पर रखने के बजाय, डिस्पैचर जांच को होते हुए देखता है और हर चरण पर एक सेकंड के भीतर निर्णय लेता है:
- आसान चरण: जब कार्य सीधा होता है (जैसे "दरवाजे को देखें" या "लाल शर्ट खोजें"), तो डिस्पैचर काम को सस्ते, तेज़ जूनियर जासूसों को भेज देता है। वे इसे पर्याप्त सटीकता के साथ तेज़ी से संभाल लेते हैं।
- महत्वपूर्ण चरण: जब कार्य किसी "जाल" या जटिल पहेली (जैसे "यह पता लगाना कि कौन सी चाबी ताले वाले बॉक्स को खोलती है" या "अंतिम कीमत पर बातचीत करना") पर पहुँचता है, तो डिस्पैचर तुरंत काम को सही ढंग से पूरा करने के लिए महंगे, वरिष्ठ जासूस को बुला लेता है।
लक्ष्य यह है कि महंगे जासूस का उपयोग केवल तभी किया जाए जब वास्तव में आवश्यक हो, जिससे सफलता के साथ-साथ पैसा और समय भी बचाया जा सके।
डिस्पैचर कैसे सीखता है
यह पेपर बताता है कि डिस्पैचर को "महत्वपूर्ण चरणों" को पहचानने के लिए कैसे प्रशिक्षित किया जाता है:
चरण 1: "शैडोइंग" चरण (KL-डाइवर्जेंस):
कल्पना कीजिए कि डिस्पैचर एक ही केस पर वरिष्ठ जासूस और जूनियर जासूस को अगल-बगल काम करते हुए देखता है। अधिकांश समय, वे क्या करना है इस पर सहमत होते हैं। लेकिन कभी-कभी, जूनियर जासूस भ्रमित हो जाता है और गलत कदम का सुझाव देता है। डिस्पैचर उन विशिष्ट क्षणों को पहचानना सीख जाता है जहाँ दोनों जासूसों के बीच असहमति होती है। वह सीखता है: "आह, जब भी जूनियर जासूस लड़खड़ाने लगता है, मुझे वरिष्ठ जासूस को बुलाने की ज़रूरत है।"चरण 2: "प्रैक्टिस रन" चरण (रीइन्फोर्समेंट लर्निंग):
एक बार जब डिस्पैचर बुनियादी बातें जान जाता है, तो वह वास्तविक अभ्यास सत्रों पर जाता है। वह विभिन्न रणनीतियों को आजमाता है: "क्या होगा यदि मैं यहाँ वरिष्ठ जासूस को बुलाऊं? क्या होगा यदि मैं प्रतीक्षा करूँ?" उसे दो चीजों के आधार पर एक स्कोर मिलता है: क्या हमने केस सुलझा लिया? और हमने कितना समय/पैसा खर्च किया? समय के साथ, वह सबसे अधिक मामलों को हल करने के लिए न्यूनतम लागत के साथ सही संतुलन सीख जाता है।
परिणाम
शोधकर्ताओं ने इस प्रणाली का परीक्षण दो वास्तविक दुनिया के परिदृश्यों पर किया:
- WebShop: एक एजेंट जो ऑनलाइन खरीदारी करने के लिए वस्तुओं को खोजने और क्लिक करने का प्रयास करता है।
- ALFWorld: एक एजेंट जो वस्तुओं को उठाने और रखने के माध्यम से एक आभासी कमरे को व्यवस्थित करने का प्रयास करता है।
निष्कर्ष स्पष्ट थे:
- "हमेशा सस्ता" दृष्टिकोण: तेज़, लेकिन अक्सर कार्य में विफल रहा क्योंकि जूनियर जासूस कठिन चरणों पर फंस गए।
- "हमेशा महंगा" दृष्टिकोण: बहुत सफल, लेकिन अविश्वसनीय रूप से धीमा और महंगा।
- "डिस्पैचर" (DMR) दृष्टिकोण: इसने महंगे वरिष्ठ जासूस के लगभग समान सफलता दर हासिल की, लेकिन इसने बहुत तेज़ी से और कम लागत में काम किया। कई मामलों में, यह वरिष्ठ जासूस के लगभग बराबर था, लेकिन इसने लगभग 60-80% काम के लिए सस्ते जूनियर जासूसों का उपयोग किया।
मुख्य बात
यह पेपर दिखाता है कि आपको "महंगा और स्मार्ट" या "सस्ता और मंदबुद्धि" में से किसी एक को चुनने की आवश्यकता नहीं है। एक स्मार्ट राउटर का उपयोग करके जो वर्तमान चरण की कठिनाई के आधार पर दोनों के बीच गतिशील रूप से स्विच करता है, आप दोनों का सर्वश्रेष्ठ प्राप्त कर सकते हैं: उच्च सफलता दर के साथ काफी कम लागत। यह एक ऐसी टीम की तरह है जहाँ जूनियर कर्मचारी नियमित काम संभालते हैं, और विशेषज्ञ केवल तभी हस्तक्षेप करता है जब स्थिति वास्तव में कठिन हो जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।