LLM Router: Prefill is All You Need
यह शोध पत्र LLM Router को प्रस्तुत करता है, जो एक ऐसा सिस्टम है जो एनकोडर-टारगेट डिकपलिंग (Encoder-Target Decoupling) तंत्र के माध्यम से आंतरिक प्रीफिल एक्टिवेशन्स (prefill activations) का लाभ उठाता है और विषम मॉडल पेयरिंग (heterogeneous model pairing) के लिए इष्टतम लेयर-वार सिग्नल्स को गणितीय रूप से अलग करके महत्वपूर्ण लागत बचत के साथ लगभग ओरेकल रूटिंग सटीकता (near-Oracle routing accuracy) प्राप्त करने के लिए शेयर्डट्रंकनेट (SharedTrunkNet) आर्किटेक्चर का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च श्रेणी का रेस्तरां चला रहे हैं। आपके पास 30 अलग-अलग शेफ (AI मॉडल) का मेनू है, जो एक तेज़, सस्ते लाइन कुक से लेकर एक महंगे, विश्व प्रसिद्ध मिशलिन-स्टार शेफ तक फैले हुए हैं।
समस्या:
आमतौर पर, जब कोई ग्राहक किसी व्यंजन का ऑर्डर देता है, तो मैनेजर को यह अनुमान लगाना पड़ता है कि कौन सा शेफ सबसे अच्छा काम करेगा।
- यदि वे एक साधारण "ग्रिल्ड चीज़" का ऑर्डर किसी मिशलिन शेफ को भेज देते हैं, तो वे एक बड़ी धनराशि बर्बाद कर देते हैं।
- यदि वे एक जटिल "सुशी प्लैटर" का ऑर्डर लाइन कुक को भेज देते हैं, तो खाना बहुत खराब बनकर आता है।
- वर्तमान सिस्टम शब्दों को पढ़कर (जैसे, "सुशी" = विशेषज्ञ के पास भेजें) अनुमान लगाने की कोशिश करते हैं। लेकिन यह किताब के कवर को देखकर उसे आंकने जैसा है। कभी-कभी एक साधारण दिखने वाला सवाल वास्तव में एक जाल हो सकता है जिसमें विशेषज्ञों को भी संघर्ष करना पड़ता है, और कभी-कभी एक जटिल दिखने वाला सवाल नौसिखियों के लिए आसान हो सकता है। वर्तमान "मैनेजर" (राउटर्स) अक्सर गलत होते हैं क्योंकि वे किसी विशिष्ट शेफ के लिए कार्य की वास्तविक कठिनाई को नहीं समझते हैं।
समाधान: "LLM राउटर"
यह पेपर एक नए प्रकार के मैनेजर से परिचय कराता है जिसे LLM राउटर कहा जाता है। केवल ऑर्डर को पढ़ने के बजाय, यह एक विशेष ट्रिक का उपयोग करता है जिससे वह काम शुरू करने से पहले ही शेफ के दिमाग में झाँक सकता है।
यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ तोड़कर समझाया गया है:
1. "प्रीफिल" पीक (क्रिस्टल बॉल/भविष्य बताने वाला गोला)
जब एक AI किसी प्रश्न के बारे में सोचना शुरू करता है, तो वह उत्तर उत्पन्न करने से पहले इनपुट को प्रोसेस करने के लिए एक "प्रीफिल" चरण से गुजरता है। इस एक सेकंड के अंश के दौरान, AI के आंतरिक न्यूरॉन्स विशिष्ट पैटर्न में सक्रिय होते हैं।
लेखकों ने पाया कि यदि आप इन आंतरिक "न्यूरॉन स्पार्क्स" (न्यूरॉन की चिंगारियों) को देखते हैं, तो AI के बोलने से पहले ही आप यह बता सकते हैं कि वह उत्तर सही देगा या गलत। यह एक शेफ द्वारा किसी सामग्री पर एक नज़र डालने जैसा है और तुरंत जान जाना कि, "मैं इसे नहीं बना पाऊंगा," या "यह मेरे लिए आसान है।"
2. "विदेशी" अनुवादक (एनकोडर-टारगेट डिकपलिंग)
यही जादुई ट्रिक है: आपको महंगे शेफ को अपने दिमाग की जांच करने के लिए कहने की आवश्यकता नहीं है। वह बहुत धीमा और महंगा होगा।
इसके बजाय, सिस्टम एक छोटे, सस्ते, ओपन-सोर्स AI (एनकोडर) का उपयोग करता है जो प्रश्न को देखता है और महंगे, क्लोज्ड-सोर्स AI (टारगेट) की सोचने की प्रक्रिया की नकल करता है।
- उपमा: कल्पना कीजिए कि आप जानना चाहते हैं कि क्या एक प्रसिद्ध, एकांतप्रिय चित्रकार (टारगेट) एक विशिष्ट परिदृश्य (लैंडस्केप) बना सकता है। इसके बजाय कि आप चित्रकार से पूछें (जो सिर्फ देखने के लिए $10,000 चार्ज करता है), आप एक प्रतिभाशाली कला छात्र (एनकोडर) से उस परिदृश्य को देखने के लिए कहते हैं और पूछते हैं, "यदि मैं प्रसिद्ध चित्रकार होता, तो मुझे इसमें संघर्ष करना पड़ता।"
- परिणाम: आश्चर्यजनक रूप से, एक कला छात्र अक्सर प्रसिद्ध चित्रकार के अपने आंतरिक संकेतों की तुलना में चित्रकार की सफलता का अनुमान लगाने में बेहतर होता है! यह सिस्टम को महंगे मॉडलों को प्रबंधित करने के लिए सस्ते मॉडलों का उपयोग करने की अनुमति देता है।
3. "स्वीट स्पॉट" लेयर खोजना
AI मॉडल्स में प्रसंस्करण के कई स्तर (एक प्याज की परतों की तरह) होते हैं। शोध में पाया गया कि बिल्कुल अंतिम परत को देखना हमेशा सबसे अच्छा नहीं होता है।
- उन्होंने एक "सही" विचार और एक "गलत" विचार के बीच का अंतर कहाँ सबसे स्पष्ट होता है, यह खोजने के लिए फिशर सेपरेबिलिटी (Fisher Separability) नामक एक गणितीय उपकरण का उपयोग किया।
- उपमा: यह एक रेडियो ट्यून करने जैसा है। आप केवल शोर (स्टैटिक) को नहीं सुनते; आप उस सटीक फ्रीक्वेंसी को ढूंढते हैं जहाँ संगीत एकदम स्पष्ट होता है। उन्होंने हर AI मॉडल के लिए अपनी सफलता का अनुमान लगाने के लिए सटीक "फ्रीक्वेंसी" खोजी।
4. "SharedTrunkNet" (स्मार्ट मैनेजर)
सिस्टम में SharedTrunkNet नामक एक केंद्रीय मस्तिष्क होता है। यह सस्ते अनुवादक के "न्यूरॉन स्पार्क्स" को देखता है और साथ ही साथ भविष्यवाणी करता है:
- शेफ A के इस काम को सही करने की कितनी संभावना है?
- शेफ B के इस काम को सही करने की कितनी संभावना है?
- शेफ A को काम पर रखने बनाम शेफ B को काम पर रखने की लागत कितनी होगी?
इसके बाद यह सबसे अच्छी वैल्यू (मूल्य) चुनता है: सबसे सस्ता शेफ जो अभी भी काम पूरा करने की संभावना रखता है।
परिणाम: यह क्यों मायने रखता है
शोधकर्ताओं ने मॉडल्स के एक बड़े समूह (छोटे, सस्ते से लेकर विशाल, महंगे मॉडल्स तक) पर इसका परीक्षण किया।
- द ऑरेकल (The Oracle): कल्पना कीजिए कि एक "गॉड-मोड" मैनेजर जो भविष्य जानता है और हमेशा सही शेफ चुनता है। यह सैद्धांतिक रूप से सर्वश्रेष्ठ है।
- द स्टैंडअलोन (The Standalone): हर चीज़ के लिए केवल एक ही सबसे अच्छे शेफ को चुनना।
- परिणाम: उनके नए राउटर ने "गॉड-मोड" मैनेजर और "बस सबसे अच्छे शेफ को चुनने" वाले दृष्टिकोण के बीच के अंतर को 45% तक कम कर दिया।
- बचत: उन्होंने हर कार्य के लिए सबसे महंगे शेफ का उपयोग करने की तुलना में 74% पैसा बचाया, बिना सटीकता से बहुत अधिक समझौता किए।
संक्षेप में
यह पेपर हमें सिखाता है कि हमें यह अनुमान लगाने की आवश्यकता नहीं है कि कौन सा AI सबसे अच्छा है केवल प्रश्न को पढ़कर। इसके बजाय, हम महंगे AI के आंतरिक संकेतों में झाँकने के लिए एक सस्ते, स्मार्ट "स्काउट" का उपयोग कर सकते हैं। यह हमें कार्यों को तुरंत सही मॉडल तक भेजने की अनुमति देता है, जिससे गुणवत्ता को उच्च रखते हुए भारी मात्रा में पैसा बचाया जा सकता है।
मुख्य बात: AI से यह न पूछें कि वह क्या सोचता है; बल्कि उसके बोलने से पहले यह देखें कि वह कैसे सोचता है, और उसके लिए देखने के लिए एक सस्ते स्काउट को काम पर लगा दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।