Most of the LLM routing gap is task type
यह शोध पत्र तर्क देता है कि LLM रूटिंग प्रदर्शन में कथित अंतर मुख्य रूप से मॉडल चयन की जटिलता के बजाय कार्य प्रकार (task type) के कारण है, जो यह प्रदर्शित करता है कि कार्य प्रकार और भाषा पर आधारित एक सरल स्थिर रूटिंग रणनीति (static routing strategy), सीखे गए राउटरों और सर्वश्रेष्ठ एकल मॉडल से बेहतर प्रदर्शन करती है और साथ ही लागत को भी महत्वपूर्ण रूप से कम करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, लार्ज लैंग्वेज मॉडल्स शक्तिशाली डिजिटल मस्तिष्क के रूप में कार्य करते हैं जो सवालों के जवाब देने, कोड लिखने और पहेलियाँ सुलझाने में सक्षम हैं। हालाँकि, कोई भी एकल मॉडल हर चीज़ में पूर्ण नहीं होता; कुछ गणित में उत्कृष्ट होते हैं जबकि अन्य रचनात्मक लेखन में संघर्ष करते हैं, और एक मॉडल जो अंग्रेजी में शानदार हो सकता है, वह हिंदी बोलने के लिए पूछे जाने पर लड़खड़ा सकता है। सर्वोत्तम परिणाम प्राप्त करने के लिए, इंजीनियरों ने "राउटर्स" (routers) विकसित किए हैं, जो स्मार्ट सिस्टम हैं जिन्हें उपयोगकर्ता के प्रश्न को देखने और तुरंत यह तय करने के लिए डिज़ाइन किया गया है कि उपलब्ध मॉडलों के समूह में से कौन सा मॉडल उसका उत्तर देने के लिए सबसे उपयुक्त है। लक्ष्य सरल है: सवाल को सही विशेषज्ञ तक पहुँचाना ताकि पैसे बचाए जा सकें और एक बेहतर उत्तर प्राप्त किया जा सके जो किसी एकल मॉडल द्वारा अकेले प्रदान किए जाने वाले उत्तर से बेहतर हो। लेकिन इन राउटर्स के काम करने के लिए, उन्हें इस बात में सक्षम होना चाहिए कि वे उन सवालों के बीच अंतर कर सकें जो एक मॉडल के लिए आसान हैं और दूसरे के लिए कठिन, और यह पूरी निरंतरता के साथ हो।
जंगहून ली का एक हालिया अध्ययन इस धारणा को चुनौती देता है कि ये राउटर उतने परिष्कृत हो सकते हैं जितनी हम उम्मीद करते हैं। शोधकर्ताओं ने यह समझने की कोशिश की कि वर्तमान राउटिंग सिस्टम अक्सर केवल सबसे मजबूत उपलब्ध मॉडल का उपयोग करने की सरल रणनीति को हराने में क्यों विफल रहते हैं। उन्होंने चौदह अलग-अलग एआई मॉडलों, कोडिंग से लेकर कानूनी दस्तावेज़ निष्कर्षण तक सात विशिष्ट प्रकार के कार्यों और तीन भाषाओं: अंग्रेजी, कोरियाई और हिंदी को शामिल करते हुए एक विशाल टेस्ट मैट्रिक्स बनाया। उन्होंने प्रत्येक मॉडल को उनके परीक्षण सेट के सभी 294 प्रश्नों का उत्तर देने के लिए कहा, और फिर उन्होंने परिणामों की स्थिरता देखने के लिए पूरे प्रयोग को समान परिस्थितियों में दो बार चलाया। उन्होंने जो खोजा वह यह था कि सर्वोत्तम संभव परिणाम और जो वर्तमान राउटर हासिल करते हैं, उसके बीच का अंतर जटिल एल्गोरिदम की कमी के कारण नहीं है, बल्कि इस तथ्य के कारण है कि अधिकांश "छूटे हुए" प्रश्न वास्तव में बहुत आसानी से अनुमानित किए जा सकते हैं यदि आप केवल कार्य के प्रकार और शामिल भाषा को देखें।
अध्ययन की शुरुआत 4,116 मॉडल-प्रश्न संयोजनों को दो बार चलाने से हुई। यहाँ तक कि कंप्यूटर सेटिंग्स को पूरी तरह से नियत (deterministic) होने के लिए लॉक करने के बावजूद, परिणाम एक समान नहीं थे। लगभग 5.37 प्रतिशत मामलों में, एक मॉडल जिसने पहली बार में उत्तर सही दिया था, उसने दूसरी बार गलत उत्तर दिया, या इसके विपरीत। यह उतार-चढ़ाव, जिसे शोधकर्ता "पुनरुत्पादकता फ्लोर" (reproducibility floor) कहते हैं, का अर्थ है कि कोई भी सुधार जो एक राउटर दावा करता है, उसे वास्तविक माने जाने के लिए इस प्राकृतिक शोर (noise) से बड़ा होना चाहिए। जब शोधकर्ताओं ने एक सख्त नियम लागू किया—एक उत्तर को तभी सही माना जब मॉडल ने दोनों रन में इसे सही बताया हो—तो उन्होंने पाया कि 294 में से केवल 29 प्रश्नों में राउटिंग द्वारा सुधार किया जा सकता था। यह एक बहुत छोटी संख्या है, और यह उस वास्तविक "सीलिंग" (ceiling) का प्रतिनिधित्व करती है जो एक राउटर इस विशिष्ट डेटा सेट पर हासिल कर सकता है।
शोधकर्ताओं ने फिर पूछा कि इन 29 कठिन प्रश्नों में क्या समानता थी। उन्होंने पाया कि उनमें से अधिकांश का निर्धारण किए जाने वाले कार्य के प्रकार द्वारा किया जाता था। उदाहरण के लिए, यदि कोई प्रश्न कोडिंग के बारे में था, तो एक विशिष्ट मॉडल लगभग हमेशा सबसे अच्छा विकल्प था, चाहे राउटर की गणना कितनी भी जटिल क्यों न हो। कोडिंग के सभी प्रश्नों को संभालने के लिए एक विशिष्ट मॉडल और गणित के प्रश्नों के लिए एक अलग मॉडल को सौंपकर, शोधकर्ता बिना किसी सीखी गई बुद्धिमत्ता या जटिल निर्णय लेने की प्रक्रिया के उन 29 कठिन प्रश्नों में से 21 को सफलतापूर्वक हल कर सके। प्रश्न की भाषा को इस सरल नियम में जोड़ने से दो और प्रश्न हल हो गए। इससे केवल 294 में से छह प्रश्न बचे जो अन-ऑप्टिमाइज्ड (unoptimized) रह गए थे, एक ऐसी संख्या जो इतनी छोटी थी कि वह शोधकर्ताओं द्वारा मापे गए प्राकृतिक शोर के स्तर से नीचे गिर गई। दूसरे शब्दों में, एक परिष्कृत राउटर द्वारा खोजे जाने वाले लाभ की सूक्ष्म मात्रा उस यादृच्छिक भिन्नता से भी कम थी जो एक ही परीक्षण को दो बार चलाने मात्र से उत्पन्न होती है।
इसके अलावा, अध्ययन ने खुलासा किया कि "सर्वश्रेष्ठ" एकल मॉडल की पहचान एक निश्चित तथ्य नहीं है, बल्कि यह पूरी तरह से इस बात पर निर्भर करती है कि आप सफलता को कैसे मापते हैं। इस आधार पर कि आप एक एकल रन के आधार पर प्रश्न को सही मानते हैं या दो रन में इसे सही होने की आवश्यकता होती है, या क्या आप उन प्रश्नों को बाहर करते हैं जहाँ मॉडल की मेमोरी समाप्त हो गई थी, एक अलग मॉडल "सर्वश्रेष्ठ" का खिताब जीत जाएगा। कुछ मामलों में, शीर्ष मॉडल और दूसरे स्थान वाले मॉडल के बीच का अंतर इतना कम था—294 में से एक आइटम से भी कम—कि वह सिस्टम के प्राकृतिक शोर से अविभाज्य था। यह सुझाव देता है कि इस डेटासेट पर "कौन सा मॉडल सबसे अच्छा है?" प्रश्न का कोई एकल, स्थिर उत्तर नहीं है, जिससे एक राउकर के लिए विजेता चुनने के लिए एक विश्वसनीय नियम सीखना कठिन हो जाता है।
एक जटिल, सीखा हुआ राउटर बनाने के बजाय, शोधकर्ताओं ने एक 'स्टैटिक लुकअप टेबल' (static lookup table) को अपनाया। यह एक सरल, पूर्व-निर्मित सूची है जो कहती है: "यदि प्रश्न कोरियाई में कोडिंग के बारे में है, तो इसे मॉडल A को भेजें; यदि यह अंग्रेजी में गणित के बारे बारे में है, तो इसे मॉडल B को भेजें।" इस स्टैटिक टेबल ने, जिसमें किसी प्रशिक्षण या सीखने की आवश्यकता नहीं थी, 294 में से 262 प्रश्नों का सही उत्तर देने में सफलता प्राप्त की। इससे भी महत्वपूर्ण बात यह है कि इसने प्रति रन लगभग 7.69 खर्च करता। स्टैटिक टेबल न केवल अधिक सटीक थी, बल्कि काफी सस्ती भी थी, जिसने दोनों मोर्चों पर सर्वश्रेष्ठ एकल मॉडल को पछाड़ दिया।
अध्ययन निष्कर्ष निकालता है कि राउटिंग का वादा छिपे हुए पैटर्न खोजने के लिए तेजी से जटिल सिस्टम बनाने में नहीं है, बल्कि यह पहचानने में है कि सबसे मूल्यवान पैटर्न अक्सर सतह पर ही दिखाई देते हैं। सर्वोत्तम संभव परिणाम और वर्तमान वास्तविकता के बीच की दूरी काफी हद तक उन कार्य प्रकारों और भाषाओं से बनी है जिन्हें तुरंत पहचाना जा सकता है। एक बार जब इन को एक सरल, स्थिर नियम के साथ व्यवस्थित कर दिया जाता है, तो सुधार की शेष गुंजाइश इतनी कम हो जाती है कि वह स्वयं सिस्टम के शोर में खो जाती है। शोधकर्ता तर्क देते हैं कि जटिल राउटिंग एल्गोरिदम में निवेश करने से पहले, हमें पहले यह पूछना चाहिए कि अनुरोध में उत्तर का कितना हिस्सा पहले से ही दृश्यमान है। इस मामले में, उत्तर यह था कि अधिकांश लाभ पहले से ही मौजूद था, जो एक जटिल मशीन के बजाय एक सरल तालिका द्वारा पकड़े जाने की प्रतीक्षा कर रहा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।