Routesplain: Towards Faithful and Intervenable Routing for Software-related Tasks
Routesplain सॉफ्टवेयर-संबंधी कार्यों के लिए पहला व्याख्या योग्य (interpretable) LLM राउटर है जो सटीक रूटिंग निर्णय लेने के लिए क्वेरीज़ से मानव-समझने योग्य अवधारणाओं को निकालता है, जो सटीकता और लागत में व्यक्तिगत मॉडलों और ब्लैक-बॉक्स बेसलाइन दोनों से बेहतर प्रदर्शन करता है और अवधारणा-स्तर के हस्तक्षेपों को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, भविष्यवादी पुस्तकालय में प्रवेश कर रहे हैं जहाँ हजारों अलग-अलग रोबोट आपके सवालों के जवाब देने के लिए इंतजार कर रहे हैं। कुछ रोबोट बेहद प्रतिभाशाली जीनियस हैं जो जटिल गणित की समस्याओं को हल कर सकते हैं लेकिन उन्हें काम पर रखने के लिए बहुत अधिक धन की आवश्यकता होती है। अन्य त्वरित, सस्ते कार्यकर्ता हैं जो सरल कहानियाँ लिखने में माहिर हैं लेकिन पेचीदा पहेलियों में उलझ सकते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन रोबलों को "लार्ज लैंग्वेज मॉडल्स" (LLMs) कहा जाता है। वे उन चैटबॉट्स और कोड सहायकों के पीछे के इंजन हैं जिनका हम आज उपयोग करते हैं। लेकिन यहाँ एक पेंच है: हर रोबोट हर काम के लिए अच्छा नहीं होता। कभी-कभी, आपको किसी जीनियस की जरूरत नहीं होती; आपको बस एक त्वरित, किफायती कार्यकर्ता की जरूरत होती है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हम यह कैसे जानें कि आपके पास मौजूद विशिष्ट कार्य के लिए कौन सा रोबोट चुनना है, बिना पैसा बर्बाद किए या गलत उत्तर प्राप्त किए?
यहीं "रूटिंग" (routing) का विचार आता है। रूटिंग को एक स्मार्ट लाइब्रेरियन की तरह समझें जो आपके सवाल को सुनता है, यह समझता है कि आपको किस तरह की मदद की आवश्यकता है, और फिर आपको लाइब्रेरी में सही रोबोट की ओर इशारा करता है। लंबे समय तक, ये लाइब्रेरियन "ब्लैक बॉक्स" थे। वे गुप्त, जटिल गणित के आधार पर निर्णय लेते थे जिसे कोई देख या समझ नहीं सकता था। यदि लाइब्रेरियन ने आपको गलत रोबोट के पास भेज दिया, तो आपको पता भी नहीं चलता था कि क्यों, और आप वास्तव में इसे ठीक नहीं कर सकते थे। यह नया पेपर एक नए प्रकार के लाइब्रेरियन का परिचय देता है जो अलग है: यह केवल अनुमान नहीं लगाता; यह निर्णय लेने से पहले अपनी सोच को सरल भाषा में समझाता है।
Routesplain से मिलिए: वह लाइब्रेरियन जो अपने चुनाव स्पष्ट करता है
इस पेपर के लेखकों ने, कोलंबिया यूनिवर्सिटी और ओरेकल एआई (Oracle AI) के शोधकर्ताओं के साथ मिलकर, Routesplain नामक एक नया सिस्टम बनाया है। उनका लक्ष्य एक बहुत ही विशिष्ट समस्या को हल करना था: सॉफ्टवेयर संबंधी प्रश्नों (जैसे "इस टूटे हुए कोड को ठीक करें" या "पायथन में एक प्रोग्राम लिखें") को सबसे अच्छे एआई मॉडल तक कैसे पहुँचाया जाए, जबकि पैसा भी बचाया जा सके और यह भी सुनिश्चित किया जा सके कि उत्तर वास्तव में सही है।
यह तय करने के लिए कि किस एआई का उपयोग किया जाए, एक रहस्यमय ब्लैक बॉक्स का उपयोग करने के बजाय, Routesplain एक जासूस की तरह काम करता है जो हर प्रश्न को सरल, समझने योग्य सुरागों में तोड़ देता है। वे इन सुरागों को "कॉन्सेप्ट्स" (concepts) कहते हैं। जब आप एक प्रश्न पूछते हैं, तो Routesplain केवल शब्दों को नहीं देखता; वह खुद से कुछ विशिष्ट प्रश्न पूछता है:
- कार्य क्या है? (क्या यह कोड लिखना है, बग ठीक करना है, या विज्ञान का कोई प्रश्न है?)
- इसमें कौन सी भाषा शामिल है? (क्या यह पायथन है, रस्ट (Rust) है, या शायद स्पेनिश जैसी कोई विशिष्ट प्राकृतिक भाषा है?)
- यह कितना कठिन है? (क्या यह एक साधारण अनुरोध है या एक अत्यंत जटिल पहेली?)
- इसका डोमेन (क्षेत्र) क्या है? (क्या यह नेटवर्क, समय, या सामान्य गणित के बारे में है?)
एक बार जब Routesplain इन कॉन्सेप्ट्स की पहचान कर लेता है, तो वह यह तय करने के लिए दूसरे चरण का उपयोग करता है कि कौन सा एआई मॉडल सबसे उपयुक्त है। यह यह कहने जैसा है, "ओह, यह एक पेचीदा रस्ट प्रोग्रामिंग समस्या है, इसलिए हमें इसे रस्ट-विशेषज्ञ रोबोट के पास भेजना चाहिए, न कि सस्ते जनरल मॉडल के पास।"
यह क्यों महत्वपूर्ण है: "ब्लैक बॉक्स" की समस्या
इस पेपर से पहले, एआई मॉडल चुनने वाले अधिकांश सिस्टम एक 'मैजिक 8-बॉल' की तरह थे। आपने एक प्रश्न पूछा, और उसने एक उत्तर दिया, लेकिन आप उसके पीछे के तर्क को देख नहीं सकते थे। लेखक तर्क देते हैं कि यह बुरा है क्योंकि यदि सिस्टम गलती करता है, तो आप उसे ठीक नहीं कर सकते। Routesplain अलग है क्योंकि यह व्याख्यात्मक (interpretable) है। यह आपको वे कॉन्सेप्ट्स दिखाता है जिनका उपयोग इसने निर्णय लेने के लिए किया था। यदि आपको लगता है कि सिस्टम ने कार्य की कठिनाई को गलत समझा है, तो आप वास्तव में हस्तक्षेप कर सकते हैं और कह सकते, "रुको, यह कठिन नहीं, बल्कि आसान है," और सिस्टम तुरंत अपना मन बदल लेगा और एक अलग, सस्ता रोबोट चुनेगा। इसे हस्तक्षेप (intervention) कहा जाता है, और यह एक गेम-चेंजर है क्योंकि यह मनुष्यों को नियंत्रण में वापस लाता है।
बड़ा परीक्षण: 16 रोबोट, 8 कार्य
यह देखने के लिए कि क्या उनका विचार काम कर रहा है, शोधकर्ताओं ने एक विशाल परीक्षण आयोजित किया। उन्होंने 16 सबसे उन्नत एआई मॉडल्स को इकट्ठा किया (जिसमें GPT-4.1, o3, और Llama 4 जैसे बड़े नाम शामिल हैं) और उनका 8 अलग-अलग प्रकार के सॉफ्टवेयर कार्यों पर परीक्षण किया। इन कार्यों में कोड लिखना और टूटे हुए प्रोग्रामों को ठीक करने से लेकर 29 विभिन्न भाषाओं में कंप्यूटर विज्ञान के प्रश्नों के उत्तर देना शामिल था।
उन्होंने पाया कि कुछ चौंकाने वाला था: अलग-अलग मॉडल अलग-अलग कामों में बहुत अलग होते हैं।
- कुछ मॉडल कोड ठीक करने में अद्भुत थे लेकिन उसे लिखने में बहुत खराब।
- कुछ मॉडल अंग्रेजी में बेहतरीन थे लेकिन हिंदी या वॉलोफ (Wolof) जैसी भाषाओं में संघर्ष करते थे।
- कुछ मॉडल बहुत महंगे थे लेकिन साधारण कार्यों के लिए सस्ते मॉडल्स की तुलना में केवल थोड़े ही बेहतर थे।
इन अंतरों के कारण, हर चीज़ के लिए केवल "सबसे स्मार्ट" मॉडल चुनना पैसे की बर्बादी थी। कभी-कभी, एक सस्ता मॉडल वास्तव में सबसे अच्छा विकल्प होता था।
परिणाम: स्मार्ट और सस्ता
जब उन्होंने Routesplain को परखने के लिए लगाया, तो इसने कुछ अविश्वसनीय किया। इसने सबसे उन्नत "ब्लैक बॉक्स" सिस्टम के प्रदर्शन के बराबर प्रदर्शन किया (जो समझने में कठिन होते हैं), लेकिन यह पैसा बचाने में बहुत बेहतर था।
- सटीकता (Accuracy): Routesplain ने सबसे अच्छे ब्लैक-बॉक्स राउटरों के प्रदर्शन की बराबरी की।
- लागत (Cost): सही मॉडल तक प्रश्नों को पहुँचाकर, इसने बहुत पैसा बचाया। उदाहरण के लिए, यह केवल एक ही मॉडल का उपयोग करने की तुलना में 8.5 प्रतिशत अंक अधिक सटीक उत्तर प्राप्त कर सकता था, जबकि इसने 39% कम खर्च किया।
- बाधा (The Bottleneck): शोधकर्ताओं ने यह जानने के लिए भी अपने "व्याख्यात्मक" सिस्टम का उपयोग किया कि चीजें कहाँ गलत हुईं। उन्होंने पाया कि सिस्टम द्वारा की गई सबसे बड़ी गलती यह अनुमान लगाना था कि कार्य कितना जटिल (complex) है। यदि सिस्टम ने एक कठिन कार्य को आसान समझ लिया, तो उसने एक सस्ता मॉडल चुना और गलत उत्तर मिला। यह भविष्य के इंजीनियरों को बताता है कि उन्हें वास्तव में क्या ठीक करने की आवश्यकता है: "जटिलता डिटेक्टर" (complexity detector) को और स्मार्ट बनाना।
निष्कर्ष
यह पेपर सुझाव देता है कि हमें निर्णय लेने के लिए रहस्यमय, अस्पष्ट एआई पर निर्भर रहने की आवश्यकता नहीं है। प्रश्नों को "भाषा", "डोमेन" और "कठिनाई" जैसे सरल, मानव-पठनीय कॉन्सेप्ट्स में तोड़कर, हम ऐसे रूटिंग सिस्टम बना सकते हैं जो न केवल सटीक हैं, बल्कि निष्पक्ष, पारदर्शी और संपादन योग्य भी हैं।
लेखक दिखाते हैं कि हम अपनी इच्छा पूरी करते हुए भी लाभ उठा सकते: हम सस्ते मॉडल्स की कम लागत के साथ सबसे स्मार्ट एआई मॉडल्स के उच्च प्रदर्शन को प्राप्त कर सकते हैं, और यह भी जान सकते हैं कि निर्णय क्यों लिया गया था। यह एक ऐसे लाइब्रेरियन की तरह है जो न केवल आपको एक किताब की ओर इशारा करता है, बल्कि कहता है, "मैंने इसे इसलिए चुना क्योंकि आपने एक मिस्ट्री उपन्यास मांगा था, और यह लाइब्रेरी में सबसे अच्छा मिस्ट्री उपन्यास है," और यदि आप कहते हैं, "नहीं, मैं वास्तव में एक रोमांस चाहता हूँ," तो लाइब्रेरियन बिना आपके कमरे से बाहर जाए तुरंत किताब बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।