HugSelect: An Explainable Multi-Criteria Decision-Support Framework for foundation-model selection

कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में कदम रख रहे हैं जहाँ अलमारियाँ बादलों तक ऊँची हैं और कोहरे में विलीन हो रही हैं। यह किताबों का नहीं, बल्कि "फाउंडेशन मॉडल्स" (foundation models) का पुस्तकालय है—वे विशाल, पुन: प्रयोज्य मस्तिष्क-सर्किट जो चैटबॉट्स से लेकर मेडिकल डायग्नोस्टिक टूल्स तक सब कुछ संचालित करते हैं। सॉफ्टवेयर इंजीनियरिंग की दुनिया में, ये मॉडल एक कार के इंजन की तरह हैं; आप उन्हें केवल इसलिए नहीं चुन सकते क्योंकि वे देखने में अच्छे लगते हैं या वे सबसे लोकप्रिय ब्रांड हैं। आपको यह जानना होगा कि क्या वे आपके विशिष्ट चेसिस में फिट बैठते हैं, क्या वे आपके पास उपलब्ध ईंधन पर चलते हैं, और क्या वे ऊबड़-खाबड़ रास्ते पर आने पर टूट तो नहीं जाएंगे।

समस्या यह है कि यह पुस्तकालय इतनी तेज़ी से बढ़ रहा है कि कोई भी इंसान हर लेबल को पढ़ नहीं सकता। आमतौर पर, लोग सबसे अधिक डाउनलोड की गई वस्तु को उठा लेते हैं या किसी सुपर-स्मार्ट रोबोट (एक AI) से सलाह मांग लेते हैं। लेकिन एक रोबोट से पूछना एक जादूगर से रेसिपी पूछने जैसा है; वे आपको एक स्वादिष्ट उत्तर दे सकते हैं, लेकिन आपको पता नहीं चलेगा कि उन्होंने इसे कैसे बनाया, और कभी-कभी वे बस मनगढ़ंत बातें भी बना सकते हैं। शोधकर्ताओं की एक टीम द्वारा लिखा गया यह शोध पत्र एक सरल लेकिन पेचीदा सवाल पूछता है: जब पुस्तकालय इतना बड़ा हो कि उसे पढ़ा न जा सके और जादूगर थोड़े रहस्यमयी हों, तो हम अपनी कार के लिए सही इंजन कैसे चुनें? वे चुनने का एक नया तरीका प्रस्तावित करते हैं जो केवल अनुमान नहीं लगाता, बल्कि वास्तव में यह बताता है कि उसने जो चुना वह क्यों चुना, जिससे एक जादुई अनुमान एक स्पष्ट, ऑडिट करने योग्य चेकलिस्ट में बदल जाता है।

---

समस्या: "लोकप्रियता प्रतियोगिता" का जाल

अभी, यदि आप Hugging Face जैसे प्लेटफॉर्म पर एक फाउंडेशन मॉडल खोजना चाहते हैं, तो यह केवल इस आधार पर नया फोन खरीदने जैसा है कि कितने लोगों ने इसे खरीदा है। आप "डाउनलोड्स" या "लाइक्स" के आधार पर क्रमबद्ध सूची देखते हैं। लेकिन लोकप्रियता, प्रदर्शन के समान नहीं है। सिर्फ इसलिए कि कोई मॉडल प्रसिद्ध है, इसका मतलब यह नहीं है कि वह आपके विशिष्ट कार्य को कर सकता है, जैसे प्राचीन भाषाओं का अनुवाद करना या एक छोटे लैपटॉप पर चलना।

लेखकों का तर्क है कि मॉडल चुनना केवल एक कीवर्ड सर्च या लोकप्रियता की प्रतियोगिता नहीं होना चाहिए। यह एक जटिल सॉफ्टवेयर इंजीनियरिंग निर्णय है। आपको कार्यात्मक आवश्यकताओं (क्या यह कोड लिख सकता है?), परिचालन संबंधी बाधाओं (क्या यह मेरी मेमोरी में फिट बैठता है?), और गुणवत्ता संबंधी चिंताओं (क्या यह विश्वसनीय है?) के बीच संतुलन बनाना होता है। केवल लोकप्रियता पर निर्भर रहना या सलाह के लिए "ब्लैक बॉक्स" AI का उपयोग करना आपको अंधेरे में छोड़ देता है कि एक मॉडल क्यों चुना गया था।

समाधान: HugSelect, "व्याख्या करने वाला लाइब्रेरियन"

HugSelect को देखें। HugSelect को एक 'मैजिक 8-बॉल' के रूप में नहीं, बल्कि एक सुपर-संगठित, अत्यधिक तार्किक लाइब्रेरियन के रूप में सोचें जिसने पुस्तकालय की हर एक किताब पढ़ी है और हर पन्ने पर विस्तृत नोट्स लिए हैं।

यहाँ बताया गया है कि HugSelect कैसे काम करता है, एक मजेदार उपमा का उपयोग करते हुए:

कल्पना कीजिए कि आप एक विशिष्ट प्रकार की कार की तलाश में हैं। आप लाइब्रेरियन से कहते हैं, "मुझे एक ऐसी कार चाहिए जो बर्फ पर चल सके, जिसमें सनरूफ हो, और जिसकी कीमत $20,000 से कम हो।"

• पुराना तरीका (लोकप्रियता): लाइब्रेरियन शोरूम में सबसे लोकप्रिय कार की ओर इशारा करता है, भले ही वह बिना हीटर वाली एक कन्वर्टिबल कार हो।
• पुराना तरीका (जादुई AI): लाइब्रेरियन कहता है, "मुझे लगता है कि यह कार बहुत अच्छी है!" लेकिन वह आपको यह नहीं बता सकता कि क्यों या उसके इंजन के स्पेसिफिकेशन क्या हैं।
• HugSelect का तरीका: लाइब्रेरियन एक विशाल स्प्रेडशीट निकालता है। वे हर कार के लिए "बर्फ" कॉलम, "सनरूफ" कॉलम और "कीमत" कॉलम की जाँच करते हैं। वे प्रत्येक कार को एक स्कोर देते हैं कि वह आपकी ज़रूरतों से कितनी अच्छी तरह मेल खाती है। फिर, वे आपको एक रिपोर्ट सौंपते हैं जो कहती है: "कार A को 90 अंक मिले क्योंकि इसमें सनरूफ है और यह सस्ती है, लेकिन इसके अंक कट गए क्योंकि यह बर्फ में बहुत अच्छी नहीं है। कार B को 85 अंक मिले क्योंकि यह बर्फ के लिए एकदम सही है, लेकिन यह महंगी है।"

HugSelect AI मॉडल्स के लिए बिल्कुल यही करता है। यह 71,274 मॉडल्स का एक विशाल "नॉलेज बेस" बनाता है। यह केवल शीर्षक को नहीं देखता; यह मॉडल के विवरण को पढ़ता है, कोड की जाँच करता है, और यहाँ तक कि हजारों सामुदायिक चर्चाओं (जैसे Reddit थ्रेड्स और Q&A साइट्स) को भी स्कैन करता है ताकि यह देखा जा सके कि वास्तविक लोग मॉडल की विश्वसनीयता और गति के बारे में क्या सोचते हैं।

यह कैसे काम करता है: तीन सामग्रियां

प्रत्येक मॉडल के लिए अपना "स्कोरकार्ड" बनाने के लिए, HugSelect तीन प्रकार की सामग्रियों का मिश्रण करता है:

1. मेटाडेटा (Metadata): ठोस तथ्य, जैसे लाइसेंस का प्रकार (क्या यह उपयोग के लिए मुफ्त है?) और फ़ाइल का आकार।
2. कार्यात्मक विशेषताएं (Functional Features): मॉडल वास्तव में क्या कर सकता है। क्या विवरण में कहा गया है कि यह छवियों को संभाल सकता है? क्या यह गणित की समस्याओं को हल कर सकता है? HugSelect इन क्षमताओं को खोजने के लिए टेक्स्ट को पढ़ता है।
3. अनुमानित गुणवत्ता (Perceived Quality): यह "गॉसिप" कॉलम है। यह समुदाय द्वारा कही गई बातों का विश्लेषण करता है। यदि लोग बार-बार शिकायत करते हैं कि एक मॉडल अक्सर क्रैश हो जाता है, तो HugSelect उसे "विश्वसनीयता" पर कम अंक देता है। यदि लोग कहते हैं कि यह बहुत तेज़ है, तो इसे "परफॉरमेंस" पर बढ़ावा मिलता है।

एक बार जब इसके पास यह सारा डेटा आ जाता है, तो यह वेटेड सम मॉडल (Weighted Sum Model - WSM) नामक एक गणितीय पद्धति का उपयोग करता है। कल्पना कीजिए कि आप एक छात्र को ग्रेड दे रहे हैं। यदि "गणित" 50% है और "कला" 10% है, तो HugSelect उन अंकों को जोड़ता है जो आपकी प्राथमिकताओं के आधार पर महत्वपूर्ण हैं। यदि आप कहते हैं, "मुझे गति की परवाह नहीं है, मुझे बस इसकी विश्वसनीयता चाहिए," तो HugSelect तुरंत सूची को फिर से रैंक करने के लिए वेट्स (weights) को समायोजित कर देता है।

उन्होंने क्या पाया: परिणाम

शोधकर्ताओं ने यह देखने के लिए HugSelect का परीक्षण किया कि क्या यह वास्तव में काम करता है। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इसे परीक्षणों के दौर से गुजारा।

• रीडिंग टेस्ट (पढ़ने की परीक्षा): उन्होंने जाँच की कि क्या HugSelect मॉडल के विवरण और सामुदायिक समीक्षाओं को सही ढंग से पढ़ सकता है। इसने विशेषताओं के लिए लगभग 80% बार और गुणवत्ता गुणों के लिए 84% बार सही परिणाम दिए। अव्यवस्थित मानवीय टेक्स्ट को पढ़ने वाले रोबोट के लिए यह काफी अच्छा है!
• मुकाबला (The Showdown): उन्होंने चार प्रसिद्ध व्यावसायिक AI सिस्टम (जैसे ChatGPT, Claude और Gemini) के विरुद्ध HugSelect की तुलना की। उन्होंने उन्हें 44 अलग-अलग परिदृश्य दिए, जैसे "मेडिकल Q&A बॉट के लिए एक मॉडल खोजें।"
  • HugSelect ने 91% बार सही परिवार (family) के मॉडल्स को खोजा।
  • इसने सटीक मॉडल को 61% बार खोजा।
  • यह बड़े व्यावसायिक AI के साथ प्रतिस्पर्धी था (कुछ सटीक मॉडल खोजने में थोड़े बेहतर थे, कुछ थोड़े खराब), लेकिन HugSelect के पास एक बहुत बड़ा लाभ था: पारदर्शिता (Transparency)। व्यावसायिक AI केवल एक उत्तर देते थे। HugSelect ने उत्तर के साथ-साथ उसके पीछे का गणित भी दिया, जिससे यह स्पष्ट हुआ कि किन विशेषताओं ने मॉडल को जीतने या हारने के अंक दिए।

"यह क्यों मायने रखता है" वाला कारक

सबसे महत्वपूर्ण बात जो HugSelect करता है वह है निर्णय को ऑडिट करने योग्य (auditable) बनाना। सॉफ्टवेयर इंजीनियरिंग में, आप केवल यह नहीं कह सकते कि, "AI ने मुझे इसे उपयोग करने के लिए कहा था।" आपको यह जानने की आवश्यकता है कि क्यों ताकि आप इसे अपने बॉस, अपने क्लाइंट या किसी सुरक्षा निरीक्षक को समझा सकें।

शोधकर्ताओं ने 10 लोगों के साथ एक "यूजर स्टडी" भी की जो AI के बारे में जानते हैं। इन लोगों ने पाया कि HugSelect उपयोगी और उपयोग में आसान है। उन्हें इसके माध्यम से ट्रेड-ऑफ (समझौते) देखना पसंद आया। उदाहरण के लिए, वे देख सकते थे कि मॉडल A तेज़ था लेकिन कम विश्वसनीय था, जबकि मॉडल B धीमा था लेकिन बहुत भरोसेमंद था। यह मनुष्यों को ब्लैक बॉक्स पर आँख बंद करके भरोसा करने के बजाय बेहतर निर्णय लेने में मदद करता है।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि हमें AI मॉडल चयन को संयोग के खेल या लोकप्रियता की प्रतियोगिता की तरह मानना बंद करना चाहिए। एक ऐसा सिस्टम बनाकर जो बारीक विवरणों को पढ़ता है, समुदाय की बात सुनता है, और अपने गणित को समझाता है, HugSelect आत्मविश्वास के साथ काम के लिए सही उपकरण चुनने का एक तरीका प्रदान करता है। यह दावा नहीं करता कि यह पूर्ण है—शोधकर्ता स्वीकार करते हैं कि कभी-कभी सामुदायिक फीडबैक अव्यवस्थित होता है, और "सर्वश्रेष्ठ" मॉडल क्या है, इसका "ग्राउंड ट्रुथ" (वास्तविक सत्य) जटिल हो सकता है। लेकिन यह साबित करता है कि सही डेटा और स्पष्ट तर्क के मिश्रण के साथ, हम AI मॉडल्स के अराजक पुस्तकालय को एक सुव्यवस्थित, व्याख्यात्मक टूलबॉक्स में बदल सकते हैं।

संक्षेप में: HugSelect वह लाइब्रेरियन है जो केवल सबसे लोकप्रिय किताब की ओर इशारा नहीं करता, बल्कि उसे खोलता है, उसके सबसे अच्छे हिस्सों को हाइलाइट करता है, और आपको ठीक-ठीक बताता है कि वह आपकी कहानी के लिए सही विकल्प क्यों है।