Program-as-Weights: A Programming Paradigm for Fuzzy Functions
यह शोध पत्र प्रोग्राम-एज़-वेट्स (PAW) को प्रस्तुत करता है, जो एक ऐसा प्रतिमान (पैराडाइम) है जो प्राकृतिक-भाषा विनिर्देशों (नेचुरल-लैंग्वेज स्पेसिफिकेशन्स) को संक्षिप्त, स्थानीय रूप से निष्पादित होने वाले न्यूरल एडेप्टर में संकलित करता है, जिससे एक छोटे, फ्रोजन इंटरप्रेटर को बहुत बड़े फाउंडेशन मॉडल्स के प्रदर्शन के बराबर पहुँचने में सक्षम बनाया जाता है और साथ ही इन्फरेंस लागतों को नाटकीय रूप से कम करने और ऑफलाइन निष्पादन को सक्षम करने में मदद मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन बहुत महंगी और धीमी, मास्टर शेफ (एक बड़ा AI मॉडल) है। वर्तमान में, यदि आप कोई विशिष्ट व्यंजन बनाना चाहते हैं, तो आपको हर बार भूख लगने पर इस शेफ को बुलाना पड़ता है। आपको उन्हें शुरू से रेसिपी समझानी पड़ती है, उन्हें सोचने के लिए इंतज़ार करना पड़ता है, और हर भोजन के लिए शुल्क देना पड़ता है। यह काम करता है, लेकिन यह धीमा है, महंगा है, और यदि इंटरनेट बंद हो जाए तो आप खाना नहीं बना सकते।
"प्रोग्राम-एज़-वेट्स" (PAW) पेपर एक पूरी तरह से अलग तरीका प्रस्तावित करता है। इसके बजाय कि आप हर बार मास्टर शेफ को बुलाएं, आप उनसे एक बार उस एक विशिष्ट व्यंजन के लिए एक छोटी, कस्टम कुकबुक (पाक पुस्तिका) लिखने के लिए कहते हैं। एक बार जब वह किताब लिख दी जाती है, तो आप उसे एक छोटे, सस्ते, स्थानीय किचन असिस्टेंट (एक छोटा AI मॉडल) को सौंप सकते हैं जो तुरंत, मुफ्त में, और यहाँ तक कि बिना बिजली के (ऑफलाइन) भी वही सटीक व्यंजन बना सकता है।
यहाँ बताया गया है कि यह पेपर इसे सरल उपमाओं (analogies) का उपयोग करके कैसे समझाता है:
1. समस्या: "फजी" (Fuzzy) कार्य
कुछ काम ऐसे होते हैं जो मनुष्यों के लिए आसान होते हैं लेकिन सख्त नियमों के साथ लिखना असंभव होता है।
- उपमा: कल्पना कीजिए कि "एक ज़रूरी ईमेल को कैसे पहचानें" इसके लिए नियम पुस्तिका लिखने की कोशिश करना। आप केवल यह नहीं कह सकते कि "यदि इसमें 'URGENT' लिखा है, तो इसे फ्लैग करें।" क्या होगा यदि इसमें "EOD तक चाहिए!" लिखा हो? या "बॉस कॉल कर रहे हैं"? मनुष्य इसे तुरंत समझ जाते हैं, लेकिन कंप्यूटर को बहुत विशिष्ट, कठोर निर्देशों की आवश्यकता होती है।
- वर्तमान समाधान: डेवलपर्स वर्तमान में बस बड़े, महंगे AI शेफ को हर ईमेल को पढ़ने और निर्णय लेने के लिए कहते हैं। यह धीमा और महंगा है।
- PAW समाधान: एक "फजी फंक्शन" बनाएं—एक कस्टम टूल जो इन अस्पष्ट, मानव-समान निर्देशों को समझ सके।
2. जादू का तरीका: "एक बार कंपाइल करें, स्थानीय रूप से चलाएं"
यह पेपर "प्रोग्राम-एज़-वेट्स" नामक दो-चरणीय प्रक्रिया पेश करता है।
चरण 1: कंपाइलर (कुकबुक लिखता हुआ मास्टर शेफ)
आप जो चाहते हैं उसे साधारण अंग्रेजी में बताते हैं (जैसे, "उन ईमेल को फ्लैग करें जिन्हें आज हस्ताक्षर की आवश्यकता है")। एक बड़ा AI मॉडल (कंपाइलर) आपके विवरण को पढ़ता है और आपको केवल उत्तर नहीं देता; वह विशेष रूप से उस कार्य के लिए निर्देशों का एक छोटा, कस्टम सेट (एक "न्यूरल प्रोग्राम") लिखता है।- पेपर क्या कहता है: यह कंपाइलर आपके प्राकृतिक भाषा के विवरण को एक छोटी फ़ाइल (लगभग 23 MB) में बदल देता है जिसमें "वेट्स" (गणितीय समायोजन) और एक छोटा "स्यूडो-प्रोग्राम" (आपके निर्देशों का एक साफ, पुनर्गठित संस्करण और उदाहरण) शामिल होता है।
चरण 2: इंटरप्रेटर (स्थानीय किचन असिस्टेंट)
आप उस छोटी फ़ाइल को लेते हैं और उसे एक छोटे, फ्रीज्ड (frozen) AI मॉडल (इंटरप्रेटर) में लोड करते हैं जो आपके लैपटॉप या फोन पर रहता है। यह छोटा मॉडल एक सामान्य किचन असिस्टेंट की तरह है। उसे अपने आप कुछ भी बनाना नहीं आता। लेकिन जब आप उसे "कस्टम कुकबुक" (वेट्स) देते हैं, तो वह तुरंत जानता है कि उस विशिष्ट कार्य को कैसे करना है।- पेपर क्या कहता है: छोटा मॉडल (0.6 बिलियन पैरामीटर्स) कार्य को स्थानीय रूप से (locally) चलाता है। इसे इंटरनेट या बड़े AI को कॉल करने की आवश्यकता नहीं होती है।
3. यह बेहतर क्यों है?
पेपर पुराने तरीके की तुलना इस प्रकार करता है:
- गति और लागत: पुराना तरीका (बड़े AI को बुलाना) हर बार बाहर से खाना मंगवाने जैसा है। नया तरीका आपके पसंदीदा व्यंजन की रेसिपी जानने वाले एक व्यक्तिगत सु-शेफ (sous-chef) को रखने जैसा है। पेपर का दावा है कि छोटा मॉडल एक मानक मैकबुक पर 30 गुना तेज़ (30 टोकन प्रति सेकंड) चलता है और बड़े मॉडल की तुलना में 50 गुना कम मेमोरी का उपयोग करता है।
- विश्वसनीयता: यदि इंटरनेट बंद हो जाता है, तो बड़ा AI काम करना बंद कर देता है। PAW सिस्टम ऑफलाइन काम करता है क्योंकि "कुकबुक" आपकी डिवाइस पर ही सेव होती है।
- पुनरुत्पादकता (Reproducibility): बड़े AI के साथ, कंपनी कल गुप्त रूप से शेफ की रेसिपी बदल सकती है, और आपका ऐप खराब हो सकता है। PAW के साथ, आपके पास एक सेव की गई फ़ाइल है। यह हमेशा बिल्कुल वही काम करेगा, क्योंकि "रेसिपी" उस फ़ाइल में लॉक है।
4. उन्होंने वास्तव में क्या टेस्ट किया?
लेखकों ने केवल बातें नहीं कीं; उन्होंने FuzzyBench (इन "फजी" कार्यों के 1 करोड़ उदाहरणों वाला एक विशाल प्रशिक्षण मैदान) नामक एक बड़ा ट्रेनिंग ग्राउंड बनाया और अपने सिस्टम का परीक्षण किया।
- परिणाम: उनका छोटा स्थानीय मॉडल (0.6B), अपने कस्टम "कुकबुक" का उपयोग करते हुए, सीधे विशाल 32-बिलियन पैरामीटर वाले मॉडल से बेहतर (73.8% सटीकता) प्रदर्शन करता है (68.7% सटीकता)।
- "एक रनटाइम, कई प्रोग्राम" की अवधारणा: एक छोटा किचन असिस्टेंट कल्पना करें। आप उसकी "कुकबुक" को सेकंडों में बदल सकते हैं। एक मिनट में वह ईमेल सॉर्ट कर रहा है, अगले ही पल वह टूटे हुए JSON कोड को ठीक कर रहा है, और फिर वह एक शब्द खेल खेल रहा है। उसे फिर से प्रशिक्षित करने की आवश्यकता नहीं है; उसे बस एक नया सेट (वेट्स) लोड करना है।
5. पेपर से वास्तविक दुनिया के उदाहरण
पेपर इसे पांच विशिष्ट परिदृश्यों में काम करते हुए दिखाता है:
- लॉग मॉनिटरिंग: कंप्यूटर लॉग को स्कैन करना ताकि केवल आपको तभी अलर्ट मिले जब वास्तव में कुछ महत्वपूर्ण हो, शोर (noise) को अनदेखा करते हुए।
- साइट नेविगेशन: उपयोगकर्ता की अस्पष्ट खोज के आधार पर वेबसाइट पर उनकी इच्छा को समझना, बिना किसी बड़े सर्वर की आवश्यकता के।
- सर्च रीरैंकिंग: खोज परिणामों की एक सूची लेना और उन्हें केवल कीवर्ड के आधार पर नहीं, बल्कि खोज के इरादे (intent) के आधार पर फिर से व्यवस्थित करना।
- टूल कॉलिंग: यह तय करने में मदद करना कि उपयोगकर्ता के अनुरोध के आधार पर AI को किस टूल (जैसे कैलकुलेटर या मैप) का उपयोग करना चाहिए।
- शब्द खेल: एक बहुभाषी शब्द-अनुमान लगाने वाला खेल चलाना जहाँ AI विवरणों के आधार पर शब्दों का अनुमान लगाता है, जो सब एक छोटे सर्वर पर चलता है।
निचोड़
पेपर का तर्क है कि हम एक ऐसी दुनिया से हटकर जा रहे हैं जहाँ हम हर समस्या को हल करने के लिए एक विशाल, महंगे AI से पूछते हैं, और एक ऐसी दुनिया की ओर बढ़ रहे हैं जहाँ हम एक विशाल AI से एक बार हमारे लिए एक छोटा, कस्टम टूल बनाने के लिए कहते हैं। फिर, वह छोटा टूल हमेशा के लिए, आपके डिवाइस पर, सस्ते में और तेज़ी से काम करता है।
महत्वपूर्ण नोट: पेपर स्पष्ट रूप से इन टेक्स्ट-आधारित (और कुछ इमेज-आधारित) प्रोग्रामिंग कार्यों तक ही अपनी दावों को सीमित करता है। यह दावा नहीं करता है कि यह चिकित्सा निदान, कानूनी सलाह या अन्य उच्च-जोखिम वाले वास्तविक दुनिया के अनुप्रयोगों के लिए काम करता है, न ही यह दावा करता है कि यह बिना इन एकल-चरण वाले "फंक्शन्स" में तोड़े जटिल, बहु-चरणीय समस्याओं को हल करने के लिए स्वयं तर्क (reasoning) कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।