Compute Where it Counts: Self Optimizing Language Models
यह शोध पत्र सेल्फ-ऑप्टिमाइज़िंग लैंग्वेज मॉडल्स (SOL) को प्रस्तुत करता है, जो एक फ्रोजन (frozen) LLM को एक हल्के पॉलिसी नेटवर्क के साथ जोड़ता है ताकि स्पर्सिटी (sparsity), प्रूनिंग और क्वांटाइजेशन को समायोजित करके प्रति टोकन परिवर्तनीय कंप्यूटेशन बजट को गतिशील रूप से आवंटित किया जा सके, जिससे स्टेटिक एलोकेशन रणनीतियों की तुलना में इन्फरेंस गुणवत्ता और दक्षता में उल्लेखनीय सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लंबी सड़क यात्रा पर कार चला रहे हैं। अधिकांश वर्तमान AI मॉडल (लार्ज लैंग्वेज मॉडल्स) इस यात्रा को "सेट इट एंड फॉरगेट इट" (एक बार सेट करो और भूल जाओ) की रणनीति के साथ चलाते हैं: वे हर एक मील के लिए ईंधन और इंजन की बिल्कुल समान मात्रा का उपयोग करते हैं, चाहे वे एक सपाट, खाली हाईवे पर चल रहे हों या एक खड़ी, पथरीली पहाड़ी पर चढ़ रहे हों।
यह पेपर एक नई प्रणाली पेश करता है जिसे सेल्फ-ऑप्टिमाइज़िंग लैंग्वेज मॉडल्स (SOL) कहा जाता है। एक निश्चित इंजन सेटिंग के साथ गाड़ी चलाने के बजाय, SOL एक स्मार्ट, को-पायलट ड्राइवर की तरह काम करता है जो लगातार सामने की सड़क को देखता रहता है और पल-पल में इंजन की शक्ति को एडजस्ट करता है।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. समस्या: "वन-साइज़-फिट्स-ऑल" इंजन
वर्तमान AI मॉडल एक बार में एक शब्द (या "टोकन") जनरेट करते हैं। पैसा और ऊर्जा बचाने के लिए, इंजीनियरों ने मॉडल को "हल्का" बनाने के तरीके बनाए हैं:
- कॉन्टेक्स्ट (संदर्भ) को अनदेखा करना: केवल पिछले सबसे महत्वपूर्ण शब्दों को देखना (जैसे बैकग्राउंड शोर को अनदेखा करना)।
- दिमाग की छंटाई (प्रूनिंग): मॉडल के उन आंतरिक प्रोसेसिंग हिस्सों को बंद कर देना जिनकी अभी जरूरत नहीं है।
- परिशुद्धता (प्रिसिजन) कम करना: गणना करने के लिए कम दशमलव अंकों का उपयोग करना (जैसे संख्याओं को राउंड ऑफ करना) ताकि यह तेज़ हो सके।
समस्या यह है कि ये विधियाँ आमतौर पर हर एक शब्द के लिए "हल्केपन" का एक ही स्तर लागू करती हैं।
- गलती: यदि AI "the" जैसे सरल शब्द लिख रहा है, तो वह एक भारी, सटीक इंजन का उपयोग करके ऊर्जा बर्बाद करता है। यदि वह "quantum" जैसे जटिल शब्द लिख रहा है, तो हो सकता है कि वह एक हल्के, लापरवाह इंजन का उपयोग कर रहा हो जिससे गलती हो जाए।
2. समाधान: "स्मार्ट को-पायलट" (द पॉलिसी)
लेखकों ने मुख्य AI मॉडल में एक छोटा, हल्का "को-पायलट" (एक छोटा न्यूरल नेटवर्क) जोड़ा है।
- मुख्य मॉडल: यह भारी, स्थिर इंजन है। यह बोलना और सोचना जानता है, लेकिन यह अपनी सेटिंग्स खुद नहीं बदलता।
- को-पायलट: यह नया हिस्सा है। हर एक शब्द जनरेट करने के हर स्टेप पर, को-पायलट यह देखता है कि मुख्य मॉडल क्या सोच रहा है (उसकी "हिडन स्टेट") और पूछता है: "अगला शब्द कितना कठिन होने वाला है?"
इस उत्तर के आधार पर, को-पायलट सही प्रयास (एफर्ट) चुनने के लिए एक स्विच घुमाता है:
- आसान शब्द? पावर कम कर दें (कम मेमोरी, कम प्रिसिजन, अधिक कॉन्टेक्स्ट को अनदेखा करें)।
- कठिन शब्द? पावर बढ़ा दें (पूर्ण प्रिसिजन का उपयोग करें, अधिक कॉन्टेक्स्ट देखें, दिमाग के सभी हिस्सों को सक्रिय रखें)।
3. ट्रेनिंग: "क्या होगा अगर?" (What If?) से सीखना
आप एक को-पायलट को इन सेकंड-दर-सेकंड के निर्णय लेने के लिए कैसे सिखा सकते हैं? आप इसे सिर्फ अंदाज़ा लगाने और विफल होने के लिए नहीं छोड़ सकते, क्योंकि इससे टेक्स्ट खराब हो जाएगा।
इसके बजाय, लेखकों ने काउंटरफैक्चुअल (या "क्या होगा अगर" परिदृश्य) नामक एक चतुर ट्रेनिंग ट्रिक का उपयोग किया:
- वे AI को एक वाक्य पूरा करने के लिए देते हैं।
- वे ठीक उसी वाक्य को लगातार 16 बार जनरेट करते हैं।
- उन 16 प्रयासों में से प्रत्येक में, वे को-पायलट को अलग-अलग सेटिंग्स चुनने के लिए मजबूर करते हैं (जैसे, "स्टेप 1 पर आलसी बनो," "स्टेप 2 पर बहुत सावधान रहो")।
- वे परिणामों की तुलना करते हैं: किस सेट ऑफ चॉइस ने सबसे कम ऊर्जा का उपयोग करते हुए सबसे अच्छा वाक्य बनाया?
- को-पायलट इस तुलना से सीखता है, यह समझते हुए, "आह, मुझे स्टेप 1 के बजाय स्टेप 12 के लिए अपनी ऊर्जा बचानी चाहिए थी।"
4. "KV पॉल्यूशन" की चेतावनी
पेपर एक पेचीदा साइड-इफेक्ट का उल्लेख करता है। यदि आप इंजन के हिस्सों को बहुत आक्रामक तरीके से बंद कर देते हैं, तो आप कार की मेमोरी में "गंदा" डेटा (जिसे KV-पॉल्यूशन कहा जाता है) छोड़ सकते हैं। भले ही आप बाद में इंजन को पूरी शक्ति पर वापस ला दें, वह गंदा डेटा भविष्य के प्रेडिक्शन को बिगाड़ सकता है।
इसे ठीक करने के लिए, SOL छोटे दौर (जिन्हें एपिसोड्स कहा जाता है) में काम करता है। हर 16 स्टेप के बाद, यह मेमोरी को फिर से शुद्ध स्थिति में साफ करने के लिए एक त्वरित "पिट स्टॉप" लेता है। यह सुनिश्चित करता है कि कार बाद में किसी पुराने लापरवाह निर्णय के कारण दुर्घटनाग्रस्त न हो जाए।
5. परिणाम: बेहतर माइल प्रति गैलन
लेखकों ने विभिन्न AI मॉडल्स पर इसका परीक्षण किया (1-बिलियन पैरामीटर वाले छोटे मॉडल्स से लेकर 8-बिलियन वाले बड़े मॉडल्स तक)।
- निष्कर्ष: जब उन्होंने AI को एक विशिष्ट ऊर्जा मात्रा (एक "बजट") का उपयोग करने के लिए कहा, तो SOL को-पायलट ने फिक्स्ड सेटिंग वाले मॉडल्स की तुलना में बेहतर गुणवत्ता वाला टेक्स्ट लगातार बनाया।
- उपमा: यदि आपके पास 10 गैलन ईंधन का बजट है, तो एक फिक्स्ड कार आपको 200 मील तक ले जा सकती है। SOL कार, जो हर उतार-चढ़ाव के लिए गियर बदलकर बिल्कुल सही ढंग से चलती है, उसी 10 गैलन ईंधन के साथ आपको 215 मील तक ले जा सकती है।
सारांश
कंप्यूट व्हेयर इट काउंट्स (जहाँ ज़रूरत हो, वहीं कंप्यूटिंग शक्ति लगाएँ) इस बारे में है कि AI को एक ऐसे रोबोट के रूप में कार्य करना बंद करने के लिए सिखाना जो हर चीज़ को एक ही तरह से करता है। इसके बजाय, यह उसे एक स्मार्ट ड्राइवर बनने के बारे में है जो जानता है कि कब ढलान पर आराम करना है और कब पूरी ताकत लगानी है, जिससे यह सुनिश्चित होता है कि कंप्यूटिंग पावर का हर बिट ठीक वहीं खर्च किया जाए जहाँ इसकी सबसे अधिक आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।