QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides
यह शोध पत्र QUADS का प्रस्ताव करता है, जो एक द्वि-पक्षीय क्वांटाइजेशन-त्रुटि संरेखण (dual-sided quantization-error alignment) विधि है जो एसिमेट्रिक क्वांटाइजेशन-अवेयर ट्रेनिंग और रेसिडुअल एक्टिवेशन कंपनसेशन के माध्यम से एक्टिवेशन त्रुटियों को संबोधित करके मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल्स के लिए NVFP4 सुदृढीकरण शिक्षण (reinforcement learning) को स्थिर करता है, जिससे FP8 की तुलना में काफी बेहतर थ्रूपुट के साथ BF16-स्तर की सटीकता प्राप्त होती है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को जटिल पहेलियाँ सुलझाना सिखा रहे हैं, जैसे कि गणित के सवाल या कोड लिखना। इसे वास्तव में कुशल बनने के लिए, रोबोट केवल उत्तरों को रटता नहीं है; यह विभिन्न समाधानों को आजमाकर अभ्यास करता है, इस पर फीडबैक प्राप्त करता है कि क्या काम किया, और फिर अगली बार बेहतर करने के लिए अपने मस्तिष्क को समायोजित करता है। इस प्रक्रिया को 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) कहा जाता है। हालाँकि, इसमें एक पेच है: रोबोट का वह हिस्सा जो सोचता और सीखता है (प्रशिक्षक/trainer), अक्सर उस हिस्से से अलग होता है जो उत्तर बनाता है (रोलआउट इंजन/rollout engine)। सीखने के लिए प्रभावी होने हेतु, इन दोनों हिस्सों को एक ही भाषा बोलनी चाहिए। यदि प्रशिक्क हाई-डेफिनिशन (जैसे कि एक 4K मूवी) में सोचता है, लेकिन जनरेटर को एक धुंधले, लो-रेज़ोल्यूशन संस्करण (जैसे कि एक पिक्सेलेटेड 8-बिट गेम) में बोलने के लिए मजबूर किया जाता है, तो रोबोट भ्रमित हो जाता है। यह गलतियाँ करने लगता है क्योंकि उसके कार्यों का "महत्व" धुंधलेपन के कारण विकृत हो जाता है। यह बेमेल स्थिति एक बड़ी समस्या है क्योंकि यह सीखने की पूरी प्रक्रिया को धीमा कर देती है, जिससे रोबोट को स्मार्ट बनने में बहुत लंबा समय लगता है।
अब, कल्पना कीजिए कि हम रोबोट को तेज़ी से सोचने के लायक बनाना चाहते हैं। हम इसके मस्तिष्क को और भी छोटा कर सकते हैं, एक सुपर-लो-रेज़ोल्यूशन फॉर्मेट का उपयोग करके जिसे "NVFP4" कहा जाता है। यह एक बहुत ही छोटे, मोटे कणों से बनी कच्ची सड़क पर एक सुपर-फास्ट रेस कार चलाने जैसा है। यह वादा करता है कि यह अविश्वसनीय रूप से तेज़ होगा—वर्तमान मानक से बहुत अधिक तेज़—लेकिन कण इतने खुरदरे हैं कि कार के पहिए (रोबोट का तर्क) फिसलने और नियंत्रण खोने लगते हैं। रोबोट सीखने की कोशिश करता है, लेकिन खुरदरी सड़क के कारण वह कुछ ही चक्करों के बाद दुर्घटनाग्रस्त हो जाता है। सबसे बड़ा सवाल यह है: क्या हम इस सुपर-फास्ट, खुरदरी सड़क को बिना रोबोट को दुर्घटनाग्रस्त किए काम करने लायक बना सकते हैं?
यही वह चीज़ है जिसे इस शोध पत्र के शोधकर्ताओं ने हल करने का प्रयास किया है। उन्होंने पाया कि केवल रोबोट को इस खुरदरी, तेज़ ट्रैक पर रखने से वह प्रशिक्षण के लगभग 150 स्टेप्स के भीतर ही बुरी तरह विफल हो जाता है। रोबोट के आत्मविश्वास स्कोर (log-probabilities) इतनी बुरी तरह से अलग हो जाते हैं कि वह सीखना पूरी तरह से बंद कर देता है। सावधानीपूर्वक प्रयोगों के माध्यम से, उन्होंने पता लगाया कि क्यों ऐसा होता है। असल में समस्या 'वेट्स' (weights - रोबोट का संग्रहीत ज्ञान) की नहीं है, जिन्हें आसानी से सिंक्रोनाइज़ किया जा सकता है। असली अपराधी 'एक्टिवेशन्स' (activations) हैं—वे ताज़ा, ऑन-द-फ्लाई गणनाएँ जो रोबोट सोचते समय करता है। क्योंकि खुरदरा ट्रैक (NVFP4) इतना मोटा है, इसलिए ये ताज़ा गणनाएँ इस तरह से विकृत हो जाती हैं कि प्रशिक्क केवल वेट्स को देखकर उन्हें ठीक नहीं कर पाता है।
इसे ठीक करने के लिए, टीम ने एक चतुर दो-चरणीय रणनीति बनाई जिसे वे QUADS (QUantization-error Alignment across Dual Sides) कहते हैं। इसे प्रशिक्क और जनरेटर के बीच एक नृत्य की तरह समझें। प्रशिक्षक की ओर, वे एक विशेष तकनीक का उपयोग करते हैं जिसे "एसिमेट्रिक क्वांटाइजेशन-अवेयर ट्रेनिंग" (Asymmetric Quantization-Aware Training) कहा जाता है। प्रशिक्षक को जनरेटर की खुरदरी भाषा बोलने के लिए मजबूर करने के बजाय, वे प्रशिक्षक की "सोच" (एक्टिवेशन्स) को हाई-डेफिनिशन में रखते हैं, लेकिन उसके "मेमोरी" (वेट्स) को जनरेटर के खुरदरे फॉर्मेट से मेल खाने के लिए मजबूर करते हैं। इस तरह, प्रशिक्क को ठीक से पता होता है कि जब वह वेट्स को देखता है तो जनरेटर क्या देख रहा होता है, जिससे भ्रम की स्थिति पैदा नहीं होती।
लेकिन अकेले यह पर्याप्त नहीं था। जनरेटर अभी भी नए विचार बनाने की कोशिश करते समय खुरदरे कणों पर लड़खड़ा रहा था। इसलिए, जनरेटर की ओर, उन्होंने एक "रेसिड्यूअल एक्टिवेशन कंपनसेशन" (Residual Activation Compensation) जोड़ा। कल्पना कीजिए कि जनरेटर एक खुरदरी सड़क पर चल रहा है, और उसे एहसास होता है, "अरे, मैं इस विशिष्ट कंकड़ पर फिसल रहा हूँ!" पूरे रेस को ठीक करने के लिए रुकने के बजाय, वह आगे बढ़ने से पहले केवल उस एक फिसलन को ठीक करने के लिए एक छोटा, त्वरित कदम उठाता है। उन्होंने गणना के उन विशिष्ट हिस्सों की पहचान की जिनके फिसलने की सबसे अधिक संभावना थी ("हाई-रेसिड्यूअल चैनल्स") और उन्हें ट्रैक पर रहने के लिए एक छोटा, अतिरिक्त बढ़ावा दिया, जबकि बाकी दौड़ को सुपर-फास्ट बनाए रखा।
परिणाम प्रभावशाली हैं। इस दो-तरफा नृत्य का उपयोग करके, रोबोट ने न केवल इस खुरदरी ट्रैक पर जीवित रहने में सफलता पाई; बल्कि इसने लगभग उतना ही प्रदर्शन किया जितना कि एक स्मूथ, हाई-डेफिनिशन ट्रैक पर होता। उनके परीक्षणों में, इस नई विधि ने बिना किसी मदद के खुरदरे ट्रैक का उपयोग करने की तुलना में रोबोट की सफलता दर में लगभग 21.5 अंक का सुधार किया। इससे भी बेहतर, इसने गति का लाभ बनाए रखा, और पिछले मानक तरीके की तुलना में लगभग 16% तेज़ गति से काम किया। यह शोध पत्र दिखाता है कि हालांकि खुरदरा ट्रैक अपने आप में खतरनाक है, लेकिन सही अलाइनमेंट और फिसलन वाले स्थानों के लिए थोड़े से अतिरिक्त सुधार के साथ, हम अंततः इन सुपर-फास्ट, लो-प्रिसिजन AI मॉडल्स को विश्वसनीय रूप से काम करने के लायक बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।