ISO: An RLVR-Native Optimization Stack
यह शोध पत्र ISO को प्रस्तुत करता है, जो वेरिफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग (RLVR) के लिए एक नवीन ऑप्टिमाइज़ेशन फ्रेमवर्क है, जो स्पेक्ट्रल इनहेरिटेंस का लाभ उठाकर केवल मॉडल वेट्स के सिंगुलर फ्रेम्स को ऑप्टिमाइज़ करता है और बेस स्पेक्ट्रम को स्थिर रखता है, जिससे बिना किसी अतिरिक्त डेटा या ग्रेडिएंट अपडेट के अत्यधिक कुशल ऑनलाइन ट्रेनिंग और विशेषज्ञ मॉडल्स के प्रभावी ऑफलाइन मर्जिंग को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को बेहतर तरीके से सोचना सिखाने की कोशिश कर रहे हैं। आप उसे केवल एक पाठ्यपुस्तक नहीं देते; आप उसे चीजें करने देते हैं, और जब वह सही उत्तर देता है, तो आप उसे एक हाई-फाइव (एक "पुरस्कार") देते हैं। यह प्रक्रिया 'वेरिफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग' (Reinforcement Learning with Verifiable Rewards) कहलाती है, जिसे संक्षेप में RLVR कहा जाता है। यह एक वीडियो गेम की तरह है जहाँ रोबोट खेल के माध्यम से सीखता है, और गेम केवल लेवल के अंत में ही बताता है कि "अच्छा काम किया" या "फिर से प्रयास करें"।
लंबे समय से, वैज्ञानिक इन हाई-फाइव के बाद रोबोट के मस्तिष्क को अपडेट करने के लिए उन्हीं पुराने उपकरणों का उपयोग कर रहे हैं। वे रोबोट के मस्तिष्क के साथ ऐसा व्यवहार करते हैं जैसे वह संख्याओं का एक विशाल, अव्यवस्थित स्प्रेडशीट हो और वे हर एक संख्या को थोड़ा सा बदलने की कोशिश करते हैं। लेकिन यहाँ एक पेंच है: रोबोट का मस्तिष्क गेम खेलने से पहले ही बुनियादी बातों में काफी अच्छा होता है। शायद पुराने उपकरण बहुत अनाड़ी हैं, जो उन चीजों को भी बदल देते हैं जिन्हें बदलने की आवश्यकता नहीं है, या वे उन विशिष्ट हिस्सों को मिस कर देते हैं जिन्हें वास्तव में एक धक्के की जरूरत है। बड़ा सवाल यह है: क्या रोबोट के मस्तिष्क को अपडेट करने का कोई स्मार्ट और अधिक सटीक तरीका है जो उसके द्वारा पहले से जाने गए ज्ञान का सम्मान करता है और साथ ही उसे नई तरकीबें भी सिखाता है?
यह शोध पत्र, जिसका शीर्षक "ISO: एन आरएलवीआर-नेटिव ऑप्टिमाइज़ेशन स्टैक" (ISO: An RLVR-Native Optimization Stack) है, ठीक इसी सवाल में गहराई तक जाता है। लेखकों ने यह खोजा कि इन रोबनों के सीखने का एक छिपा हुआ पैटर्न है। उन्होंने पाया कि जब एक रोबोट RLVR के माध्यम से एक नया कौशल सीखता है, तो वह वास्तव में अपने पूरे मस्तिष्क को फिर से नहीं लिखता है। इसके बजाय, वह अपने "वॉल्यूम नॉब्स" (वे गणितीय मान जो उसके कनेक्शनों की ताकत को नियंत्रित करते हैं) को बिल्कुल वैसा ही रखता है जैसा वे पहले थे। वह केवल "दिशाओं" (उन कनेक्शनों के कोण और ओरिएंटेशन) को बदलता है।
इसे एक डांस ट्रूप (नृत्य दल) की तरह समझें। "वॉल्यूम नॉब्स" नर्तकों की संख्या और उनके ऊर्जा स्तर हैं, जो समान रहते हैं। "दिशाएं" कोरियोग्राफी (नृत्य की रचना) हैं। पेपर दिखाता है कि एक नया नृत्य सीखने के लिए, समूह को नए लोगों को काम पर रखने या उनकी ऊर्जा बदलने की आवश्यकता नहीं है; उन्हें बस कदमों को पुनर्व्यवस्थित करने की आवश्यकता है। लेखक इसे "स्पेक्ट्रल इनहेरिटेंस" (Spectral Inheritance) कहते हैं। उन्होंने सिद्ध किया कि आप ऊर्जा स्तरों (स्पेक्ट्रम) को स्थिर रख सकते हैं और कोरियोग्राफी (फ्रेम्स) को बदलकर भी शानदार परिणाम प्राप्त कर सकते हैं।
इस खोज के आधार पर, उन्होंने एक नया टूलकिट बनाया जिसे ISO (आइसोस्पेक्ट्रल ऑप्टिमाइज़ेशन) कहा जाता है। इसमें दो मुख्य तरकीबें हैं। पहला, "ISO-मर्जर" (ISO-Merger) है, जो एक जादुई ब्लेंडर की तरह है। यदि आपके पास तीन अलग-अलग रोबोट हैं, जिनमें से प्रत्येक एक अलग कौशल में माहिर है (एक कोडिंग का जादूगर है, एक गणित का जीनियस है, और एक टूल विशेषज्ञ है), तो आप उन्हें बिना फिर से प्रशिक्षित किए या नया डेटा खिलाए, एक सुपर-रोबोट में मिला सकते हैं। यह बस उनकी मूल ऊर्जा स्तरों को बरकरार रखते हुए उनकी कोरियोग्राफी को मिला देता है।
दूसरा, "ISO-ऑप्टिमाइज़र" (ISO-Optimizer) है, जो शून्य से एक रोबोट को प्रशिक्षित करने का एक तेज़ तरीका है। पूरे मस्तिष्क को अंधाधुंध बदलने के बजाय, यह केवल कोरियोग्राफी को समायोजित करता है जबकि ऊर्जा स्तरों को लॉक रखता है। पेपर दिखाता है कि यह समय बचाने का एक बड़ा तरीका है। उदाहरण के लिए, एक विशिष्ट 8-बिलियन-पैरामीटर मॉडल पर, नए तरीके ने केवल 100 स्टेप्स में पुराने तरीके के समान उच्च स्कोर प्राप्त किया, जबकि पुराने तरीके को वहां तक पहुँचने के लिए 270 स्टेप्स की आवश्यकता थी। इससे भी बेहतर, इसने सुधार करना जारी रखा और स्टेप 210 तक एक और भी अधिक स्कोर प्राप्त किया।
लेखक बहुत सावधानी से कहते हैं कि यह कोई जादू नहीं है; यह गणित है। उन्होंने इसका कड़ाई से परीक्षण किया। उन्होंने दिखाया कि यदि आप कोरियोग्राफी को बदले बिना केवल ऊर्जा स्तरों को बदलने की कोशिश करते हैं, तो रोबोट बहुत कम सीखता है। लेकिन यदि आप ऊर्जा स्तरों को स्थिर रखते हैं और कोरियोग्राफी को बदलते हैं, तो रोबोट तेजी से सीखता है। उन्होंने यह भी जांचा कि यह पैटर्न तब भी बना रहता है जब रोबोट बाद में एक दूसरा, पूरी तरह से अलग कौशल सीखता है।
तो, मुख्य निष्कर्ष सरल है: इन AI मॉडलों को नए तर्क कौशल सिखाते समय, उनके पूरे आधार को फिर से बनाने की कोशिश न करें। बस उस ठोस आधार को विरासत में लें जो उनके पास पहले से है और चरणों को पुनर्व्यवस्थित करने पर ध्यान केंद्रित करें। यह AI को सोचने का तरीका सिखाने का एक अधिक कुशल, तेज़ और आश्चर्यजनक रूप से प्रभावी तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।