On-Policy Self-Distillation without Any Supervision
यह शोध पत्र अनसुपरवाइज्ड ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (U-OPSD) प्रस्तुत करता है, जो एक नवीन विधि है जो बड़े भाषा मॉडलों (LLMs) को आंतरिक निरंतरता के माध्यम से केवल उनके अपने ही जनरेशन का उपयोग करके स्व-सुधार के माध्यम से सुधार करने में सक्षम बनाती है, जिससे बाहरी ग्राउंड-ट्रुथ संकेतों पर निर्भर हुए बिना सुपरवाइज्ड तकनीकों के तुलनीय या उनसे बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ विशाल, डिजिटल मस्तिष्क—जिन्हें लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है—गणित की समस्याओं जैसे जटिल पहेलियों को हल करना सीख रहे हैं। लंबे समय तक, इन मस्तिष्कों को एक मानव शिक्षक की आवश्यकता होती थी जो उनके कंधे पर हाथ रखकर खड़ा रहे, उनकी हर गलती को इंगित करे और उन्हें सही उत्तर थमाए। यह एक ऐसे छात्र की तरह है जो परीक्षा दे रहा हो जहाँ शिक्षक प्रश्न पूरा होने से पहले ही सही उत्तर फुसफुसा देता है। लेकिन क्या होगा अगर शिक्षक वहाँ न हो? क्या होगा अगर मस्तिष्क को खुद को सिखाना पड़े? यही वह बड़ा सवाल है जो शोधकर्ता पूछ रहे हैं: क्या एक मॉडल बिना किसी बाहरी मदद के, केवल अपने ही काम को देखकर खुद को स्मार्ट बनाना सीख सकता है?
इस शोध पत्र में दिए गए नए विचार को समझने के लिए, आपको दो चीजें जानने की आवश्यकता है। पहला, "डिस्टिलेशन" (distillation) नामक एक तकनीक है, जो एक उस्ताद की सोचने की प्रक्रिया की नकल करने की कोशिश करने वाले छात्र की तरह है। आमतौर पर, "उस्ताद" एक अलग, बड़ा या अधिक बुद्धिमान AI होता है। दूसरा, "ऑन-पॉलिसी" (on-policy) लर्निंग है, जिसका अर्थ है कि छात्र पुराने, पहले से लिखे गए उदाहरणों का अध्ययन करने के बजाय, स्वयं द्वारा उत्पन्न सटीक उत्तरों पर अभ्यास करता है। बड़ी बाधा हमेशा यह रही है कि भले ही मॉडल खुद को सिखाने की कोशिश करे, फिर भी उसे यह जानने के लिए एक "गोल्ड स्टैंडर्ड" (आदर्श मानक) उत्तर की आवश्यकता होती है कि वह सही है या गलत। उस बाहरी सत्य के बिना, मॉडल केवल अपनी गलतियों का अभ्यास करता रह सकता है, और बार-बार आत्मविश्वास के साथ गलत होता जा सकता है।
यह शोध पत्र एक चतुर तरकीब पेश करता है जिसे U-OPSD (अनसुपरवाइज्ड ऑन-पॉलिसी सेल्फ-डिस्टिलेशन) कहा जाता है। शोधकर्ताओं ने पाया कि एक मॉडल को सीखने के लिए वास्तव में किसी मानव शिक्षक या "गोल्ड" उत्तर कुंजी की आवश्यकता नहीं है। इसके बजाय, यह एक कमरे में समान जुड़वा बच्चों की तरह कार्य कर सकता है जो एक ही परीक्षा दे रहे हैं। यदि एक जुड़वा को अजीब उत्तर मिलता है लेकिन अन्य नौ लोग एक अलग उत्तर पर सहमत होते हैं, तो समूह ने एक "सहमति" (consensus) पा ली है। यह शोध पत्र सुझाव देता है कि यह सहमति एक पर्याप्त संकेत है यह कहने के लिए कि, "ठीक है, यह शायद सही रास्ता है।"
यहाँ यह जादू कैसे होता है: मॉडल गणित की समस्या को हल करने के कई अलग-अलग प्रयास (जिन्हें "रोलआउट्स" कहा जाता है) उत्पन्न करता है। फिर यह एक वोट आयोजित करता है। यदि प्रयासों का बहुमत एक उत्तर पर सहमत होता है, तो वह उत्तर "स्यूडो-सॉल्यूशन" (छद्म-समाधान) बन जाता है—एक नकली लेकिन विश्वसनीय उत्तर कुंजी जो पूरी तरह से मॉडल द्वारा निर्मित है। मॉडल फिर उन प्रयासों को देखता है जो बहुमत से असहमत थे। ये "गलत" रास्ते हैं। मॉडल स्वयं के लिए एक शिक्षक के रूप में कार्य करता है, "गलत" रास्तों को चरण-दर-चरण "सही" रास्ते में बदलने का तरीका दिखाता है। यह एक ऐसे छात्र की तरह है जिसने एक लंबा, भ्रमित निबंध लिखा है, और उसे एहसास होता है कि उसके अधिकांश दोस्तों ने एक स्पष्ट, सही निबंध लिखा है, और फिर वह अपने निबंध को समूह के तर्क के अनुरूप ढालने के लिए उसे फिर से लिखता है, लेकिन केवल उन हिस्सों को ठीक करता है जहाँ वह पटरी से उतर गया था।
परिणाम काफी आश्चर्यजनक हैं। शोधकर्ताओं ने विभिन्न आकारों के मॉडलों (4 बिलियन और 8 बिलियन पैरामीटर्स) का उपयोग करके कई कठिन गणित प्रतियोगिताओं (जैसे AIME और MATH500) पर इसका परीक्षण किया। उन्होंने पाया कि यह "सेल्फ-टीचिंग" (स्व-शिक्षण) विधि, जो बिना किसी बाहरी पर्यवेक्षण के काम करती है, "नॉन-थिंकिंग" मोड (जहाँ मॉडल तेजी से उत्तर देता है) में मानव-सत्यापित उत्तरों पर आधारित विधियों से बेहतर थी। इस मोड में, स्व-शिक्षित मॉडलों ने अपने शुरुआती बिंदु की तुलना में अपने स्कोर में 8.5% और 10.7% का सुधार किया, और उन विधियों को भी पीछे छोड़ दिया जो "गोल्ड" उत्तरों का उपयोग करती थीं। हालाँकि, "थिंकिंग" मोड (जहाँ मॉडल तर्क करने के लिए समय लेता है) में, परिणाम अलग थे: स्व-शिक्षित मॉडल पर्यवेक्षित (supervised) विधियों के बराबर या उनसे थोड़ा आगे प्रदर्शन करते हुए पाए गए, जो उनके साथ निकटता से मेल खाते हैं, न कि उन पर हावी होते हैं।
यह शोध पत्र तर्क देता है कि यह इसलिए काम करता है क्योंकि मॉडल की अपनी सहमति एक शक्तिशाली संकेत है। जब मॉडल बहुमत के वोट के लिए पर्याप्त आत्मविश्वासी होता है, तो वह जानता है कि वह सही रास्ते पर है। जब वह खुद से असहमत होता है, तभी सीखने की प्रक्रिया होती है। शोधकर्ता सुझाव देते हैं कि इन मॉडलों को स्मार्ट बनाने के लिए बाधा उत्तर कुंजियों की कमी नहीं है, बल्कि अपनी विसंगतियों को पहचानने और उन्हें ठीक करने की क्षमता है। इस "बहुमत वोट" रणनीति का उपयोग करके, मॉडल स्वयं विकसित और बेहतर हो सकता है, जिससे भ्रमित जुड़वाओं के एक कमरे को एक एकल, स्मार्ट जीनियस में बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।