Label-Free Reinforcement Learning via Cross-Model Entropy
यह शोध पत्र क्रॉस-मॉडल एंट्रॉपी (CME) का प्रस्ताव करता है, जो एक लेबल-मुक्त सुदृढीकरण लर्निंग रिवॉर्ड सिग्नल है, जो ग्राउंड-ट्रुथ लेबल या मानवीय प्राथमिकताओं पर निर्भर किए बिना ओपन-एंडेड इंस्ट्रक्शन फॉलोइंग के प्रभावी पोस्ट-ट्रेनिंग को सक्षम करने के लिए एक स्वतंत्र वेरीफायर मॉडल के तहत जनरेटर के आउटपुट के लॉग-लाइक्लीहुड का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानियाँ लिखना या सवालों के जवाब देना सिखा रहे हैं। आमतौर पर, इसे सिखाने के लिए आपको एक शिक्षक की आवश्यकता होती है जिसे सही उत्तर पता हो (जैसे एक गणित का शिक्षक जो टेस्ट चेक करता है) या एक मानव निर्णायक (judge) की जो कहे, "यह उत्तर अच्छा है, वह वाला बुरा है।" लेकिन मानव निर्णायक प्राप्त करना महंगा है, और गणित के शिक्षकों का काम केवल गणित की समस्याओं तक ही सीमित है।
यह शोध पत्र बिना किसी मानव शिक्षक या "सही उत्तर कुंजी" के रोबोट को सिखाने का एक नया तरीका पेश करता है। वे इसे क्रॉस-मॉडल एंट्रॉपी (Cross-Model Entropy - CME) कहते हैं।
यह कैसे काम करता है, यहाँ एक सरल उपमा (analogy) दी गई है:
समस्या: रोबोट का खुद से बात करना
कल्पना कीजिए कि आप एक रोबोट को कहानी लिखने के लिए कहते हैं। यह देखने के लिए कि कहानी अच्छी है या नहीं, आप उसी रोबोट से अपनी कहानी पढ़ने के लिए कहते हैं और पूछते हैं, "क्या मुझे यह विश्वास योग्य लगता है?"
- जोखिम: यदि रोबोट भ्रमित है या उससे कोई गलती हुई है, तो वह आत्मविश्वास के साथ खुद से कह सकता है, "हाँ, यह बिल्कुल तर्कसंगत है!" वह अपनी गलतियों को ही पुख्ता करने लगता है। यह वैसा ही है जैसे एक छात्र अपना होमवर्क खुद चेक कर रहा हो और खुद को 'A' ग्रेड दे रहा हो, भले ही उसने सब कुछ गलत किया हो।
समाधान: "आश्चर्य" मीटर (The "Surprise" Meter)
रोबोट से खुद का न्याय करने के लिए कहने के बजाय, लेखक एक दूसरे रोबोट (एक वर्िफायर/जांचकर्ता) को लाते हैं जो रोबोट के बिल्कुल अलग परिवार से आता है।
- सेटअप: रोबोट A (छात्र) एक उत्तर लिखता है। रोबोट B (शिक्षक) उसे पढ़ता है।
- मीट्रिक (Metric): वे रोबोट B से यह नहीं पूछते, "क्या यह सही है?" इसके बजाय, वे पूछते हैं, "आप इस पर कितने आश्चर्यचकित हैं?"
- यदि रोबोट B उत्तर पढ़ता है और सोचता है, "ओह, यह बहुत सामान्य, तार्किक बात है," तो वह आश्चर्यचकित नहीं है। इसे उच्च स्कोर (high score) मिलता है।
- यदि रोबोट B उत्तर पढ़ता है और सोचता है, "रुको, इसका कोई मतलब नहीं है! यह अजीब है!" तो वह बहुत आश्चर्यचकित है। इसे कम स्कोर (low score) मिलता है।
"क्रॉस-मॉडल" ट्रिक
असली जादू यह है कि रोबोट A और रोबोट B अलग-अलग मॉडल हैं (उदाहरण के लिए, एक गूगल द्वारा बनाया गया है और दूसरा मेटा द्वारा)।
- क्योंकि वे अलग हैं, रोबोट A अपने आंतरिक तर्क (internal logic) का उपयोग करके रोबोट B को "धोखा" नहीं दे सकता।
- यदि रोबोट A कल्पना करने (hallucinate) या मनगढ़ंत बातें बनाने की कोशिश करता है, तो रोबोट B आश्चर्यचकित होगा क्योंकि वह रोबोट A की विशिष्ट गलतियों को साझा नहीं करता है।
- यह रोबोट को अपनी ही गलतियों को दोहराकर "सिस्टम को चकमा देने" से रोकता है।
वे इसका उपयोग कैसे करते हैं
शोधकर्ताओं ने एक विधि का उपयोग किया जिसे GRPO (रोबोटों को प्रशिक्षित करने का एक तरीका) कहा जाता है और उन्होंने सामान्य "रिवॉर्ड" (इनाम) को इस "सरप्राइज मीटर" से बदल दिया।
- रोबोट एक प्रश्न के कई अलग-अलग उत्तर उत्पन्न करता है।
- दूसरा रोबोट उन सभी को पढ़ता है और मापता है कि वह प्रत्येक उत्तर से कितना "आश्चर्यचकित" है।
- पहला रोबोट ऐसे उत्तर उत्पन्न करना सीखता है जो दूसरे रोबोट को कम आश्चर्यचकित महसूस कराएं (जिसका अर्थ है कि उत्तर अधिक स्वाभाविक और उच्च गुणवत्ता वाले लगें)।
उन्हें क्या पता चला
उन्होंने चार अलग-अलग प्रकार के रोबोटों (Qwen, Llama, Gemma, और OLMo) पर इसका परीक्षण किया और पाया:
- यह काम करता है: इस "सरप्राइज मीटर" के साथ प्रशिक्षित रोबोट बिना प्रशिक्षण वाले रोबोटों की तुलना में निर्देश मानने में बहुत बेहतर हो गए।
- यह प्रतिस्पर्धा को पछाड़ देता है: इसने महंगे मानव फीडबैक डेटा के साथ प्रशिक्षित रोबोटों के समान प्रदर्शन किया, लेकिन बिना किसी मानव लेबल की आवश्यकता के।
- बेहतर शिक्षक, बेहतर परिणाम: "दूसरा रोबोट" (वर्िफायर) जितना सक्षम होगा, पहला रोबोट उतना ही बेहतर सीखेगा।
- रैंडम (Random) काम नहीं करता: यदि उन्होंने एक "रैंडम" रोबोट को शिक्षक के रूप में उपयोग किया, तो इससे ज्यादा मदद नहीं मिली। यह साबित करता है कि सिग्नल शिक्षक की वास्तविक बुद्धिमत्ता से आता है, न कि केवल रैंडम शोर (noise) से।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र दिखाता है कि आप एक बड़े लैंग्वेज मॉडल को स्मार्ट और अधिक सहायक बनाने के लिए उसे एक अलग, स्वतंत्र मॉडल को आश्चर्यचकित न करने की कोशिश करने के माध्यम से सिखा सकते हैं। यह बिना किसी मानव निर्णायक को भुगतान किए या सही उत्तरों के डेटाबेस की आवश्यकता के बिना, उच्च-गुणवत्ता वाले प्रशिक्षण प्राप्त करने का एक तरीका है।
उन्होंने बताई गई सीमाएँ (Limitations):
- इसके लिए एक साथ दो मॉडल चलाने की आवश्यकता होती है, जिसमें अधिक कंप्यूटर शक्ति (computer power) लगती है।
- उन्होंने केवल छोटे मॉडलों और अंग्रेजी टेक्स्ट का परीक्षण किया है; वे अभी तक यह नहीं जानते कि क्या यह विशाल मॉडलों या अन्य भाषाओं पर भी पूरी तरह से काम करता है।
- एक छोटा जोखिम यह भी है कि रोबोट केवल दूसरे रोबोट की तरह दिखने या बोलने के लिए सीख सकता है, बजाय इसके कि वह वास्तव में रचनात्मक हो, हालांकि उन्होंने अपने परीक्षणों में ऐसा होते नहीं देखा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।