From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement
यह शोध पत्र रिइन्फोर्समेंट लर्निंग विद सेल्फ-वेरिफिएबल रिवार्ड्स (RLSVR) का प्रस्ताव देता है, जो एक ऐसा प्रतिमान (पैराडाइम) है जो ओपन-एंडेड कार्यों को सत्यापन योग्य प्रॉक्सी वातावरण में परिवर्तित करता है—जैसा कि सोशल डिटेक्शन गेम्स से प्रेरित 'SpyRL' पद्धति द्वारा उदाहरण दिया गया है—ताकि गणित और कोडिंग जैसे पारंपरिक सत्यापन योग्य डोमेन से परे बड़े भाषा मॉडलों (LLMs) में स्केलेबल और पूर्वाग्रह-मुक्त आत्म-सुधार को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर उन प्रतिभाशाली छात्रों की तरह हैं जो गणित की समस्याओं को हल कर सकते हैं या कोड लिख सकते हैं क्योंकि उनके पास एक स्पष्ट उत्तर कुंजी (answer key) है। यदि वे उत्तर गलत देते हैं, तो शिक्षक को तुरंत पता चल जाता है और छात्र अपनी गलती से सीखता है। आज के कई सबसे स्मार्ट AI मॉडल इसी तरह प्रशिक्षित किए जाते हैं: वे उन कार्यों पर अभ्यास करते हैं जहाँ "सही" उत्तर स्पष्ट और जांचने योग्य होता है। लेकिन क्या होता है जब शिक्षक एक कविता, एक मज़ेदार कहानी, या एक लंबी समाचार रिपोर्ट का सारांश मांगता है? रचनात्मकता के लिए कोई एक एकल उत्तर कुंजी नहीं होती। एक कंप्यूटर को कैसे पता चलेगा कि उसकी कहानी "अच्छी" है, बिना किसी मानव शिक्षक द्वारा हर एक पेपर को ग्रेड दिए? यह वह बड़ी पहेली है जिसे शोधकर्ता हल करने की कोशिश कर रहे हैं: AI को खुले-अंत वाले, रचनात्मक कार्यों में बेहतर होने के लिए कैसे सिखाया जाए, बिना हर बार किसी इंसान के निगरानी में रहने की आवश्यकता के।
आप जो पेपर पढ़ने जा रहे हैं, वह "सेल्फ-सुपरवाइज्ड लर्निंग" (self-supervised learning) नामक विज्ञान की एक अलग शाखा से एक तरकीब उधार लेकर इस समस्या का समाधान करता है। इसे ऐसे समझें जैसे एक छात्र, जो शिक्षक द्वारा क्विज़ देने का इंतज़ार करने के बजाय, अभ्यास करने के लिए अपना खुद का छोटा सा खेल बना लेता है। वे एक वाक्य में से एक शब्द को छिपा सकते हैं और अनुमान लगा सकते हैं कि वह क्या था। भले ही यह खेल अंतिम परीक्षा नहीं है, लेकिन इस खेल को खेलने की क्रिया उन्हें भाषा को बेहतर ढंग से समझने में मदद करती है। इस पेपर के शोधकर्ता पूछते हैं: "क्या हम AI को एक समान खेल खेलने के लिए प्रेरित कर सकते हैं ताकि वह लिखने और तर्क करने में बेहतर हो सके, भले ही वहां कोई उत्तर कुंजी न हो?" वे AI को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं जिसे RLSVR (Reinforcement Learning with Self-Verifiable Rewards) कहा जाता है। यह अनुमान लगाने की कोशिश करने के बजाय कि कोई कहानी "अच्छी" है या नहीं (जो कठिन और व्यक्तिपरक है), इस कार्य को एक ऐसे खेल में बदल देता है जहाँ AI सख्त, अंतर्निहित नियमों का उपयोग करके अपने काम की स्वयं जांच कर सकता है।
द स्पाई गेम: AI कैसे बेहतर लिखना सीखता है
शोधकर्ताओं ने इस विचार का एक विशिष्ट संस्करण बनाया जिसे SpyRL कहा जाता है। इसे समझने के लिए, कल्पना करें कि पाँच दोस्तों का एक समूह एक घेरे में बैठा है, और "हू इज़ द स्पाई?" (Who is the Spy?) का खेल खेल रहा है (जो लोकप्रिय पार्टी गेम Who Is the Spy? से प्रेरित है)।
AI की दुनिया में यह खेल कैसे काम करता है:
- सेटअप: समूह को एक लेखन प्रॉम्प्ट दिया जाता है, जैसे "एक रोबोट के बारे में एक कहानी लिखें जिसे प्यार हो जाता है।" चार खिलाड़ियों ( "सिविलियंस" या नागरिक) को पूरा, पूर्ण प्रॉम्प्ट मिलता है। एक खिलाड़ी ( "स्पाय" या जासूस) को प्रॉम्प्ट का एक टूटा हुआ, अधूरा संस्करण मिलता है—शायद आधे शब्द गायब हैं या बिखरे हुए हैं।
- प्रदर्शन: सभी को जो वे देखते हैं उसके आधार पर एक कहानी लिखनी होती है। सिविलियंस के पास पूरी जानकारी है, इसलिए वे एक बेहतरीन, विस्तृत कहानी लिख सकते हैं। हालाँकि, स्पाय के पास कुछ हिस्से कम हैं। पकड़े जाने से बचने के लिए, स्पाय को यह अनुमान लगाना होगा कि गायब हिस्से क्या थे और उसे एक ऐसी कहानी लिखनी होगी जो ऐसा लगे कि वह विषय के अनुकूल है, भले ही वह बिना किसी जानकारी के काम कर रहा हो।
- पहचान: जब सब अपनी कहानी पूरी कर लेते हैं, तो समूह सभी कहानियों को पढ़ता है और वोट करता है कि उन्हें कौन सा व्यक्ति 'स्पाय' लगता है।
- इनाम: यहाँ जादू वाला हिस्सा है। क्योंकि यह खेल चलाने वाला कंप्यूटर जानता है कि स्पाय कौन था (उसने भूमिका सौंपी थी), वह तुरंत वोट की जांच कर सकता है।
- यदि समूह सही ढंग से स्पाय की पहचान करता है, तो वोट देने वालों को इनाम मिलता है।
- यदि स्पाय को वोट देकर बाहर निकाल दिया जाता है, तो स्पाय को "सजा" (कम स्कोर) मिलती है।
- यदि सिविलियंस को गलती से बाहर निकाल दिया जाता है, तो उन्हें कम स्कोर मिलता है।
यह एक पूर्ण, स्व-जांचने वाला लूप बनाता है। AI को यह कहने के लिए किसी इंसान की ज़रूरत नहीं है कि "वह कहानी उबाऊ थी।" इसके बजाय, खेल के नियम फीडबैक प्रदान करते हैं। यदि स्पाय की कहानी बहुत अस्पष्ट थी या विषय से मेल नहीं खाती थी, तो अन्य खिलाड़ी उसे पकड़ लेंगे और उसे बाहर कर देंगे। यदि सिविलियंस ने एक भ्रमित करने वाली या विषय से हटकर कहानी लिखी, तो उन्हें गलती से बाहर निकाला जा सकता है, जो उन्हें अधिक स्पष्ट होना सिखाता है।
उन्होंने क्या पाया
शोधकर्ताओं ने इस "स्पाय गेम" का परीक्षण तीन बहुत ही अलग प्रकार के कार्यों पर किया:
- लंबी रिपोर्टों का सारांश बनाना (जैसे 20 पन्नों के सरकारी दस्तावेज़ को एक संक्षिप्त सारांश में बदलना)।
- रचनात्मक लेखन (प्रॉम्प्ट के आधार पर कहानियाँ लिखना)।
- गणितीय तर्क (जटिल गणित की समस्याओं को हल करना)।
परिणाम काफी आश्चर्यजनक थे। आमतौर पर, वे तरीके जो यह "अनुमान" लगाने पर निर्भर करते हैं कि कोई रचनात्मक रचना कितनी अच्छी है (अन्य AI मॉडलों का न्यायाधीश के रूप में उपयोग करना), बहुत अधिक सुधार करने में संघर्ष करते हैं। लेकिन SpyRL ने, इस कार्य को स्पष्ट नियमों वाले खेल में बदलकर, AI को बेहतर कहानियाँ और सारांश लिखना सिखाने में सफलता प्राप्त की।
अपने प्रयोगों में, SpyRL के साथ प्रशिक्षित AI ने अन्य उन्नत स्व-सुधार विधियों को पीछे छोड़ दिया। उदाहरण के लिए, रचनात्मक लेखन कार्यों पर, SpyRL-प्रशिक्षित मॉडल उसी मॉडल के अप्रशिक्षित संस्करण की तुलना में लगभग 77.3% बार जीते। गणित की समस्याओं पर, जहाँ उत्तर आमतौर पर जांचने योग्य होते हैं, SpyRL ने फिर भी स्कोर में महत्वपूर्ण सुधार किया, जिससे कुछ कठिन बेंचमार्क पर मॉडल की गणितीय सटीकता लगभग 9% बढ़ गई।
पेपर सुझाव देता है कि यह दृष्टिकोण इसलिए काम करता है क्योंकि यह AI को अपने आउटपुट की गुणवत्ता पर ध्यान केंद्रित करने के लिए मजबूर करता है। खेल जीतने के लिए (या कम से कम हारने से बचने के लिए), AI को ऐसी कहानियाँ लिखनी होती हैं जो सुसंगत, रचनात्मक और तार्किक रूप से ठोस हों। यदि वह कुछ कमजोर या भ्रमित करने वाला लिखता है, तो उसे खेल के अन्य खिलाड़ियों द्वारा "पकड़ा" जाएगा।
यह क्यों महत्वपूर्ण है
बड़ी बात यह है कि आपको AI को रचनात्मक होने के बारे में सिखाने के लिए किसी मानव शिक्षक या पूर्ण उत्तर कुंजी की आवश्यकता नहीं है। एक अस्पष्ट कार्य (जैसे "एक अच्छी कहानी लिखें") को छिपी हुई भूमिकाओं और स्पष्ट जीत/हार की शर्तों वाले एक संरचित खेल में बदलकर, AI खुद को बेहतर बनाना सीख सकता है। शोधकर्ता दिखाते हैं कि यह तरीका न केवल गणित (जहाँ उत्तरों की जाँच करना आसान है) के लिए काम करता है, बल्कि लेखन और सारांश के लिए भी काम करता है, जहाँ "सही होना" आमतौर पर राय का मामला होता है।
उन्होंने पाया कि खेल में जितने अधिक खिलाड़ी शामिल होंगे (एक सीमा तक), प्रशिक्षण संकेत उतना ही बेहतर होता जाएगा, जो यह सुझाव देता है कि AI का एक "भीड़" (crowd) बहस और वोट करने से खराब विचारों को छानने में मदद मिलती है। हालाँकि पेपर यह दावा नहीं करता कि यह AI की हर समस्या को हल कर देता है, लेकिन यह एक आशाजनक नया रास्ता प्रदान करता है: मानव रचनात्मकता की अव्यवस्थित, व्यक्तिपरक दुनिया को एक ऐसे खेल में बदलना जिसे कंप्यूटर खुद खेल सकता है, जीत सकता है और जिससे सीख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।