SCOPE: Self-Play via Co-Evolving Policies for Open-Ended Tasks
SCOPE एक डेटा-मुक्त सेल्फ-प्ले फ्रेमवर्क है जो दस्तावेज़-आधारित कार्यों को उत्पन्न करने और ग्रेड करने के लिए एक फ्रोजन सेल्फ-जज के साथ एक चैलेंजर और एक सॉल्वर को सह-विकसित करता है, जो बाहरी पर्यवेक्षण या क्यूरेटेड प्रॉम्प्ट्स पर निर्भर किए बिना कई मॉडलों में ओपन-एंडेड और शॉर्ट-फॉर्म QA प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को एक बेहतरीन शोध पत्र (research paper) लिखना सिखाना चाहते हैं, लेकिन आपके पास कोई शिक्षक नहीं है, न ही कोई पाठ्यपुस्तक है, और न ही पूछने के लिए प्रश्नों की कोई सूची है। आपके पास केवल पुस्तकों का एक विशाल पुस्तकालय (इंटरनेट) और छात्र का अपना मस्तिष्क है।
यह वह समस्या है जिसे SCOPE नामक शोध पत्र हल करने की कोशिश करता है। आमतौर पर, AI को जटिल, खुले अंत वाले कार्यों (जैसे गहरा शोध या रचनात्मक लेखन) के लिए प्रशिक्षित करने के लिए, मनुष्यों को प्रश्न लिखने होते हैं और उत्तरों को ग्रेड देना होता है। लेकिन मनुष्य धीमे, महंगे और सीमित होते हैं।
SCOPE बिना किसी मानवीय सहायता के AI को प्रशिक्षित करने का एक नया तरीका है। यह एक "सेल्फ-प्ले" (self-play) विधि का उपयोग करता है, जो बिल्कुल वैसा ही है जैसे दो शतरंज खिलाड़ी एक-दूसरे के खिलाफ खेलकर बेहतर बनते हैं, लेकिन इसमें एक मोड़ है: वे सूचना के साथ लुका-छिपी (Hide and Seek with Information) का खेल खेल रहे हैं।
यह कैसे काम करता है, इसे सरल भूमिकाओं में यहाँ समझाया गया है:
1. तीन पात्र
यह प्रणाली एक ही AI मॉडल के तीन संस्करण बनाती है जो अलग-अलग भूमिकाएँ निभाते हैं:
- चैलेंजर (The Challenger - चुनौती देने वाला/क्विज़ मास्टर): इस AI का काम अभी-अभी पढ़े गए एक विशिष्ट दस्तावेज़ के आधार पर एक कठिन प्रश्न बनाना है। इसे प्रश्न इतना कठिन बनाना होगा कि दूसरा AI इसे अपनी याददाश्त से आसानी से नहीं बता सके, लेकिन इतना भी कठिन नहीं कि यह असंभव हो जाए।
- सॉल्वर (The Solver - द डिटेक्टिव/जासूस): इस AI का काम चैलेंजर के प्रश्न का उत्तर देना है। ऐसा करने के लिए, इसे लाइब्रेरी में वापस जाना होगा, सुराग खोजने होंगे, दस्तावेज़ पढ़ने होंगे और उत्तर को जोड़ने के लिए जानकारी को संकलित करना होगा। यह केवल अपनी मौजूदा जानकारी पर निर्भर नहीं रह सकता; इसे नया साक्ष्य ढूँढना ही होगा।
- जज (The Judge - सख्त ग्रेडर/न्यायाधीश): यह मूल AI की एक जमी हुई (frozen), अपरिवर्तनीय प्रति है। यह कभी सीखता या बदलता नहीं है। इसका एकमात्र काम स्रोत दस्तावेज़ और प्रश्न को देखना, और फिर एक विशिष्ट "ग्रेडिंग रूब्रिक" (एक चेकलिस्ट कि एक अच्छा उत्तर कैसा दिखता है) लिखना है। इसके बाद यह सॉल्वर के उत्तर को उस चेकलिस्ट के आधार पर ग्रेड देता है।
2. गेम लूप: वे कैसे बेहतर बनते हैं
जादू तीन चरणों के चक्र में होता है:
- चुनौती (The Challenge): चैलेंजर एक दस्तावेज़ पढ़ता है और एक प्रश्न गढ़ता है। इसे एक "स्वीट स्पॉट" ढूंढना होता है: एक ऐसा प्रश्न जो बस इतना कठिन हो कि वर्तमान सॉल्वर को उलझा सके। यदि प्रश्न बहुत आसान है, तो सॉल्वर तुरंत 'A' ग्रेड प्राप्त कर लेगा; यदि यह बहुत कठिन है, तो सॉल्वर पूरी तरह विफल हो जाएगा। चैलेंजर चाहता है कि सॉल्वर थोड़ा संघर्ष करे ताकि वह सीख सके।
- जांच (The Investigation): सॉल्वर को प्रश्न मिलता है। उसे उत्तर नहीं पता। उसे लाइब्रेरी में खोजना होगा, कई दस्तावेज़ पढ़ने होंगे और जानकारी को जोड़कर एक प्रतिक्रिया लिखनी होगी।
- ग्रेडिंग (The Grading): जज स्रोत दस्तावेज़ और प्रश्न को देखता है, और फिर एक विशिष्ट चेकलिस्ट (रूब्रिक) लिखता है। उदाहरण के लिए, यदि प्रश्न किसी जहाज के डूबने (shipwreck) के बारे में है, तो रूब्रिक कह सकता है: "उत्तर में तूफान में चलने के कप्तान के निर्णय का उल्लेख होना चाहिए" और "उत्तर में सुरक्षा प्रबंधन की विफलताओं का उल्लेख होना चाहिए।" जज फिर सॉल्वर के उत्तर को ग्रेड देता है।
"अहा!" क्षण (The "Aha!" Moment):
मुख्य चाल यह है कि चैलेंजर और जज स्रोत दस्तावेज़ देखते हैं, लेकिन सॉल्वर नहीं। सॉल्वर केवल प्रश्न देखता है। यह सॉल्वर को लापता जानकारी खोजने के लिए प्रभावी ढंग से खोज (search) करने के लिए मजबूर करता है।
यदि सॉल्वर बेहतर खोज करने में सक्षम होता है, तो चैलेंजर को और अधिक कठिन प्रश्न पूछने के लिए स्मार्ट होना पड़ेगा। यदि चैलेंजर कठिन प्रश्न पूछने में बेहतर होता है, तो सॉल्वर को बेहतर खोज करने के लिए बेहतर होना होगा। वे एक-दूसरे के साथ "सह-विकसित" (co-evolve) होते हैं, जिससे वे कौशल के उच्च स्तर तक पहुँचते हैं, ठीक वैसे ही जैसे दो एथलीट एक साथ प्रशिक्षण लेते हैं।
3. यह एक बड़ी बात क्यों है?
- किसी मानव शिक्षक की आवश्यकता नहीं: अधिकांश AI प्रशिक्षण में मनुष्यों द्वारा हजारों प्रश्न और उत्तर लिखने की आवश्यकता होती है। SCOPE अपने सभी प्रशिक्षण डेटा को कच्चे दस्तावेज़ों से स्वयं उत्पन्न करता है।
- "फजी" (Fuzzy) कार्यों के लिए उपयुक्त: पिछले सेल्फ-प्ले तरीके केवल गणित या कोड के लिए काम करते थे जहाँ एक सही उत्तर होता है (जैसे
2+2=4)। खुले अंत वाले कार्य (जैसे "एक कहानी लिखें" या "ऐतिहासिक घटना का विश्लेषण करें") में एक एकल सही उत्तर नहीं होता है। SCOPE इन "फजी" कार्यों को ग्रेड करने के लिए जज के रूब्रिक का उपयोग करता है, जिससे AI को रचनात्मक और शोध-प्रधान कार्यों में सुधार करने की अनुमति मिलती है। - यह काम करता है: पेपर ने तीन अलग-अलग AI मॉडलों पर इसका परीक्षण किया। भले ही उन्हें केवल इन स्व-जनित खुले अंत वाले कार्यों पर प्रशिक्षित किया गया था, वे निम्नलिखित कार्यों में काफी बेहतर हो गए:
- गहरा शोध (Deep Research): कई स्रोतों से जानकारी खोजने और उन्हें जोड़ने में।
- रचनात्मक लेखन (Creative Writing): बेहतर कहानियाँ और निबंध लिखने में।
- छोटे प्रश्न (Short Questions): आश्चर्यजनक रूप से, वे उन सरल तथ्य-जांच (fact-checking) वाले प्रश्नों में भी बेहतर हो गए जिनके लिए उन्हें स्पष्ट रूप से प्रशिक्षित नहीं किया गया था।
"सीक्रेट सॉस" (The Secret Sauce)
पेपर ने पाया कि इसके सफल होने के लिए, चैलेंजर का बदलते रहना आवश्यक है। यदि आप चैलेंजर को स्थिर (freeze) कर देते हैं और केवल सॉल्वर को सीखने देते हैं, तो सॉल्वर जल्दी ही आसान प्रश्नों को समझ जाता है और सुधार करना बंद कर देता है। चैलेंजर को सॉल्वर को सतर्क रखने के लिए लगातार नए, थोड़े कठिन पहेलियाँ गढ़नी पड़ती हैं।
साथ ही, जज को एक अच्छा चेकलिस्ट (रूब्रिक) लिखने के लिए पर्याप्त स्मार्ट होने की आवश्यकता है। यदि चेकलिस्ट अस्पष्ट है, तो सॉल्वर कुछ नहीं सीख पाता। यदि चेकलिस्ट तथ्यों के आधार पर विशिष्ट है, तो सॉल्वर ठीक जानता है कि उसे क्या खोजना है।
सारांश में
SCOPE AI के लिए एक स्व-चालित जिम (self-running gym) की तरह है। इसके बजाय कि कोई मानव कोच AI को क्या करना है यह बताए, AI अपना खुद का वर्कआउट (चैलेंजर) बनाता है, वर्कआउट करता है (सॉल्वर), और अपने फॉर्म को ग्रेड करता है (जज)। कठिनाई के बिल्कुल सही स्तर के साथ खुद को चुनौती देकर, AI शोध करने, तर्क करने और बेहतर लिखने में उतना ही बेहतर होता जाता है जितना कि वह केवल मानव-क्यूरेटेड डेटा के साथ हो सकता था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।