← नवीनतम पेपर
🤖 machine learning

G-Zero: Self-Play for Open-Ended Generation from Zero Data

G-Zero एक वर्िफायर-मुक्त (verifier-free), सह-विकासवादी (co-evolutionary) ढांचा है जो एक आंतरिक "Hint-δ\delta" रिवॉर्ड का उपयोग करके LLM के ओपन-एंडेड आत्म-सुधार को सक्षम बनाता है, जिससे एक प्रपोजर (Proposer) मॉडल को चुनौतीपूर्ण प्रश्न और संकेत उत्पन्न करने के लिए प्रशिक्षित किया जाता है, जिससे एक जनरेटर (Generator) मॉडल DPO के माध्यम से उनसे सीखता है, और इस प्रकार बाहरी जजों की सीमाओं को दरकिनार करता है।

मूल लेखक: Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

प्रकाशित 2026-05-12
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Chengsong Huang, Haolin Liu, Tong Zheng, Runpeng Dai, Langlin Huang, Jinyuan Li, Zongxia Li, Zhepei Wei, Yu Meng, Jiaxin Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (Generator) है जो और अधिक बुद्धिमान बनने की कोशिश कर रहा है, लेकिन वह एक ऐसे कमरे में फंसा हुआ है जहाँ न कोई शिक्षक है, न कोई पाठ्यपुस्तक और न ही कोई उत्तर कुंजी (answer key)। आमतौर पर, सीखने के लिए एक छात्र को एक शिक्षक की आवश्यकता होती है जो कह सके, "यह गलत है, इसे इस तरह से आजमाएं।" बिना शिक्षक के, छात्र केवल अनुमान लगा सकता है या एक ही गलती को दोहराते हुए अटक सकता है।

यह शोध पत्र AI मॉडलों के लिए बिना किसी मानव शिक्षक या बाहरी "निर्णायक" (judge) के सीखने का एक नया तरीका पेश करता है। वे इस प्रणाली को G-Zero कहते हैं।

यह कैसे काम करता है, इसके लिए एक सरल उपमा (analogy) का उपयोग करें:

दो पात्र: "कोच" और "छात्र"

एक अकेले छात्र के बजाय, G-Zero दो AI मॉडलों का उपयोग करता है जो एक लूप में मिलकर काम करते हैं:

  1. द जनरेटर (द स्टूडेंट): यह वह मॉडल है जिसे हम सुधारना चाहते हैं। यह प्रश्नों के उत्तर देने का प्रयास करता है।
  2. द प्रोपोज़र (द कोच): यह दूसरा मॉडल है जिसका काम यह पता लगाना है कि छात्र कहाँ कमजोर है और उसे कैसे मदद की जा सकती है।

गुप्त हथियार: "Hint-δ" (एक चिंगारी)

स्व-सीखने (self-learning) के साथ सबसे बड़ी समस्या यह है: मॉडल को कैसे पता चलेगा कि वह बेहतर हो रहा है यदि उसके पास कोई उत्तर कुंजी नहीं है?

G-Zero इस समस्या को Hint-δ नामक एक चतुर तकनीक से हल करता है। यहाँ प्रक्रिया दी गई है:

  1. चुनौती: कोच (प्रोपोज़र) एक कठिन प्रश्न और एक संकेत (Hint) तैयार करता है।
  2. परीक्षण: छात्र (जनरेटर) संकेत के बिना प्रश्न का उत्तर देने का प्रयास करता है। आइए इसे "संघर्ष वाला उत्तर" (Struggle Answer) कहें।
  3. बदलाव: फिर, छात्र फिर से प्रयास करता है, लेकिन इस बार संकेत के साथ। आइए इसे "अहा! वाला उत्तर" (Aha! Answer) कहें।
  4. मापन: सिस्टम छात्र के मस्तिष्क में आए "झटके" या बदलाव (shift) को मापता है। क्या संकेत ने छात्र को अचानक उत्तर को बहुत बेहतर तरीके से समझने में मदद की?
    • यदि छात्र पहले से ही अच्छा था, तो संकेत से ज्यादा फर्क नहीं पड़ता। (कम स्कोर)।
    • यदि संकेत बेकार था, तो छात्र में ज्यादा बदलाव नहीं आता। (कम स्कोर)।
    • सही बिंदु (The Sweet Spot): यदि प्रश्न कठिन था और संकेत बिल्कुल वही था जिसकी छात्र को उत्तर को अनलॉक करने के लिए आवश्यकता थी, तो छात्र के मस्तिष्क में नाटकीय बदलाव आता है। यह एक उच्च स्कोर बनाता है।

उपमा: कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं।

  • यदि आप इसे आसानी से सुलझा लेते हैं, तो संकेत से ज्यादा मदद नहीं मिलती।
  • यदि संकेत निरर्थक है, तो आप फिर भी इसे हल नहीं कर पाते।
  • लेकिन यदि आप अटके हुए हैं, और कोई आपके कान में तर्क का सटीक गायब हिस्सा फुसफुसा देता है, तो आपका मस्तिष्क कहता है "क्लिक!" वह "क्लिक" ही Hint-δ है। यह साबित करता है कि संकेत मूल्यवान था और प्रश्न चुनौतीपूर्ण था।

प्रशिक्षण लूप: वे कैसे बेहतर बनते हैं

यह प्रणाली दो चरणों में, बार-बार चलती है:

चरण 1: कोच कमजोरियों को खोजने में अधिक स्मार्ट बनता है।
कोच को तब पुरस्कृत किया जाता है जब वह ऐसा प्रश्न ढूंढता है जो छात्र को उलझा देता है और एक ऐसा संकेत प्रदान करता है जो उसे ठीक कर देता है। कोच सीखता है कि आसान प्रश्न पूछना बंद करे और खराब संकेत देना बंद करे। वह छात्र के "अंधे स्थानों" (blind spots) को खोजने के लिए शिकार करना सीख जाता है।

चरण 2: छात्र "अहा!" क्षणों से सीखता है।
छात्र को उत्तरों के जोड़े दिखाए जाते हैं: "संघर्ष वाला उत्तर" (अस्वीकृत) और "अहा! वाला उत्तर" (चुना गया)। छात्र को उस संस्करण को पसंद करने के लिए प्रशिक्षित किया जाता है जिसने संकेत का उपयोग किया था।

  • जादू: समय के साथ, छात्र संकेतों की शैली और तर्क को सीख जाता है। अंततः, छात्र बिना संकेत की आवश्यकता के उन उच्च-गुणवत्ता वाले उत्तरों को उत्पन्न कर सकता है। छात्र ने कोच के मार्गदर्शन को आत्मसात कर लिया है।

यह एक बड़ी बात क्यों है

  • बाहरी निर्णायकों की आवश्यकता नहीं: आमतौर पर, AI को एक मानव या एक बहुत बुद्धिमान AI की आवश्यकता होती है जो यह कहे, "यह उत्तर अच्छा है।" यह एक सीमा (ceiling) पैदा करता है; AI कभी भी जज से अधिक स्मार्ट नहीं हो सकता। G-Zero इस जज को पूरी तरह से हटा देता है। AI खुद को इस आधार पर जज करता है कि उसकी अपनी समझ में कितना बदलाव आया।
  • रचनात्मक कार्यों पर काम करता है: पिछले तरीके केवल गणित या कोडिंग (जहाँ एक स्पष्ट सही/गलत उत्तर होता है) पर काम करते थे। G-Zero कहानियाँ लिखने, सलाह देने या बातचीत करने जैसे खुले अंत वाले कार्यों पर काम करता है, जहाँ कोई एक एकल "सही" उत्तर नहीं होता।
  • स्व-सुधार (Self-Improving): शोध पत्र दिखाता है कि इस लूप के केवल दो दौरों के बाद, मॉडल गणित, कोडिंग और लेखन में काफी बेहतर हो गए, भले ही उन्होंने शून्य बाहरी डेटा के साथ शुरुआत की थी।

कमी (सीमाएँ)

शोध पत्र नोट करता है कि कोच और छात्र के बीच यह "हथियारों की दौड़" (arms race) कभी-कभी गलत हो सकती है। यदि कोच बहुत अधिक चालाक हो जाता है, तो छात्र भ्रमित हो सकता है या सिस्टम क्रैश (एक "कोलैप्स") हो सकता है। उन्होंने यह भी पाया कि यह प्रणाली सबसे अच्छा तब काम करती है जब सबसे आसान और सबसे कठिन उदाहरणों को फ़िल्टर कर दिया जाता है, और ध्यान "बिल्कुल सही" कठिनाई स्तर पर केंद्रित किया जाता है।

सारांश

G-Zero को एक ऐसे सेल्फ-ड्राइविंग कार के रूप में सोचें जो बेहतर ड्राइविंग सीखती है क्योंकि उसे एहसास होता है, "वाह, जब मैंने सड़क को इस तरह से देखा, तो मैंने मोड़ को बहुत बेहतर ढंग से समझा।" इसे ड्राइविंग इंस्ट्रक्टर की आवश्यकता नहीं है; इसे बस स्पष्टता के उन क्षणों को पहचानने की आवश्यकता है जहाँ दृष्टिकोण में एक छोटा सा बदलाव समझ में बड़े सुधार की ओर ले जाता है। स्पष्टता के उन क्षणों का पीछा करके, AI खुद को स्मार्ट बनाना सीखता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →