Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning
अगन (Agon) एक प्रतिस्पर्धी क्रॉस-मॉडल सुदृढीकरण लर्निंग (reinforcement learning) ढांचे को पेश करता है जहाँ दो मॉडल एक-दूसरे के विरुद्ध समस्याओं का मसौदा तैयार करने और उन्हें हल करने के माध्यम से परस्पर ग्रेडर के रूप में कार्य करते हैं, जो बिना प्रोसेस लेबल के श्रेष्ठ तर्क को अंतर्निहित रूप से पुरस्कृत करता है और जटिल तर्क कार्यों पर मानक सिंगल-मॉडल आरएल (RL) दृष्टिकोणों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को अविश्वसनीय रूप से कठिन गणित के सवाल हल करना सिखाने की कोशिश कर रहे हैं।
पुराना तरीका: "केवल उत्तर देने वाला" कोच
वर्तमान में, मानक विधि (जिसे GRPO कहा जाता है) एक ऐसे कोच की तरह है जो टेस्ट पर केवल अंतिम उत्तर को देखता है।
- यदि छात्र सही उत्तर देता है, तो उसे एक गोल्ड स्टार मिलता है।
- यदि वह गलत होता है, तो उसे एक रेड 'X' मिलता है।
- समस्या: कोच यह कभी नहीं देखता कि छात्र वहां तक कैसे पहुँचा। यदि छात्र सही उत्तर तक संयोग से पहुँचने के लिए भ्रमित करने वाले तर्क, अनुमान और पीछे हटने का 10 पन्नों का निबंध लिख देता है, तो भी उसे गोल्ड स्टार मिल जाता है।
- परिणाम: छात्र बेहतर सोचने के बजाय अधिक शब्द लिखना सीख जाते हैं। वे अपनी संभावनाओं को बढ़ाने के लिए अपने पन्नों को "हूँ, मुझे सोचने दो..." और "रुको, शायद..." जैसे शब्दों से भरने लगते हैं। वे बातूनी तो बन जाते हैं लेकिन जरूरी नहीं कि समझदार भी।
नया तरीका: अगोन (The "Debate Club")
यह शोध पत्र अगोन (ग्रीक शब्द "प्रतियोगिता") नामक एक नई विधि पेश करता है। एक छात्र के अकेले काम करने के बजाय, अगोन दो छात्रों को एक ही समस्या को एक साथ हल करने के लिए एक कमरे में रखता है, लेकिन एक ट्विस्ट के साथ: वे एक-दूसरे से अधिक बुद्धिमान सिद्ध होने के लिए प्रतिस्पर्धा कर रहे हैं।
यहाँ "अगोन" गेम कैसे काम करता है:
- ड्राफ्ट (The Draft): छात्र A पहले समस्या को हल करने की कोशिश करता है। वे अपने तर्क और अपने चरणों का सारांश लिखते हैं (लेकिन अंतिम उत्तर छिपा देते हैं)।
- चुनौती (The Challenge): छात्र B छात्र A के सारांश को पढ़ता है। छात्र B का लक्ष्य छात्र A से बेहतर तरीके से समस्या को हल करना है।
- यदि छात्र A ने कोई गलती की है (जैसे समीकरण में साइन की गलती), तो छात्र B उसे पकड़ लेता है, उसे ठीक करता है, और सही उत्तर प्राप्त करता है। छात्र B जीत जाता है।
- यदि छात्र A सही था, तो छात्र B इसे सिद्ध करने का एक छोटा, अधिक स्पष्ट तरीका खोजने की कोशिश करता है।
- बदलाव (The Switch): अगले दौर में, वे अपनी भूमिकाएँ बदल लेते हैं। छात्र B ड्राफ्ट तैयार करता है, और छात्र A चुनौती देता है।
यह क्यों काम करता है ( "प्रतिद्वंद्वी ग्रेडिंग" का जादू)
पुरानी विधि में, छात्र को यह अंदाज़ा लगाना पड़ता था कि "अच्छा सोचना" कैसा दिखता है क्योंकि कोई उसे बता नहीं रहा था। अगोन में, प्रतिद्वंद्वी ग्रेडिंग करता है।
- अंतर्निहित फीडबैक (Implicit Feedback): यदि छात्र A के तर्क में कमियाँ हैं, तो छात्र B आसानी से उसे हरा देगा। यह छात्र A को सिखाता है कि "बड़बड़ाना" और "फालतू बातें" काम नहीं आतीं क्योंकि एक स्मार्ट प्रतिद्वंद्वी उन्हें पकड़ लेगा।
- लेबल की आवश्यकता नहीं: हमें किसी मानव शिक्षक की आवश्यकता नहीं है जो कहे, "यह चरण शानदार था, यह चरण फालतू था।" तथ्य यह है कि एक छात्र ने दूसरे को हराया, यही बेहतर तर्क का प्रमाण है।
- "हथियारों की दौड़" (The Arms Race): क्योंकि दोनों छात्र एक ही समय में स्मार्ट हो रहे हैं, इसलिए मानक लगातार ऊपर उठता रहता है। छात्र A अब केवल अनुमान नहीं लगा सकता; उसे छात्र B को हराने के लिए वास्तव में अच्छी तरह से तर्क करना होगा, जो खुद भी स्मार्ट हो रहा है।
परिणाम
शोधकर्ताओं ने बहुत कठिन गणितीय समस्याओं पर इसका परीक्षण किया (Qwen3 नामक मॉडल का उपयोग करके)।
- मानक विधि: मॉडल कठिन समस्याओं का लगभग 30% सही हल कर पाया, लेकिन उसने बहुत लंबे स्पष्टीकरण लिखे।
- अगोन विधि: दो प्रतिस्पर्धी मॉडल लगभग 61% समस्याओं को सही हल कर पाए।
- बोनस: स्पष्टीकरण वास्तव में छोटे थे। क्योंकि मॉडल कुशल होने और त्रुटियों को पकड़ने के लिए प्रतिस्पर्धा कर रहे थे, उन्होंने अनावश्यक बातें लिखना बंद कर दिया।
"दो-चरणों वाली" ट्रिक (The "Two-Stage" Trick)
जब इस सिस्टम का उपयोग वास्तव में किसी उपयोगकर्ता के लिए समस्या हल करने के लिए किया जाता है, तो यह एक रिले रेस की तरह काम करता है:
- मॉडल A एक ड्राफ्ट समाधान लिखता है।
- मॉडल B उस ड्राफ्ट को पढ़ता है, त्रुटियों की जाँच करता है, और अंतिम उत्तर लिखता है।
यह प्रक्रिया स्वचालित रूप से होती है। शोध पत्र दिखाता है कि दो मॉडलों को इस तरह से लड़ने के लिए प्रशिक्षित करना, दो मॉडलों को एक साथ मिलकर (सहयोग से) काम करने या एक मॉडल को अपनी गलतियों को खुद सुधारने की कोशिश करने की तुलना में बहुत अधिक प्रभावी है।
संक्षेप में
अगोन AI मॉडलों को भाग्यशाली होने के लिए "बड़बड़ाने" से रोकता है। इसके बजाय, यह उन्हें एक प्रतिद्वंद्वी के खिलाफ खड़ा करके सटीक, संक्षिप्त और सटीक होने के लिए मजबूर करता है जो लगातार उनकी गलतियों की तलाश में रहता है। यह प्रशिक्षण प्रक्रिया को एकल अभ्यास सत्र से एक उच्च-दांव वाली बहस में बदल देता है जहाँ जीतने का एकमात्र तरीका स्पष्ट रूप से सोचना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।