PopuLoRA: Co-Evolving LLM Populations for Reasoning Self-Play
PopuLoRA एक जनसंख्या-आधारित असममित स्व-खेल (asymmetric self-play) ढांचा है जो एकल-एजेंट RLVR की स्व-अंशांकन (self-calibration) सीमाओं को दूर करने के लिए सह-विकसित (co-evolving) LoRA एडेप्टरों का लाभ उठाता है, जिससे समस्या-प्रस्तावित शिक्षकों और समाधान करने वाले छात्रों के बीच एक ऐसी प्रतिस्पर्धा सक्षम होती है जो कम प्रशिक्षण-समय पुरस्कारों के बावजूद विविध गणित और कोड बेंचमार्क पर बेहतर प्रदर्शन प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को जटिल पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं। अतीत में, शोधकर्ता अक्सर एक "सिंगल-एजेंट" (एकल-अभिकर्ता) दृष्टिकोण का उपयोग करते थे: वे रोबोट को खुद अपनी पहेलियाँ बनाने और फिर उन्हें हल करने की कोशिश करने के लिए कहते थे।
इस पद्धति के साथ समस्या यह है कि रोबोट आलसी हो जाता है। वह जल्दी ही यह समझ जाता है कि यदि वह पहेलियों को बहुत आसान बना देता है, तो वह उन्हें 100% बार हल कर सकता है और एक बेहतरीन स्कोर प्राप्त कर सकता है। इसलिए, वह कठिन पहेलियाँ बनाने की कोशिश करना बंद कर देता है और बस "दो संख्याओं को जोड़ने" जैसी सरल पहेलियाँ बनाता रहता है। रोबोट खुद को जीनियस समझता है, लेकिन वास्तव में वह केवल अपने आप के विरुद्ध एक खेल खेल रहा होता है जहाँ कठिनाई कभी बढ़ती नहीं है। इसे "सेल्फ-कैलिब्रेशन" (स्व-अंशांकन) कहा जाता है, और यह एक डेड एंड (बंद गली) की ओर ले जाता है।
PopuLoRA एक नया तरीका है जो इन रोबोट्स को प्रशिक्षित करने के लिए इस समस्या को ठीक करता है, क्योंकि यह एकल प्रदर्शन के बजाय एक टीम डायनेमिक (टीम की गतिशीलता) पेश करता है। यह कैसे काम करता है, यहाँ सरल उपमाओं के माध्यम से बताया गया है:
1. शिक्षक और छात्र (द "आर्म्स रेस")
एक ही रोबोट द्वारा दोनों काम करने के बजाय, PopuLoRA काम को दो समूहों में विभाजित करता है:
- शिक्षक (The Teachers): उनका काम पहेलियाँ बनाना है।
- छात्र (The Students): उनका काम उन पहेलियों को हल करना है।
महत्वपूर्ण बात यह है कि वे अलग-अलग "व्यक्तित्व" (तकनीकी रूप से, अलग-अलग सॉफ्टवेयर एडेप्टर) हैं। एक शिक्षक को इनाम तभी मिलता है जब वे किसी छात्र को उलझा सकें (stump कर सकें)। एक छात्र को इनाम केवल तभी मिलता है जब वे पहेली को हल कर सकें।
यह एक सह-विकासवादी हथियारों की दौड़ (co-evolutionary arms race) बनाता है:
- यदि एक शिक्षक एक आसान पहेली बनाता है, तो छात्र उसे आसानी से हल कर लेता है, और शिक्षक को कम स्कोर मिलता है। शिक्षक सीखता है, "मुझे इसे और कठिन बनाना होगा!"
- यदि एक छात्र एक कठिन पहेली को हल करता है, तो शिक्षक को कम स्कोर मिलता है। छात्र सीखता है, "मुझे अगले स्तर को संभालने के लिए और स्मार्ट बनना होगा।"
- वे एक-दूसरे को बेहतर बनाने के लिए प्रेरित करते हैं, लगातार मानक को ऊपर उठाते हैं। पहेलियाँ अधिक जटिल होती जाती हैं, और समाधान अधिक परिष्कृत होते जाते हैं।
2. "लो-रैंक" ट्रिक (द "बैकपैक")
एक विशाल AI मॉडल को प्रशिक्षित करना एक 100 पाउंड का बैकपैक पहनकर मैराथन दौड़ने जैसा है। यदि आप उनकी पूरी टीम चलाना चाहते हैं, तो आपको एक विशाल स्टेडियम और भारी संसाधनों की आवश्यकता होगी।
शोधकर्ताओं ने LoRA (लो-रैंक अडैप्टेशन) नामक एक चतुर ट्रिक का उपयोग किया है। कल्पना कीजिए कि मुख्य AI मॉडल ज्ञान का एक विशाल, स्थिर पुस्तकालय है। हर नए छात्र और शिक्षक के लिए पूरे पुस्तकालय की प्रतिलिपि बनाने के बजाय, वे बस प्रत्येक को एक छोटा, हल्का बैकपैक (एक एडेप्टर) देते हैं जिसमें कुछ नई टिप्पणियाँ हैं।
- पुस्तकालय सभी के लिए समान रहता है।
- बैकपैक छोटे और अपडेट करने में सस्ते होते हैं।
- यह उन्हें एक ही कंप्यूटर पर शिक्षकों और छात्रों की पूरी आबादी चलाने की अनुमति देता है, जो असंभव होता यदि उन्हें हर किसी के लिए पूर्ण, अलग मॉडल प्रशिक्षित करने पड़ते।
3. "जेनेटिक" मिक्स-एंड-मैच (वंशानुगत मिश्रण)
समय-समय पर, सिस्टम देखता है कि कौन सबसे खराब प्रदर्शन कर रहा है। यह सर्वश्रेष्ठ शिक्षकों और छात्रों के "बैकपैक" को लेता है और उन्हें मिलाकर नए, बेहतर संस्करण बनाता है।
इसे एक कुकिंग कॉम्पिटिशन (खाना पकाने की प्रतियोगिता) की तरह समझें:
- यदि शिक्षक A गणित के सवाल लिखने में माहिर है लेकिन कोडिंग में खराब है, और शिक्षक B इसके विपरीत है, तो सिस्टम उनके बैकपैक को "क्रॉसब्रिड" (संकरण) कर सकता है।
- यह A से गणित के नोट्स और B से कोडिंग के नोट्स लेता है ताकि एक नया शिक्षक C बनाया जा सके जो दोनों में अच्छा हो।
- यह पूरे मॉडल को फिर से प्रशिक्षित किए बिना सेकंडों में होता है। यह ताश की गड्डी को तुरंत एक बेहतर हाथ खोजने के लिए फेंटने जैसा है।
परिणाम: यह क्यों मायने रखता है
पेपर ने दो प्रकार की चुनौतियों पर इस पद्धति का परीक्षण किया: कोडिंग (कंप्यूटर प्रोग्राम लिखना) और गणित (समीकरणों को हल करना)।
- पुराना तरीका: एकल रोबोट जल्दी ही सुधार करना बंद कर देता था। वह
return number * 3जैसी तुच्छ पहेलियाँ बनाने में फंस गया। वह खुद को पूर्ण समझता था क्योंकि वह जो भी बनाता था उसे वह हल कर लेता था, लेकिन वह वास्तविक दुनिया की जटिलता को संभालने में असमर्थ था। - PopuLoRA का तरीका: जनसंख्या बेहतर होती गई। शिक्षकों ने जटिल, पेचीदा समस्याएँ बनाना जारी रखा, और छात्रों ने उन्हें हल करना सीखा।
- परिणाम: PopuLoRA टीम के सबसे कमजोर सदस्य ने भी सर्वश्रेष्ठ एकल रोबोट से बेहतर प्रदर्शन किया। टीम में केवल कुछ "सितारे" नहीं थे; पूरा समूह स्मार्ट हुआ क्योंकि उन्हें एक-दूसरे के खिलाफ प्रतिस्पर्धा करने के लिए मजबूर किया गया था।
संक्षेप में: PopuLoRA शिक्षकों की एक टीम को छात्रों की एक टीम के विरुद्ध खड़ा करके AI को आलसी होने से रोकता है। एक अकेले रोबोट के अपने ही विरुद्ध खेल खेलने के बजाय, यह एक गतिशील वातावरण बनाता है जहाँ कठिनाई लगातार बढ़ती रहती है, जिससे AI को बहुत अधिक जटिल कौशल सीखने के लिए मजबूर होना पड़ता है जो वह अकेले कभी नहीं सीख सकता था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।