Combinatorial Synthesis: Scaling Code RLVR via Atomic Decomposition and Recombination
यह शोध पत्र एटोमिक डिकम्पोज़िशन एंड रीकॉम्बिनेशन (ADR) को प्रस्तुत करता है, जो एक नवीन रूपरेखा है जो सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण लर्निंग (RLVR) के लिए चुनौतीपूर्ण सत्यापन योग्य कोड कार्यों की कमी को परमाणु तत्वों को व्यवस्थित रूप से विघटित और पुनर्संयोजित करके उच्च गुणवत्ता वाले, विविध प्रशिक्षण डेटा उत्पन्न करके दूर करती है, जो विभिन्न डोमेन में लार्ज लैंग्वेज मॉडल्स की कोडिंग क्षमताओं को महत्वपूर्ण रूप से बढ़ाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर कोड लिखना सिखाने की कोशिश कर रहे हैं। इसे करने का सबसे अच्छा तरीका यह है कि आप रोबोट को कोडिंग पहेलियों का एक बड़ा ढेर दें, उसे उन्हें हल करने दें, और फिर तुरंत उसे कहें, "हाँ, यह काम कर गया!" या "नहीं, यह विफल रहा।" इस पद्धति को रिनफोर्समेंट लर्निंग विद वेरिफिएबल रिवॉर्ड्स (RLVR) कहा जाता है।
हालाँकि, एक बड़ी समस्या है: अच्छे पहेली (puzzles) ढूँढना कठिन है।
- यदि पहेलियाँ बहुत आसान हैं, तो रोबोट कुछ भी नया नहीं सीखता।
- यदि वे बहुत कठिन या त्रुटिपूर्ण हैं, तो रोबोट भ्रमित हो जाता है।
- मौजूदा तरीकों में से अधिकांश एक फोटोकॉपी करने वाली मशीन (photocopier) की तरह हैं। वे एक मौजूदा पहेली को लेते हैं, उसमें कुछ शब्द बदल देते हैं, या एक संख्या बदल देते हैं, और उसे "नई" कहते हैं। रोबोट जल्दी ही समझ जाता है कि ये वही पुराने तरीके हैं और सीखना बंद कर देता है।
यह शोध पत्र इस समस्या को हल करने के लिए एक नया ढांचा पेश करता है जिसे ADR (एटमिक डीकंपोजिशन एंड रीकॉम्बिनेशन) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
1. पुराना तरीका: "फोटोकॉपी करने वाली मशीन"
कल्पना कीजिए कि आपके पास चॉकलेट केक की एक रेसिपी है। पुराना तरीका (हीयुरिस्टिक एक्सपेंशन) उस रेसिपी को लेगा और बस "चॉकलेट" को "स्ट्रॉबेरी" से या "केक" को "पाई" से बदल देगा। यह अलग दिखता है, लेकिन बेकिंग का तर्क (logic) बिल्कुल वैसा ही रहता है। रोबिरोट पैटर्न को पहचानना सीख जाता है लेकिन वह वास्तव में बेकिंग करना नहीं सीख पाता।
2. ADR का तरीका: "लेगो मास्टर" (Lego Master)
ADR कोडिंग समस्याओं को लेगो ब्रिक्स (Lego bricks) के एक डिब्बे की तरह मानता है। एक पूरा किला कॉपी करने के बजाय, यह किले को उसके सबसे छोटे, व्यक्तिगत ईंटों (यानी "एटमिक एलिमेंट्स") में तोड़ देता है (इसे "एटमिक डीकंपोजिशन" कहते हैं)।
चरण 1: तोड़ना (Decomposition)
सिस्टम कुछ वास्तविक कोडिंग समस्याओं को लेता है और उन्हें उनके मूल "एटमिक तत्वों" में तोड़ देता है।- उपमा: एक पूरी कार को देखने के बजाय, यह इंजन, पहिये, स्टीयरिंग व्हील और ब्रेक को अलग-अलग, विशिष्ट भागों के रूप में पहचानता है।
- यह सुनिश्चित करने के लिए कि इसके पास सही मिश्रण है, यह एक स्मार्ट "इन्फॉर्मेशन थ्योरी" चेक का उपयोग करता है। यदि इसके पास बहुत अधिक लाल ईंटें हैं और कोई नीली नहीं है, तो यह संग्रह को समायोजित करता है।
चरण 2: कुछ नया बनाना (Recombination)
अब, कॉपी करने के बजाय, यह एक रैंडम इंजन, पहियों का एक अलग सेट और एक अनूठा स्टीयरिंग मैकेनिज्म लेकर एक पूरी तरह से नया वाहन बनाता है।- उपमा: यह एक नाव के इंजन को कार के चेसिस के साथ जोड़कर एक 'होवरक्राफ्ट' बना सकता है। यह एक "वास्तविक नवीन" (genuinely novel) संयोजन है जिसे रोबोट ने पहले कभी नहीं देखा है। क्योंकि इसके हिस्से तार्किक रूप से सही हैं, इसलिए नया वाहन वास्तव में काम करता है।
चरण 3: "स्ट्रेस टेस्ट" (Validation)
रोबोट को पहेली देने से पहले, ADR एक "टेस्ट लैब" बनाता है। यह एक समाधान लिखता है और फिर उसे तोड़ने की कोशिश करता है।- उपमा: कल्पना कीजिए कि एक सुरक्षा निरीक्षक नए होवरक्राफ्ट को क्रैश करने की कोशिश करता है। यदि होवरक्राफ्ट इसलिए क्रैश होता है क्योंकि निरीक्षक ने एक कमजोर कड़ी ढूंढ ली है, तो ADR डिज़ाइन को ठीक करता है और टेस्ट को और कठिन बनाता है। यह तब तक इसे करता रहता है जब तक कि वाहन बुलेटप्रूफ न हो जाए। यह सुनिश्चित करता है कि पहेली हल करने योग्य है लेकिन चुनौतीपूर्ण भी है।
**चरण 4: "नियर-मिस" (Near-Miss) जाल
ADR ऐसे "ट्रिक" समाधान भी बनाता है जो सही दिखते हैं लेकिन वास्तव में गलत होते हैं (जैसे एक ऐसा होवरक्राफ्ट जो दिखने में शानदार है लेकिन जिसमें इंजन ही नहीं है)। फिर यह टेस्ट लैब को विशेष रूप से इन ट्रिक्स को पकड़ने के लिए अपडेट करता है। यह रोबोट को बहुत सटीक होने के लिए प्रशिक्षित करता है।
यह क्यों महत्वपूर्ण है
इस शोध पत्र ने इस "लेगो मास्टर" दृष्टिकोण का परीक्षण पुराने "फोटोकॉपी" तरीकों के मुकाबले किया।
- बेहतर पहेलियाँ: नई पहेलियाँ अधिक मौलिक, कठिन और विविध विषयों (जैसे एल्गोरिदम, टूल्स का उपयोग, और डेटा साइंस) को कवर करने वाली थीं।
- समझदार रोबोट: जब उन्होंने इन नई पहेलियों का उपयोग करके विभिन्न AI मॉडल को प्रशिक्षित किया, तो पुराने तरीकों की तुलना में रोबोटों में काफी अधिक सुधार हुआ।
- परिणाम: एक मानक कोडिंग टेस्ट पर, पुराने तरीकों से रोबोट का स्कोर मुश्किल से सुधरा। ADR विधि ने स्कोर को लगभग 5% (इस क्षेत्र में एक बहुत बड़ी छलांग) बढ़ा दिया, जिससे साबित हुआ कि रोबोट ने वास्तव में गहरे तर्क कौशल सीखे हैं, न कि केवल पैटर्न को याद किया है।
निष्कर्ष
यह शोध पत्र दावा करता है कि कोडिंग समस्याओं को उनके सबसे छोटे तार्किक हिस्सों में तोड़कर और उन्हें नए, नियंत्रित तरीकों से मिलाकर, हम उच्च गुणवत्ता वाली, चुनौतीपूर्ण पहेलियों की एक अनंत आपूर्ति उत्पन्न कर सकते है। यह AI को बहुत तेज़ी से और अधिक प्रभावी ढंग से कोड करना सीखने की अनुमति देता है, बिना इंसानों द्वारा हर एक पहेली को हाथ से लिखे जाने की आवश्यकता के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।