Steerable Instruction Following Coding Data Synthesis with Actor-Parametric Schema Co-Evolution
यह शोध पत्र IFCodeEvolve को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो पैरामीट्रिक स्कीमा और मोंटे कार्लो ट्री सर्च का उपयोग करते हुए एक एक्टर-स्कीमा सह-विकास प्रक्रिया के माध्यम से स्टीयरेबल (steerable) इंस्ट्रक्शन-फॉलोइंग कोडिंग डेटा को संश्लेषित करता है, जिसके परिणामस्वरूप एक 32B मॉडल प्राप्त होता है जो प्रोप्रायटरी स्टेट-ऑफ-द-आर्ट प्रदर्शन से मेल खाता है और एक नया मानव-सत्यापित बेंचमार्क IFCodeBench भी प्रस्तुत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े ज़िद्दी छात्र (AI) को परफेक्ट कंप्यूटर कोड लिखना सिखाने की कोशिश कर रहे हैं। छात्र पहले से ही बुनियादी कोड लिखना जानता है, लेकिन जब आप उसे नियमों की एक लंबी सूची देते हैं, जैसे "एक लूप का उपयोग करें, लेकिन 'a' अक्षर का उपयोग न करें, और वेरिएबल के नाम snake_case में होने चाहिए," तो वह संघर्ष करता है।
यह शोध पत्र इस नए, सुपर-स्मार्ट तरीके को पेश करता है जिससे इन AI छात्रों को प्रशिक्षित किया जा सकता है। लेखक इसके सिस्टम को IFCodeEvolve कहते हैं।
यहाँ बताया गया है कि यह कुछ रचनात्मक उपमाओं (analogies) का उपयोग करके कैसे काम करता है:
1. समस्या: "रैंडम रूल" का जाल (The "Random Rule" Trap)
पहले, शोधकर्ता AI को रैंडम नियम फेंककर सिखाने की कोशिश करते थे।
- उपमा: कल्पना कीजिए कि एक शिक्षक एक छात्र पर रैंडम नियम चिल्ला रहा है: "एक कहानी लिखो! लेकिन कोई स्वर (vowels) इस्तेमाल मत करना! लेकिन साथ ही केवल 5 अक्षरों वाले शब्दों का उपयोग करना! लेकिन इसे अंतरिक्ष के बारे में बनाना!"
- समस्या: अक्सर, नियम एक-दूसरे के विरोधाभासी होते हैं (आप बिना स्वरों के और विशिष्ट शब्दों के साथ कहानी आसानी से नहीं लिख सकते!)। छात्र भ्रमित हो जाता है, या शिक्षक अनजाने में एक ऐसा पहेली बना देता है जिसे हल करना असंभव हो। AI कुछ भी नहीं सीख पाता क्योंकि उदाहरण ही टूटे हुए होते हैं।
2. समाधान: "लेगो ब्लूप्रिंट" सिस्टम (The "Lego Blueprint" System)
रैंडम नियमों के बजाय, IFCodeEvolve पैरामीट्रिक स्कीमा (Parametric Schemas) का उपयोग करता है।
- उपमा: निर्देशों को रैंडम वाक्यों के रूप में नहीं, बल्कि लेगो ब्लूप्रिंट के रूप में सोचें।
- एक ब्लूप्रिंट कहता है: "[रंग] ईंटों का उपयोग करके एक टॉवर बनाएं, जो ठीक [संख्या] ऊँचा हो।"
- AI "[लाल]" और "5" को "[नीला]" और "10" से बदल सकता है।
- यह क्यों मदद करता है: यह नियमों का एक विशाल पुस्तकालय बनाता जो गारंटी के साथ तार्किक रूप से एक साथ फिट बैठते हैं। सिस्टम जानता है कि संरचना को तोड़े बिना उन टुकड़ों को कैसे जोड़ा जाए।
3. इंजन: "मोंटे कार्लो ट्री सर्च" (द स्मार्ट एक्सप्लोरर)
सिस्टम को यह पता लगाने की आवश्यकता है कि नियमों का कौन सा संयोजन एक परफेक्ट चुनौती बनाता है। यह MCTS नामक विधि का उपयोग करता है।
- उपमा: कल्पना कीजिए कि एक हाइकर (पगडंडी यात्री) पहाड़ के सबसे ऊंचे, सबसे दिलचस्प रास्ते को खोजने की कोशिश कर रहा है।
- हर रास्ते पर चलने के बजाय (जिसमें बहुत समय लगता है), हाइकर कुछ रास्ते आज़माने के लिए स्काउट्स (जासूस) भेजता है।
- यदि कोई रास्ता बहुत आसान दिखता है, तो स्काउट वापस लौट आता है। यदि वह बहुत खतरनाक (असंभव) दिखता है, तो वे वापस लौट आते हैं।
- हाइकर उन रास्तों की खोज जारी रखता है जो "बिल्कुल सही" हैं—चुनौतीपूर्ण लेकिन करने योग्य।
- शोध पत्र में: AI नियमों के लाखों संयोजनों की खोज करता है, लेकिन वह केवल उन्हीं को रखता है जो छात्र को कुछ नया सिखाने के लिए पर्याप्त कठिन हैं, लेकिन इतने कठिन नहीं कि छात्र पूरी तरह से विफल हो जाए।
4. "को-इवोल्यूशन" डांस (The "Co-Evolution" Dance - सबसे महत्वपूर्ण हिस्सा)
यही असली जादू है। सिस्टम केवल छात्र को प्रशिक्षित नहीं करता है; यह छात्र और टेस्ट दोनों को एक साथ प्रशिक्षित करता है।
- उपमा: एक वीडियो गेम के बारे में सोचें जहाँ बॉस (AI छात्र) हर बार मजबूत होता जाता है जब आप उसे हराते हैं।
- राउंड 1: AI छात्र एक पहेली हल करता है।
- ट्विस्ट: सिस्टम कहता है, "ठीक है, तुमने वह हल कर लिया? बहुत बढ़िया! अब, चलो पहेली के नियमों को विशेष रूप से तुम्हारे लिए कठिन बनाने के लिए बदलते हैं।"
- म्यूटेशन (Mutation): सिस्टम देखता है कि छात्र ने कहाँ सही किया और कहता है, "आह, तुम यहाँ हमेशा एक
forलूप का उपयोग करते हो। अब से, तुम्हें रिकर्शन (recursion) का उपयोग करना ही होगा।" - परिणाम: छात्र स्मार्ट होता है, इसलिए सिस्टम और भी कठिन पहेली बनाता है। पहेली कठिन होती जाती है, इसलिए छात्र और भी स्मार्ट होता जाता है। वे एक साथ "को-इवॉल्व" (सह-विकसित) होते हैं, जैसे एक धावक और एक ट्रेडमिल जो धावक के तेज होने पर अपने आप अपनी गति बढ़ा देता है।
5. प्रमाण: "साबित करने के लिए बनाओ" (The "Build It to Prove It")
उन्हें कैसे पता कि नए, कठिन पहेलियाँ टूटी हुई नहीं हैं?
- उपमा: केवल छात्र से यह पूछने के बजाय कि "क्या आप यह कर सकते हैं?", सिस्टम छात्र को तुरंत समाधान वास्तव में बनाने के लिए मजबूर करता है।
- यदि छात्र नए नियमों का पालन करते हुए कोड नहीं लिख पाता है, तो सिस्टम जान जाता है कि पहेली टूटी हुई है और उसे फेंक देता है। यह सुनिश्चित करता है कि प्रत्येक प्रशिक्षण उदाहरण एक वैध, हल करने योग्य चुनौती है।
बड़ी जीत (The Big Win)
लेखकों ने एक 32-बिलियन पैरामीटर वाले AI मॉडल पर इसका परीक्षण किया।
- परिणाम: इस AI ने, जो उनके "को-इवॉल्विंग" डेटा पर प्रशिक्षित था, बड़ी टेक कंपनियों के स्वामित्व वाले सबसे महंगे, प्रोप्राइटरी AI मॉडल्स के बराबर प्रदर्शन किया।
- टेकअवे (Takeaway): आपको एक बड़े दिमाग की आवश्यकता नहीं है; आपको बस इसे प्रशिक्षित करने का एक स्मार्ट तरीका चाहिए। एक ऐसा करिकुलम (पाठ्यक्रम) बनाकर जो छात्र के बढ़ते कौशल के अनुकूल हो, यह AI जटिल निर्देशों का पालन करने में पहले की तुलना में बहुत बेहतर तरीके से सीखता है।
संक्षेप में: उन्होंने एक सेल्फ-इंप्रूविंग जिम बनाया जहाँ वजन ठीक उसी समय भारी हो जाते हैं जब AI उन्हें उठाने के लिए तैयार होता है, यह सुनिश्चित करते हुए कि AI न तो बोर (बहुत आसान) हो और न ही हार माने (बहुत कठिन)।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।