Reward-Weighted On-Policy Distillation with an Open Property-Equivalence Verifier for NL-to-SVA Generation
यह शोध पत्र रिवॉर्ड-वेटेड ऑन-पॉलिसी डिस्टिलेशन (RWOPD) को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण विधि है जो टोकन-स्तरीय नकल के बजाय सिमेंटिक शुद्धता को प्राथमिकता देते हुए, सिस्टमवरिलॉग एसेर्शन (SystemVerilog Assertions) उत्पन्न करने में 7B स्टूडेंट मॉडल को निर्देशित करने के लिए एक औपचारिक प्रॉपर्टी-इक्विवेलेंस वेरिफायर का लाभ उठाती है, जिससे नया स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन प्रशिक्षु (एक 7-बिलियन-पैरामीटर वाला AI) को कंप्यूटर चिप्स के लिए जटिल कानूनी अनुबंध लिखने के बारे में सिखाने की कोशिश कर रहे हैं। इन अनुबंधों को सिस्टमवरिलॉग एसेर्शन (SVA) कहा जाता है। ये वे नियम हैं जो चिप को बताते हैं, "यदि यह होता है, तो यह 3 सेकंड के भीतर जरूर होना चाहिए," या "यह सिग्नल कभी भी हाई नहीं होना चाहिए।"
लंबे समय तक, विशेषज्ञों का मानना था कि सर्वश्रेष्ठ AI मॉडल पहले से ही इस कार्य में महारत हासिल कर चुके हैं, और लगभग 76% सटीकता तक पहुँच गए थे। लेकिन इस शोध पत्र के लेखकों ने एक छिपे हुए दोष का पता लगाया: AI यह दिखाने में तो अच्छा था कि वह नियमों को जानता है, लेकिन वास्तव में वह केवल कुछ सरल वाक्य संरचनाओं को रट रहा था। जब उसे जटिल टाइमिंग नियमों का सामना करना पड़ा, तो वह एक डिफ़ॉल्ट, सामान्य टेम्पलेट में "ढह" गया जो दिखने में तो सही था लेकिन तार्किक रूप से गलत था।
यहाँ यह शोध पत्र इस समस्या को कैसे हल करता है, सरल उपमाओं का उपयोग करते हुए दिया गया है:
1. समस्या: नकल बनाम समझ
इन AI को प्रशिक्षित करने का पुराना तरीका एक छात्र द्वारा शिक्षक के होमवर्क को शब्द-दर-शब्द कॉपी करने जैसा था। छात्र को उसके ग्रेड इस आधार पर मिलते थे कि उसकी स्पेलिंग और व्याकरण शिक्षक के उत्तर से कितनी बारीकी से मेल खाते हैं।
- दोष: इस क्षेत्र में, दो वाक्य पूरी तरह से अलग दिख सकते हैं लेकिन उनका अर्थ बिल्कुल एक ही हो सकता है (तुल्यता/equivalent)। इसके विपरीत, दो वाक्य लगभग एक जैसे दिख सकते हैं लेकिन उनके अर्थ विपरीत हो सकते हैं। पुराने तरीके ने छात्र को शब्दों को कॉपी करने के लिए पुरस्कृत किया, न कि तर्क को समझने के लिए।
2. समाधान: "रिवॉर्ड-वेटेड ऑन-पॉलिसी डिस्टिलेशन" (RWOPD)
लेखकों ने एक नया प्रशिक्षण तरीका बनाया जिसे RWOPD कहा जाता है। इसे एक छात्र, एक मास्टर शिक्षक और एक सख्त न्यायाधीश के बीच शामिल तीन-चरणीय कोचिंग प्रक्रिया के रूप में समझें।
चरण A: छात्र अभ्यास करता है (On-Policy)
केवल शिक्षक की नकल करने के बजाय, छात्र AI को एक प्रॉम्प्ट के आधार पर अपने स्वयं के अनुबंध (जिन्हें "रोलआउट्स" कहा जाता है) लिखने के लिए कहा जाता है। वह पहले खुद समस्या को हल करने की कोशिश करता है।
चरण B: सख्त न्यायाधीश (द ओपन प्रॉपर्टी-इक्विवेलेंस चेकर)
यही इस शोध पत्र का मुख्य आकर्षण है। लेखकों ने एक ओपन-सोर्स "न्यायाधीश" बनाया है (SymbiYosys और Z3 जैसे टूल्स का उपयोग करके) जो केवल यह नहीं देखता कि व्याकरण सही है या नहीं। यह तर्क (logic) की जाँच करता है।
- उपमा: कल्पना कीजिए कि न्यायाधीश एक वकील है जो छात्र के अनुबंध और संदर्भ (reference) अनुबंध को लेता है और उन्हें एक सिमुलेशन के माध्यम से चलाता है।
- फैसला: न्यायाधीश पूछता है: "क्या ये दोनों अनुबंध तार्किक रूप से तुल्य (equivalent) हैं?"
- यदि छात्र का अनुबंध संदर्भ के साथ तार्किक रूप से तुल्य है, तो न्यायाधीश कहता है "पास (Pass)"।
- यदि यह थोड़ा अधिक सख्त या उदार है, तो न्यायाधीश "आंशिक पास (Partial Pass)" देता है।
- यदि यह गलत है, तो न्यायाधीश "फेल (Fail)" कहता है।
- महत्वपूर्ण बिंदु: न्यायाधीश छात्र के उत्तर को तब तक अनदेखा कर देता है जब तक कि वह तार्किक रूप से गलत हो। यह एक फिल्टर के रूप में कार्य करता है, केवल "अच्छे" प्रयासों को ही आगे बढ़ने देता है।
चरण C: मास्टर टीचर (डिस्टिलेशन)
यहीं पर जादू होता है। छात्र केवल न्यायाधीश के "पास/फेल" स्कोर से नहीं सीखता है।
- मास्टर टीचर (एक बहुत बड़ा, 14-बिलियन-पैरामीटर वाला AI जो पहले से ही बहुत अच्छा है) छात्र के सफल प्रयासों को देखता है।
- शिक्षक कहता है, "ठीक है, तुमने तर्क को सही पकड़ा है। अब देखो कि मैं उन विशिष्ट शब्दों को लिखने के लिए वास्तव में कैसे लिखता। मैं तुम्हें दिखाऊंगा कि मैंने प्रत्येक शब्द को चुनने की संभावना क्या रखी थी।"
- छात्र फिर अपने मस्तिष्क को शिक्षक की शैली से मेल खाने के लिए अपडेट करता है, लेकिन केवल उन प्रयासों पर जिन्हें न्यायाधीश ने मंजूरी दी है।
यह बेहतर क्यों है?
- पुराना तरीका: छात्र हर प्रयास से सीखता है, यहाँ तक कि गलत वाले से भी, सही शब्दों का अनुमान लगाने की कोशिश में।
- नया तरीका (RWOPD): छात्र केवल "जीतने वाले" प्रयासों से सीखता है, और वह उन जीतने वाले उत्तरों को लिखने के गहरे तर्क को सीखता है। यह एक छात्र की तरह है जो केवल उन निबंधों का अध्ययन करता है जिन्होंने पुरस्कार जीता है, लेकिन एक नोबेल पुरस्कार विजेता की टिप्पणी से सीखता है कि वे निबंध क्यों अच्छे थे।
3. परिणाम: दिग्गजों को पछाड़ना
लेखकों ने इस पद्धति का परीक्षण एक 7-बिलियन-पैरामीटर मॉडल (छात्र) पर किया।
- प्रतिस्पर्धा: उन्होंने इसकी तुलना पिछले सर्वश्रेष्ठ विशिष्ट मॉडल (एक 14-बिलियन-पैरामीटर AI) और यहाँ तक कि विशाल सामान्य-उद्देश्य वाले मॉडल्स (671-बिलियन पैरामीटर्स) से की।
- परिणाम: इस नए कोचिंग तरीके का उपयोग करने वाले छोटे 7B छात्र ने सभी को हरा दिया। इसने बेंचमार्क पर उच्चतम सटीकता प्राप्त की, और उन मॉडल्स को भी पीछे छोड़ दिया जो उससे 100 गुना बड़े थे।
- "छिपे हुए अंतर" को ठीक किया गया: शोध पत्र दिखाता है कि छात्र विशेष रूप से कठिन प्रकार के नियमों (समय और देरी वाले नियम) में बहुत बेहतर हो गया, जहाँ पिछले मॉडल विफल हो रहे थे।
सारांश
यह शोध पत्र तर्क देता है कि जटिल तर्क सिखाने के लिए, आपको केवल AI को उत्तर याद करने के लिए नहीं कहना चाहिए। इसके बजाय, आपको:
- उसे समस्या को हल करने का प्रयास करने दें।
- गलत उत्तरों को फ़िल्टर करने के लिए एक सख्त लॉजिक-चेकर का उपयोग करें।
- एक मास्टर टीचर को छात्र को यह दिखाना चाहिए कि सही उत्तरों को कैसे प्रस्तुत किया जाए।
एक लॉजिक-चेकर को मास्टर टीचर के साथ जोड़कर, एक छोटा AI एक विशाल मॉडल की तरह सोचना सीख सकता है, और एक ऐसी समस्या को हल कर सकता है जिसे पहले लगभग "सैचुरेटेड" (हल हो चुका) माना जाता था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।