Self-Improving Code Generation via Semantic Entropy and Behavioral Consensus
यह शोध पत्र ConSelf को प्रस्तुत करता है, जो कोड भाषा मॉडलों के लिए एक स्व-सुधार (self-improving) ढांचा है जो पाठ्यक्रम निर्माण के लिए कोड सिमेंटिक एंट्रॉपी और शोर युक्त स्व-पर्यवेक्षण (noisy self-supervision) को कम करने के लिए सर्वसम्मति-संचालित प्रत्यक्ष प्राथमिकता अनुकूलन (consensus-driven direct preference optimization) का उपयोग करके, बिना किसी बाहरी शिक्षक या टेस्ट ऑरेकल के पीढ़ी निर्माण क्षमताओं को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर कोड लिखना सिखाने की कोशिश कर रहे हैं। आमतौर पर, एक रोबोट को सिखाने के लिए, आपको एक सुपर-स्मार्ट शिक्षक (एक मानव विशेषज्ञ या एक अधिक उन्नत AI) की आवश्यकता होती है जो उसे सही उत्तर दिखाए, और आपको एक सख्त रेफरी (एक टेस्ट सिस्टम) की आवश्यकता होती है जो आपको तुरंत बताए कि रोबोट का कोड काम कर रहा है या विफल हो गया है।
लेकिन क्या होगा यदि आपके पास कोई शिक्षक न हो? क्या होगा यदि आपके पास उत्तरों की जांच करने के लिए कोई रेफरी भी न हो? आपके पास केवल समस्याओं की एक सूची और कुछ टेस्ट इनपुट हैं (जैसे "इस नंबर को आजमाएं"), लेकिन यह जानने का कोई तरीका नहीं है कि रोबोट का समाधान वास्तव में सही है या नहीं।
यह वह चुनौती है जिसे ConSelf पेपर हल करता है। यह पूछता है: क्या एक रोबोट बिना किसी शिक्षक या रेफरी के, केवल अपने आप अभ्यास करके बेहतर कोड लिखना सीख सकता है?
यहाँ बताया गया है कि उन्होंने इसे कैसे हल किया, दो सरल लेकिन शक्तिशाली विचारों का उपयोग करके:
1. "कन्फ्यूजन मीटर" (कोड सिमेंटिक एंट्रॉपी)
समस्या:
यदि आप एक रोबोट से गणित की ऐसी समस्या हल करने के लिए कहते हैं जिसे वह समझ नहीं पा रहा है, तो वह बेतरतीब ढंग से अनुमान लगा सकता है। वह 10 अलग-अलग गलत उत्तर दे सकता है, जो देखने में एक-दूसरे से बहुत भिन्न होंगे। यदि आप रोबोट को इन 10 गलत अनुमानों से सिखाने की कोशिश करते हैं, तो आप उसे केवल भ्रमित होना सिखा रहे हैं। यह गहरे पानी में हाथ-पैर मारते हुए किसी को देखकर तैरना सीखने जैसा है; आप केवल घबराना ही सीखेंगे।
समाधान:
शोधकर्ताओं ने एक "कन्फ्यूजन मीटर" बनाया जिसे कोड सिमेंटिक एंट्रॉपी कहा जाता है।
- यह कैसे काम करता है: रोबोट से यह पूछने के बजाय कि "क्या आप सुनिश्चित हैं?" (जिसके बारे में वह झूठ बोल सकता है), वे पूछते हैं, "यदि आप इस समस्या को 10 बार हल करते हैं, तो क्या आपको एक ही परिणाम मिलता है?"
- उपमा: कल्पना कीजिए कि आप लोगों के एक समूह से एक पहेली सुलझाने के लिए कह रहे हैं।
- यदि सभी एक ही समान उत्तर देते हैं (भले ही वह गलत हो), तो समूह आश्वस्त है लेकिन फंसा हुआ है।
- यदि सभी बिल्कुल अलग-अलग उत्तर देते हैं, तो समूह भ्रमित है।
- "कन्फ्यूजन मीटर" यह मापता है कि उत्तर कितने अलग हैं।
- फ़िल्टर: यदि उत्तर चारों ओर बिखरे हुए हैं (उच्च भ्रम), तो रोबोट जानता है, "मुझे नहीं पता कि इसे कैसे हल किया जाए। चलिए इसे छोड़ देते हैं।" यदि उत्तर सुसंगत हैं, तो वह जानता है, "मेरे पास इसके लिए एक रणनीति है।"
यह रोबोट को एक करिकुलम (एक अध्ययन योजना) बनाने की अनुमति देता है। यह उन समस्याओं को अनदेखा कर देता है जिन्हें हल करने में वह बहुत अधिक भ्रमित है और उन समस्याओं को भी जिन्हें वह पहले ही मास्टर कर चुका है, और केवल उन "गोल्डिलॉक्स" (Goldilocks) समस्याओं पर ध्यान केंद्रित करता है जो सीखने के लिए बस पर्याप्त कठिन हैं।
2. "क्राउड विजडम" फ़िल्टर (व्यवहार संबंधी सहमति)
समस्या:
असंभव समस्याओं को फ़िल्टर करने के बाद भी, रोबोट को अभी भी अपने अनुमानों से सीखना होगा। कभी-कभी, रोबोट एक "विजेता" (एक समाधान जिसे वह अच्छा समझता है) और एक "हारने वाला" (एक बुरा समाधान) उत्पन्न कर सकता है। लेकिन क्या होगा यदि "विजेता" वास्तव में केवल एक भाग्यशाली अनुमान है जो दिखने में अच्छा लगता है? यदि रोबमान इसे अंधाधुंध स्वीकार करता है, तो वह गलत चीज़ सीख सकता है।
समाधान:
वे कंसेंसस-ड्रिवन ऑप्टिमाइजेशन (सहमति-आधारित अनुकूलन) का उपयोग करते हैं।
- उपमा: एक गेम शो की कल्पना करें जहाँ रोबोट को सही उत्तर चुनने की आवश्यकता है। केवल एक "विजेता" चुनने के बजाय, वह अनुमानों की पूरी भीड़ को देखता है।
- तर्क: यदि 10 में से 8 अनुमान एक ही काम करते हैं, तो वह व्यवहार संभवतः सही है (या कम से कम स्थिर है)। यदि केवल 1 अनुमान कुछ अनूठा करता है, तो वह शायद एक अजीब गलती है।
- वेटिंग (भार देना): रोबोट उन समाधानों को अधिक "क्रेडिट" देता है जिन पर भीड़ सहमत होती है। यदि रोबोट एक ऐसा "विजेता" चुनता है जिससे बाकी कोई सहमत नहीं है, तो रोबोट कहता है, "हम्म, यह शायद एक इत्तेफाक हो सकता है," और इससे बहुत धीरे-धीरे सीखता है। यदि "विजेता" वही है जो बाकी सब कर रहे हैं, तो वह उससे तेज़ी से सीखता है।
परिणाम: एक आत्म-सुधार लूप
इन दोनों चरणों को जोड़कर, रोबोट एक फीडबैक लूप बनाता है:
- सही समस्याओं को चुनें: असंभव को छोड़ने और उबाऊ को छोड़ने के लिए कन्फ्यूजन मीटर का उपयोग करें।
- सुरक्षित रूप से सीखें: यह सुनिश्चित करने के लिए कि वह अपने ही भ्रम (hallucinations) से न सीख ले, क्राउड विजडम का उपयोग करें।
यह एक बड़ी बात क्यों है?
आमतौर पर, AI को कोडिंग में बेहतर बनाने के लिए, आपको "शिक्षक" उत्तर उत्पन्न करने के लिए महंगे सुपर-कंप्यूटर या टेस्ट केस लिखने के लिए मानव विशेषज्ञों की आवश्यकता होती है। यह पेपर दिखाता है कि एक AI वास्तव में केवल समस्याओं और कोड चलाने की क्षमता का उपयोग करके स्वयं को सिखा सकता है। यह एक ऐसे छात्र की तरह है जो, शिक्षक का इंतज़ार करने के बजाय, अपने स्वयं के अभ्यास परीक्षणों को देखता है, यह पता लगाता है कि वह किनमें भ्रमित है, और विशेष रूप से उन्हीं का अध्ययन करता है, जबकि उन समस्याओं को अनदेखा करता है जिन्हें वह पहले से जानता है या जो बहुत कठिन हैं।
संक्षेप में: ConSelf एक ऐसा रोबोट है जो यह जानकर कोड लिखना सीखता है कि वह क्या नहीं जानता (और उन समस्याओं को छोड़ देता है) और उस पर भरोसा करता है जिस पर उसके अपने अनुमानों का बहुमत सहमत होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।