BACE: LLM-based Code Generation through Bayesian Anchored Co-Evolution of Code and Test Populations
BACE एक बेयसियन एंकोर्ड को-इवोल्यूशन (Bayesian Anchored Co-Evolution) फ्रेमवर्क पेश करता है जो जनरेट किए गए टेस्ट्स को एक पारस्परिक विश्वास-अपडेटिंग प्रक्रिया के भीतर शोर वाले संकेतों (noisy signals) के रूप में मानकर LLM-आधारित कोड जनरेशन में सुधार करता है, जिससे स्व-पुष्टि ड्रिफ्ट (self-validating drift) को रोका जा सकता है और यह LiveCodeBench v6 पर मौजूदा तरीकों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भ्रमित रोबोट को कंप्यूटर प्रोग्राम लिखना सिखाने की कोशिश कर रहे हैं। आप रोबोट को वह विवरण देते हैं जो प्रोग्राम को करना चाहिए (जैसे "एक कैलकुलेटर बनाओ"), लेकिन रोबोट अक्सर गलतियाँ करता है।
अतीत में, लोगों ने इसे ठीक करने के लिए रोबोट को अपना काम जाँचने के लिए अपने स्वयं के "परीक्षण प्रश्न" (test questions) लिखने की कोशिश करने का प्रयास किया। लेकिन समस्या यह है कि: रोबोट परीक्षण प्रश्न लिखने में भी बुरा है।
यदि रोबोट एक बुरा परीक्षण प्रश्न लिखता है, तो वह गलती से कह सकता है, "बहुत अच्छा काम किया!" एक गलत उत्तर के लिए, या "आप विफल रहे!" एक सही उत्तर के लिए। यह एक भ्रमित करने वाला चक्र बनाता है जहाँ रोबोट और भी खराब होता जाता है क्योंकि वह अपनी ही खराब सलाह पर भरोसा करता है।
BACE एक नया तरीका है जो इस समस्या को हल करता है। इसे एक स्मार्ट, आत्म-सुधार करने वाली कक्षा के रूप में सोचें जहाँ दो समूहों के छात्र मिलकर काम कर रहे हैं: बिल्डर्स (Builders) (जो कोड लिखते हैं) और इन्सपेक्टर्स (Inspectors) (जो परीक्षण लिखते हैं)।
यहाँ बताया गया है कि BACE कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "शोर वाले माइक्रोफ़ोन" की समस्या (The "Noisy Microphone" Problem)
कल्पना कीजिए कि इन्स्पेक्टर्स यह सुनने के लिए माइक्रोफ़ोन पकड़े हुए हैं कि क्या बिल्डर्स अच्छा काम कर रहे हैं। लेकिन ये माइक्रोफ़ोन शोर वाले (noisy) हैं। कभी-कभी इनमें चरचराहट होती है, कभी-कभी पृष्ठभूमि का शोर सुनाई देता है, और कभी-कभी वे ऐसी चीजें सुनते हैं जो वहाँ हैं ही नहीं।
- पुराना तरीका: बिल्डर्स ने माना कि माइक्रोफ़ोन एकदम सही हैं। यदि माइक्रोफ़ोन ने कहा "अच्छा काम किया," तो उन्होंने इसे पूर्ण सत्य मान लिया, भले ही वह केवल शोर (static) हो।
- BACE का तरीका: BACE जानता है कि माइक्रोफ़ोन शोर वाले हैं। एक एकल "पास" या "फेल" को पूर्ण सत्य मानने के बजाय, यह हर परिणाम को एक सुराग (clue) के रूप में मानता है। यह पूछता है: "इस बात की कितनी संभावना है कि यह माइक्रोफ़ोन खराब है? इस बात की कितनी संभावना है कि यह बिल्डर वास्तव में अच्छा है?" यह गणित (बेयसियन लॉजिक) का उपयोग करता है ताकि बिल्डर और इन्स्पेक्टर दोनों के विश्वास को एक साथ अपडेट किया जा सके।
2. "एंकर" (The "Anchor" - एक स्थिर लाइटहाउस)
यदि बिल्डर और इन्स्पेक्टर्स केवल एक-दूसरे से बात करते हैं, तो वे किसी गलत चीज़ पर सहमत होने लग सकते हैं (जैसे कि यह agreeing करना कि 2+2=5 क्योंकि वे सभी भ्रमित हैं)। इसे रोकने के लिए, BACE एक एंकर (Anchor) का उपयोग करता है।
- उपमा: कल्पना कीजिए कि बिल्डर और इन्स्पेक्टर्स धुंधले समुद्र में एक नाव में हैं। यदि वे केवल एक-दूसरे को देखते हैं, तो वे रास्ते से भटक सकते हैं। लेकिन BACE एक लाइटहाउस (Lighthouse) से एक रस्सी बांध देता है (समस्या विवरण में दिए गए कुछ सरल उदाहरण, जैसे "1+1 हमेशा 2 होना चाहिए")।
- चाहे शोर वाले माइक्रोफ़ोन कुछ भी कहें, यदि बिल्डर लाइटहाउस टेस्ट में विफल रहता है, तो उसे तुरंत दंडित किया जाता है। यह पूरे सिस्टम को निरर्थक बातों में भटकने से रोकता है।
3. "स्वार्म" बनाम "एकल हीरो" (The "Swarm" vs. The "Single Hero")
अधिकांश सिस्टम तुरंत एक आदर्श समाधान खोजने की कोशिश करते हैं। यदि वह एक समाधान को एक बुरा टेस्ट मिलता है, तो वह खत्म हो जाता है।
- BACE का तरीका: BACE कई अलग-अलग बिल्डर्स और कई अलग-अलग इन्स्पेक्टर्स का एक स्वार्म (झुंड/जनसंख्या) रखता है।
- उपमा: जंगल की आग के बारे में सोचें। यदि आपके पास केवल एक पेड़ है, तो एक अकेली चिंगारी उसे जला सकती है। लेकिन यदि आपके पास पूरा जंगल है, तो भले ही कुछ पेड़ एक बुरे स्पार्क के कारण जल जाएं, बाकी जंगल जीवित रहता है।
- यदि एक "खराब" टेस्ट गलती से एक "अच्छे" कोड विचार को खत्म कर देता है, तो BACE घबराता नहीं है। क्योंकि स्वार्म में 20 अन्य कोड विचार मौजूद हैं, अच्छा तर्क दूसरों में जीवित रहता है। यह सिस्टम एक व्यक्ति के बजाय पूरे समूह का विकास करता है।
4. "डिटेक्टिव" रणनीति (The "Detective" Strategy - विभेदक परीक्षण)
कभी-कभी दो बिल्डर ऐसा कोड लिखते हैं जो अलग दिखता है लेकिन वे बिल्कुल एक जैसा काम करते हैं। या दो इन्स्पेक्टर्स बिल्कुल एक ही तरह का सवाल पूछते हैं। यह बर्बादी है।
- BACE के पास एक विशेष "डिटेक्टिव" टूल है। यह स्वार्म को देखता है और पूछता है: "हे, ये दो बिल्डर बिल्कुल एक जैसा व्यवहार करते हैं। चलिए एक पेचीदा सवाल बनाते हैं जो उन्हें अलग तरह से व्यवहार करने के लिए मजबूर करे!"
- यह बिल्डर्स को समस्या को हल करने के नए और अद्वितीय तरीके खोजने के लिए मजबूर करता है, जिससे समूह एक उबाऊ लूप में फंसने से बच जाता है जहाँ हर कोई एक जैसा काम करता है।
परिणाम
परीक्षणों को पूर्ण नियमों के बजाय शोर वाले सुरागों के रूप में मानकर, और एक ठोस एंकर से बंधे हुए विविध स्वार्म को बनाए रखकर, BACE AI को पहले के तरीकों की तुलना में बहुत तेज़ी से और अधिक विश्वसनीयता के साथ सही कोड खोजने में मदद करता है।
संक्षेप में: BACE केवल AI को "अधिक प्रयास करने" के लिए नहीं कहता। यह एक स्मार्ट, आत्म-सुधार करने वाला पारिस्थितिकी तंत्र (ecosystem) बनाता है जहाँ AI यह सीखने में सक्षम होता है कि अपनी अंतरात्मा पर उतना ही भरोसा करें जितना आवश्यक है, जबकि वह हमेशा कुछ अकाट्य तथ्यों के विरुद्ध अपने काम की जाँच करता रहता है। यह इसे उन जटिल कोडिंग समस्याओं को हल करने की अनुमति देता है जो पहले बेहतरीन AI मॉडल्स को भी उलझा देती थीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।