Try Again, Don't Look Back: Blind Resampling Outperforms Self-Repair in Small Code Models
यह शोध पत्र प्रदर्शित करता है कि छोटे कोड मॉडल्स के लिए, ब्लाइंड रीसैंपलिंग (बिना फीडबैक के पुन: प्रयास करना) मानक सेल्फ-रिपेयर विधियों की तुलना में बेहतर प्रदर्शन करती है या उनके बराबर रहती है और साथ ही काफी कम टोकन का उपयोग करती है, क्योंकि मॉडल के अपने विफल प्रयास पर निर्भर होना उसे निष्पादन फीडबैक का प्रभावी ढंग से उपयोग करने के बजाय मूल त्रुटि पर "एंकर" होने के लिए मजबूर कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर कोड लिखना सिखा रहे हैं। आप रोबोट को एक कार्य देते हैं, जैसे "दो संख्याओं को जोड़ने का एक प्रोग्राम लिखें," और वह इसे करने की कोशिश करता है। कभी-कभी, रोबोट गलती कर देता है, और कोड काम नहीं करता। आर्टिफिशियल इंटेलिजेंस की दुनिया में, "सेल्फ-रिपेयर" (स्वयं सुधारने) का एक लोकप्रिय विचार है। यह ऐसा है जैसे रोबोट को कहना, "हे, तुमने गड़बड़ कर दी। यह तुम्हारा टूटा हुआ कोड है और एरर मैसेज (त्रुटि संदेश) भी है। अब, इसे देखो, सोचो कि क्या गलत हुआ, और इसे ठीक करने की कोशिश करो।" यह गलतियों से सीखने का एक स्मार्ट तरीका लगता है, है ना? लेकिन, इसमें एक पेंच है। जब हम परीक्षण करते हैं कि क्या यह "सुधारना" काम करता है, तो हम अक्सर इसकी तुलना एक ऐसे रोबोट से करते हैं जो एक ही प्रयास के बाद हार मान लेता है। यह थोड़ा अनुचित है क्योंकि दूसरा मौका पाने वाले रोबोट के पास सफल होने का बेहतर मौका होता है क्योंकि उसने फिर से प्रयास किया है, न कि इसलिए कि उसने वास्तव में अपनी गलती से सीखा है। यह वास्तव में जानने के लिए कि क्या "सुधारना" वह जादुई तत्व है, हमें इसकी तुलना एक ऐसे रोबोट से करने की आवश्यकता है जिसे दूसरा मौका तो मिलता है लेकिन वह अपनी पुरानी गलती नहीं देख पाता। यह शोध पत्र ठीक इसी प्रश्न पर गहराई से विचार करता है: क्या अपनी गलती को देखकर उसे ठीक करना बेहतर है, या अपनी विफलता को भूलकर बिल्कुल नए दृष्टिकोण से शुरुआत करना बेहतर है?
इस शोध पत्र के शोधकर्ताओं ने कुछ छोटे AI मॉडल्स के साथ "फिर से कोशिश करो, पीछे मुड़कर मत देखो" का खेल खेलने का निर्णय लिया। उन्होंने एक चतुर प्रयोग के साथ एक "प्लेसबो" टेस्ट सेट किया, जो आमतौर पर हम चिकित्सा में यह देखने के लिए करते हैं कि क्या कोई दवा काम कर रही है या यह केवल दवा लेने की उम्मीद से मदद मिल रही है। यहाँ, उन्होंने चार अलग-अलग तरीकों की तुलना की जिनसे एक रोबोट अपने कोड को ठीक करने की कोशिश कर सकता था:
- ब्लाइंड रीसैंपलिंग (अंधा पुन: नमूनाकरण): रोबोट को दूसरा मौका मिलता है लेकिन उसे पहले प्रयास के बारे में कुछ भी नहीं बताया जाता है। यह एक छात्र से दोबारा गणित का टेस्ट देने के लिए कहने जैसा है बिना उसे पिछला टेस्ट दिखाए।
- द प्लेसबो (द प्लेसबो): रोबोट अपना टूटा हुआ कोड देखता है और उसे एक साधारण नोट मिलता है कि "यह गलत है," लेकिन कोई विवरण नहीं कि क्यों।
- रियल फीडबैक (वास्तविक फीडबैक): रोबोट टूटा हुआ कोड देखता है और साथ ही विशिष्ट एरर मैसेज भी देखता है (जैसे "आप सेमीकोलन भूल गए")।
- रिफ्लेक्शन (चिंतन): रोबोट त्रुटि को देखता है और उसे ठीक करने से पहले यह समझाने के लिए एक पैराग्राफ लिखने को कहा जाता है कि क्या गलत हुआ।
उन्होंने तीन अलग-अलग आकार के AI मॉडल्स (छोटे, मध्यम और थोड़े बड़े) पर यह परीक्षण चलाया और देखा कि वे कितनी बार कोड को सही पाते हैं।
यहाँ एक चौंकाने वाला मोड़ है: पीछे मुड़कर देखना (गलती को देखना) वास्तव में छोटे रोबोट्स को और खराब बना देता था।
छोटे मॉडल्स (1.5 बिलियन और 3 बिलियन पैरामीटर्स) के लिए, "ब्लाइंड रीसैंपलिंग" रणनीति स्पष्ट विजेता थी। यह न केवल सबसे सटीक थी बल्कि कंप्यूटर समय और ऊर्जा के मामले में सबसे सस्ती भी थी। जब शोधकर्ताओं ने रोबोट को अपने स्वयं के विफल कोड को देखने के लिए मजबूर किया (प्लेसबो या फीडबैक समूह), तो रोबोट फंस गए। वे एक पूरी तरह से नए समाधान के बजाय टूटे हुए कोड में बहुत छोटे, लगभग अदृश्य बदलाव करने लगे। इस शोध पत्र में इसे "एंकरिंग" (लंगर डालना) कहा गया है। यह ऐसा है जैसे आप बिल्ली बनाने की कोशिश करते हैं, उसे बिगाड़ देते हैं, और फिर उसे ठीक करने के लिए बस खराब ड्राइंग की कुछ रेखाओं को मिटाने की कोशिश करते हैं। अंत में आप एक अजीब, आधा-ठीक किया हुआ बिल्ली जैसा चित्र बनाते हैं। लेकिन यदि आप बस नया कागज रख दें और एक ताज़ा शुरुआत करें, तो आप एक पूरी तरह से अलग, बेहतर बिल्ली बना सकते हैं।
शोधकर्ताओं ने पाया कि जब रोबोटों ने अपने स्वयं के असफल प्रयासों को देखा, तो उन्होंने 33% से 68% बार लगभग एक जैसा ही प्रोग्राम दोबारा बनाया। इसके विपरीत, जब उन्होंने अंधे होकर (बिना देखे) प्रयास किया, तो उन्होंने खुद को दोहराने का समय केवल 2% से 14% ही लिया। "सूचना" जो एरर मैसेज में थी, उसने बिल्कुल भी मदद नहीं की; एक साधारण "यह गलत है" नोट भी पूर्ण एरर रिपोर्ट जितना ही बुरा था। यहाँ तक कि रोबोट को गलती के बारे में "ज़ोर से सोचने" (रिफ्लेक्शन) के लिए कहना भी काम नहीं आया; इसने प्रक्रिया को बहुत महंगा बना दिया बिना परिणामों में पर्याप्त सुधार किए।
हालाँकि, बड़े दिमागों के लिए आशा की एक किरण है। जब उन्होंने सबसे बड़े मॉडल (7 बिलियन पैरामीटर्स) का परीक्षण किया, तो पीछे मुड़ने का दंड लगभग समाप्त हो गया। "ब्लाइंड रीसैंपलिंग" और "सेल्फ-रिपेयर" विधियाँ सांख्यिकीय रूप से बराबर रहीं। यह सुझाव देता है कि जैसे-जैसे AI स्मार्ट होता जाता है, वह अपनी गलतियों पर अटकने से बेहतर होता जाता है। लेकिन छोटे, सस्ते मॉडल्स के लिए जिनका लोग वास्तव में उपयोग करते हैं, सलाह स्पष्ट है: पीछे मुड़कर मत देखो।
शोधकर्ताओं ने कुछ अन्य विचारों को भी खारिज कर दिया। उन्होंने जांचा कि क्या समस्या यह थी कि प्रॉम्प्ट बहुत लंबे हो गए थे और रोबोट को भ्रमित कर रहे थे, लेकिन अन्य सफल कार्यों से कोड जोड़ने से प्रदर्शन को नुकसान नहीं पहुँचा। इससे साबित हुआ कि समस्या लंबाई की नहीं थी, बल्कि विशेष रूप से रोबोट द्वारा अपने स्वयं के विफलता को देखने से थी। उन्होंने यह भी जांचा कि क्या यह कंप्यूटर द्वारा नंबरों को स्टोर करने के तरीके (क्वांटाइजेशन) की कोई गड़बड़ी थी, लेकिन परिणाम उच्च सटीकता के साथ भी समान रहा।
तो, निष्कर्ष क्या है? यदि आप कोड लिखने के लिए छोटे AI का उपयोग कर रहे हैं, तो उसे अपनी गलतियाँ दिखाकर और उन्हें ठीक करने के लिए कहकर समय बर्बाद न करें। वह संभवतः एक बेकार लूप में फंस जाएगा जहाँ वह छोटे, निरर्थक बदलाव करता रहेगा। इसके बजाय, बस उसे शून्य से फिर से शुरू करने के लिए कहें। यह तेज़ है, सस्ता है, और आश्चर्यजनक रूप से, यह बेहतर काम करता है। एक खराब पहले प्रयास को "ठीक करने" की लागत, उस खराब पहले प्रयास के साथ अटके रहने की लागत के बराबर ही है। कभी-कभी, आगे बढ़ने का सबसे अच्छा तरीका अतीत को भूल जाना और ताज़ा शुरुआत करना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।