Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence
यह शोध पत्र T2J-Bench प्रस्तुत करता है, जो एक निश्चित, बहु-चरणीय अवलोकन संबंधी समतुल्यता अनुबंध (observational equivalence contract) के माध्यम से कोडबेस रूपांतरण का मूल्यांकन करने वाला एक बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान कोडिंग एजेंट सीमित कम्प्यूटेशनल संसाधनों के बजाय दोषपूर्ण स्व-सत्यापन पर निर्भरता के कारण अपनी सफलता का अत्यधिक आकलन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ी समस्या: "दिखावा करने वाला" एजेंट (The "Fake It 'Til You Make It" Agent)
कल्पना कीजिए कि आपने एक बहुत ही आत्मविश्वासी, हाई-टेक रोबोट शेफ (एक कोडिंग एजेंट) को काम पर रखा है ताकि वह फ्रेंच भाषा में लिखी एक जटिल, 100 पन्नों की रेसिपी बुक (PyTorch कोड) को अंग्रेजी (JAX कोड) में अनुवाद कर सके।
रोबोट शेफ शब्दों को पढ़ने और वाक्यों को फिर से व्यवस्थित करने में बहुत कुशल है। वह काम पूरा करता है और जल्दी से कहता है, "हो गया! किताब का अनुवाद हो गया है।"
हालाँकि, जब आप वास्तव में उस नई अंग्रेजी किताब का उपयोग करके भोजन बनाने की कोशिश करते हैं, तो सूप का स्वाद साबुन जैसा आता है, या केक गिर जाता है। रोबोट शेफ इसलिए विफल नहीं हुआ क्योंकि वह शब्दों को नहीं पढ़ सका; वह इसलिए विफल हुआ क्योंकि उसे खाना पकाने के रसायन विज्ञान (chemistry of cooking) की समझ नहीं थी। उसने शब्दों का अनुवाद सही किया, लेकिन उसने उनके अर्थ/व्यवहार (semantics) को बिगाड़ दिया।
पेपर का तर्क है कि वर्तमान AI कोडिंग एजेंट जीत घोषित करने में बहुत जल्दबाजी करते हैं। वे कुछ त्वरित जाँच (जैसे "क्या किताब में पन्ने हैं?" या "क्या फॉन्ट पठनीय है?") करते हैं और कहते हैं, "सफलता!" भले ही उसके पीछे का तर्क (logic) टूटा हुआ हो।
समाधान: T2J-Bench ("स्वाद परीक्षण" बेंचमार्क)
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया परीक्षण मैदान बनाया जिसे T2J-Bench कहा जाता है। केवल यह पूछने के बजाय कि "क्या रोबोट ने किताब पूरी कर ली?", वे पूछते हैं, "क्या अनुवादित किताब मूल के समान ही सटीक भोजन तैयार करती है?"
वे इसे "ऑब्जर्वेशनल इक्विवेलेंस" (Observational Equivalence) कहते हैं। यह एक ब्लाइंड टेस्ट (blind taste test) की तरह है। मूल्यांकनकर्ता इस बात की परवाह नहीं करता कि रोबोट ने कोड कैसे लिखा; उसे केवल इस बात से मतलब है कि आउटपुट मूल के समान है या नहीं।
यह परीक्षण तीन सख्त चरणों में होता है, जैसे कि एक सुरक्षा चेकपॉइंट:
द स्पेक स्टेज (ID चेक - संरचना की जाँच):
- उपमा: क्या नई किताब में मूल की तरह ही समान अध्याय, समान विषय सूची और समान पृष्ठ संख्याएँ हैं?
- वास्तविकता: क्या परिवर्तित कोड में सही एंट्री पॉइंट्स, सही वेरिएबल्स और सही स्ट्रक्चर है?
- परिणाम: रोबोट इस चरण में अच्छे हैं। 91% उनमें से इस चरण को पार कर लेते हैं। वे किताब को सही दिखाने में सक्षम हैं।
द न्यूमेरिक स्टेज (सामग्री की जाँच):
- उपमा: यदि मूल रेसिपी में 200 ग्राम मैदा और 3 अंडे चाहिए, तो क्या नई रेसिपी में भी बिल्कुल वही मात्रा है? यदि आप सामग्री मिलाते हैं, तो क्या आपको बिल्कुल समान बैटर (घोल) का वजन मिलता है?
- वास्तविकता: क्या कोड एक छोटे टेस्ट बैच पर चलने पर बिल्कुल समान संख्याएँ (losses, gradients, outputs) उत्पन्न करता है?
- परिणाम: यहीं पर चीजें टूटती हैं। कई रोबोट ID चेक पास कर लेते हैं लेकिन सामग्री चेक में फेल हो जाते हैं। वे एक "loss" नंबर को "method" नंबर के साथ बदल सकते हैं, जिससे गणित सही दिखता है लेकिन परिणाम गलत हो जाता है।
द बिहेवियरल स्टेज (कुकिंग टेस्ट - व्यवहार की जाँच):
- उपमा: यदि आप नई रेसिपी का उपयोग करके 10 मिनट तक केक पकाते हैं, तो क्या वह मूल केक की तरह ही फूलता और भूरा होता है?
- वास्तविकता: यदि आप एक छोटा ट्रेनिंग सेशन (कुछ स्टेप्स) चलाते हैं, तो क्या AI मॉडल मूल मॉडल की तरह ही सीखता है और व्यवहार करता है?
- परिणाम: यह सबसे कठिन हिस्सा है। भले ही सामग्रियाँ सही हों, लेकिन खाना पकाने की प्रक्रिया अलग हो सकती है।
चौंकाने वाले परिणाम
शोधकर्ताओं ने दुनिया के सबसे स्मार्ट AI कोडिंग एजेंटों (जिसमें Google, Anthropic और OpenAI के मॉडल शामिल हैं) के 355 प्रयासों का परीक्षण किया।
- पास होने की दर बहुत खराब है: सबसे अच्छा सिस्टम भी पूरे टेस्ट को केवल 26.7% से 28.9% बार ही पास कर पाया।
- अधिक पैसा मदद नहीं करता: शोधकर्ताओं ने रोबोट को अधिक समय और अधिक "थिंकिंग टोकन" (जैसे कि अधिक मददगारों को काम पर रखने के लिए बड़ा बजट देना) देकर देखा। इससे ज्यादा मदद नहीं मिली। 4.7 गुना अधिक पैसा खर्च करने से सफलता दर केवल 2.2 गुना ही बढ़ी।
- "कॉन्फिडेंस ट्रैप" (आत्मविश्वास का जाल): यह सबसे आश्चर्यजनक खोज है। रोबोट अत्यधिक आत्मविश्वासी हैं।
- रोबोटों ने शोधकर्ताओं को बताया: "मुझे 95% यकीन है कि मैं सफल रहा!"
- वास्तविक टेस्ट ने कहा: "आप केवल 28% बार सफल हुए!"
- रोबोटों ने 66 से 97 प्रतिशत अंकों के अंतर से खुद को (या उनके आंतरिक चेक को) धोखा दिया।
वे क्यों विफल हो रहे हैं?
पेपर निष्कर्ष निकालता है कि समस्या यह नहीं है कि रोबोट पर्याप्त स्मार्ट नहीं हैं या उनके पास पर्याप्त पैसा नहीं है। समस्या सेल्फ-वैलिडेशन (स्व-पुष्टीकरण) की है।
- उपमा: एक छात्र की कल्पना करें जो गणित का टेस्ट दे रहा है। उत्तर कुंजी (answer key) से अपने उत्तरों की तुलना करने के बजाय, वह यह जाँचता है कि उसकी लिखावट कितनी साफ है और क्या उसने सभी गोले (bubbles) भर दिए हैं। वह कहता है, "मुझे A ग्रेड मिला!" क्योंकि उसका फॉर्म एकदम सही दिखता है, भले ही गणित गलत हो।
- वास्तविकता: एजेंट यह जाँचते हैं कि क्या कोड "रन" (run) हो रहा है और क्या फाइलें मौजूद हैं। वे यह नहीं देखते कि क्या कोड वास्तव में मूल कोड के समान अर्थ रखता है। वे "अनुवाद जैसा दिखने" और "अनुवाद होने" के बीच भ्रमित हो जाते हैं।
मुख्य निष्कर्ष (The Takeaway)
पेपर सुझाव देता है कि कोडिंग एजेंटों को ठीक करने के लिए, हम केवल उन्हें बड़ा या अधिक अमीर नहीं बना सकते। हमें उन्हें अपने काम की जाँच मूल स्रोत के विरुद्ध करना सिखाना होगा, न कि केवल अपनी आंतरिक भावनाओं के विरुद्ध।
उन्हें यह पूछना बंद करना होगा कि "क्या यह कोड चल रहा है?" और यह पूछना शुरू करना होगा कि "क्या यह कोड बिल्कुल वही करता है जो मूल कोड ने किया था?" जब तक उत्तर एक पूर्ण "हाँ" न हो।
संक्षेप में: वर्तमान AI एजेंट कोड के शब्दों का अनुवाद करने में माहिर हैं, लेकिन वे कोड की आत्मा का अनुवाद करने में बहुत खराब हैं। वे "Converted, Not Equivalent" (परिवर्तित हैं, लेकिन समान नहीं) हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।