Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility
यह शोध पत्र MLEModernizer को प्रस्तुत करता है, जो एक LLM-संचालित एजेंटिक फ्रेमवर्क है जो मशीन लर्निंग इंजीनियरिंग नोटबुक को स्वचालित रूप से आधुनिक बनाता है ताकि पर्यावरणीय क्षरण (environmental erosion) को दूर किया जा सके और कोड को पुनरावृत्ति से चलाने तथा लक्षित सुधार लागू करने के माध्यम से पुनरुत्पादकता (reproducibility) को बहाल किया जा सके, जिसने सफलतापूर्वक 40% से अधिक पहले से गैर-पुनरुत्पादक नोटबुक को रिकवर किया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक समय यात्री हैं जिसे पुरानी रेसिपी देखना बहुत पसंद है। आपको 2015 की एक प्रसिद्ध केक रेसिपी मिलती है जो एक विशेष नोटबुक में लिखी है। रेसिपी कहती है, "एक परफेक्ट केक पाने के लिए मैदा, चीनी और एक जादुई सामग्री 'XGBoost' को मिलाएं।" आप आज इसे बनाने की कोशिश करते हैं, लेकिन कुछ गड़बड़ हो जाती है। आज आपने दुकान से जो "XGBoost" खरीदा है, वह थोड़ा अलग है; यह अधिक शक्तिशाली है, यह अलग तरह से काम करता है, और जब आप इसे मिलाते हैं, तो बैटर फट जाता है या इसका स्वाद साबुन जैसा हो जाता है। यह "एनवायरनमेंट इरोशन" (पर्यावरण क्षरण) की समस्या है। मशीन लर्निंग इंजीनियरिंग (MLE) की दुनिया में, वैज्ञानिक और इंजीनियर एआई मॉडल बनाने के लिए इंटरैक्टिव नोटबुक (जैसे डिजिटल रेसिपी बुक) का उपयोग करते हैं। वे इन नोटबुक को साझा करते हैं ताकि अन्य लोग उनसे सीख सकें या उनके कोड का उपयोग कर सकें। लेकिन जैसे-जैसे कंप्यूटर और सॉफ्टवेयर तेजी से अपडेट होते हैं, पुरानी नोटबुक अक्सर टूट जाती हैं क्योंकि वे जिन "सामग्रियों" (सॉफ्टवेयर लाइब्रेरी) पर निर्भर करती हैं, वे बदल चुकी होती हैं या गायब हो चुकी होती हैं। यदि आप पुराने कोड को चला नहीं सकते, तो आप परिणामों को सत्यापित नहीं कर सकते, और ज्ञान खो जाता है। बड़ा सवाल यह है: क्या हम इन पुराने, टूटे हुए व्यंजनों को आज की रसोई में काम करने लायक बना सकते हैं, बिना पूरी रसोई को फिर से बनाए?
यह शोध पत्र, जिसका शीर्षक "Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility" है, इसी सटीक समस्या में डूब जाता है। लेखकों, बिहुई जिन, काइयुआन वांग और पेंगयु नी ने यह परीक्षण करने का निर्णय लिया कि ये डिजिटल रेसिपी वास्तव में कितनी टूटी हुई हैं। उन्होंने कैगल (Kaggle) पर लोकप्रिय मशीन लर्निंग प्रतियोगिताओं से 12,106 नोटबुक का एक विशाल संग्रह इकट्ठा किया। जब उन्होंने इन नोटबुक को एक आधुनिक वातावरण में चलाने की कोशिश की, तो उन्हें एक कठोर वास्तविकता का पता चला: केवल 26% ही वास्तव में काम कर रहे थे और उसी तरह के परिणाम दे रहे थे जैसे वे वर्षों पहले देते थे। बाकी 74% टूट चुके थे, या तो त्रुटियों (errors) के साथ क्रैश हो रहे थे या पूरी तरह से अलग स्कोर दे रहे थे।
आप सोच सकते हैं कि समाधान सरल है: बस समय में पीछे जाएं और ठीक वही पुराने सॉफ्टवेयर संस्करण इंस्टॉल करें जिनके लिए वह रेसिपी लिखी गई थी। इसे "एनवायरनमेंट बैकपोर्टिंग" कहा जाता है। लेखकों ने इसे उस तारीख से मेल खाने के लिए सभी सॉफ्टवेयर को डाउनग्रेड करके आजमाया जब नोटबुक मूल रूप से सबमिट की गई थी। आश्चर्यजनक रूप से, इससे चीजें और भी खराब हो गईं! 26% काम करने के बजाय, केवल 12% ही पुनरुत्पादित (reproducible) हो पाए। यह स्पष्ट है कि अतीत का पुनर्निर्माण करने की कोशिश करना एक जाल है; पुराने सॉफ्टवेयर संस्करण अक्सर गायब होते हैं, आधुनिक हार्डवेयर के साथ असंगत होते हैं, या चलने के लिए बहुत नाजुक होते हैं। लेखक तर्क देते हैं कि पुरानी रसोई को फिर से बनाने के बजाय, हमें रेसिपी को ही ठीक करना चाहिए ताकि वह नई रसोई में काम कर सके।
इसे हल करने के लिए, टीम ने MLEModernizer नामक एक टूल बनाया। इसे एक सुपर-स्मार्ट, रोबोटिक 'सू-शेफ' (sous-chef) समझें जो एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा संचालित है। यह रोबोट केवल रेसिपी को पढ़ता नहीं है; यह वास्तव में केक बनाने की कोशिश भी करता है। यदि केक जल जाता है (एक त्रुटि होती है), तो रोबबोट धुएं को देखता है, पता लगाता है कि क्या गलत हुआ, और रेसिपी को ठीक करने के लिए उसे फिर से लिखता है। यदि केक पकने में बहुत अधिक समय लेता है (रनटाइम मुद्दे), तो रोबोट निर्देशों को तेज करने के लिए उनमें बदलाव करता है। यदि केक का स्वाद थोड़ा अलग है (स्कोर अलग है), तो रोबोट मूल मानक वापस पाने के लिए सामग्रियों को समायोजित करता है।
रोबोट एक लूप में काम करता है: वह कोड चलाता है, परिणामों की जांच करता है, और यदि कुछ गलत है, तो वह एआई से पूरे नोटबुक के लिए एक पैच (एक सुधार) लिखने के लिए कहता है। वह इसे तब तक अधिकतम 16 बार करता रहता है जब तक कि नोटबुक काम न करने लगे। इसके परिणाम काफी उत्साहजनक थे। जब उन्होंने 8,210 टूटी हुई नोटबुक पर इसका परीक्षण किया, तो टूल ने उनमें से लगभग 40% से 45% को ठीक करने में सफलता प्राप्त की, जिससे वे फिर से पुनरुत्पादित होने योग्य बन गए। विशेष रूप से, एक शक्तिशाली एआई मॉडल (GPT-5.2) का उपयोग करके, उन्होंने 3,292 नोटबुक ठीक कीं, और एक थोड़े अलग ओपन-सोर्स मॉडल (GPT-OSS-120b) के साथ, उन्होंने 3,683 नोटबुक ठीक कीं।
हालाँकि, पेपर सावधानी बरतते हुए यह स्पष्ट करता है कि इसे जादुई छड़ी न कहा जाए। लेखकों ने पाया कि हालांकि टूल नंबरों (स्कोर) को सही कर सकता है, लेकिन कभी-कभी कोड में ऐसे बदलाव होते हैं जो मूल के बिल्कुल समान नहीं होते। उदाहरण के लिए, एआई मॉडल को प्रशिक्षित करने के तरीके को इतना बदल सकता है कि सही स्कोर मिल जाए, लेकिन कोड का "स्वाद" (flavor) अलग होता है। उन्होंने यह भी खोजा कि कुछ त्रुटियां इतनी जिद्दी होती हैं कि उन्हें स्वचालित रूप से ठीक नहीं किया जा सकता; टूल "लापता सामग्री" वाली त्रुटियों (जैसे लाइब्रेरी इम्पोर्ट करना भूल जाना) को ठीक करने में बहुत अच्छा था, लेकिन वह जटिल "अजीब सामग्री परस्पर क्रिया" वाली त्रुटियों (जैसे एट्रिब्यूट एरर जहाँ एक ऑब्जेक्ट के पास सही गुण नहीं होते) को ठीक करने में संघर्ष करता है।
इस रोबोटिक शेफ की लागत भी एक कारक है। लेखकों ने गणना की कि शक्तिशाली मॉडल का उपयोग करके एक नोटबुक को ठीक करने की औसत लागत लगभग 0.0074 प्रति नोटबुक) था लेकिन वह कोड को मूल के प्रति उतना वफादार नहीं रखता था।
अंत में, पेपर सुझाव देता है कि भले ही हम अतीत को पूरी तरह से फिर से नहीं बना सकते, लेकिन हम पुराने कोड को आधुनिक बनाने और मूल्यवान वैज्ञानिक कार्य को बचाने के लिए स्मार्ट एआई एजेंटों का उपयोग कर सकते हैं। यह हर एक टूटी हुई नोटबुक के लिए पूर्ण समाधान नहीं है, लेकिन यह मशीन लर्निंग इतिहास के एक महत्वपूर्ण हिस्से को बचाने का एक "सर्वश्रेष्ठ-प्रयास" (best-effort) तरीका है जो अन्यथा समय के साथ खो जाता। लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण अभ्यासकर्ताओं को पुराने पाइपलाइनों को मान्य करने और पुनः उपयोग करने में मदद करता है क्योंकि तकनीक विकसित होती रहती है, जिससे टूटे हुए, धूल भरे व्यंजनों को आज की रसोई में पकाया जा सकने योग्य बनाया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।