How are MLOps Frameworks Used in Open Source Projects? An Empirical Characterization
यह शोध पत्र गिटहब (GitHub) परियोजनाओं में उनके अपनाए जाने का विश्लेषण करके और वास्तविक एपीआई (API) उपयोग पैटर्न को सामुदायिक फीचर अनुरोधों के साथ सहसंबंधित करके आठ लोकप्रिय ओपन-सोर्स एमएलओप्स (MLOps) फ्रेमवर्क के उपयोग का अनुभवजन्य रूप से लक्षण वर्णन करता है, जो यह प्रकट करता है कि डेवलपर्स मुख्य कार्यक्षमता, एपीआई एक्सपोज़र और सीआई/सीडी (CI/CD) एकीकरण में सुधार की तलाश करते हुए इन उपकरणों का उपयोग 'आउट-ऑफ-द-बॉक्स' करने के बजाय मुख्य रूप से एपीआई के माध्यम से उन्हें अनुकूलित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो एक विशाल, हाई-टेक रेस्टोरेंट चलाने की कोशिश कर रहे हैं। आपके पास एक शानदार रेसिपी (मशीन लर्निंग मॉडल) है, लेकिन उस रेसिपी को किचन से ग्राहक की मेज तक हर बार पूरी तरह से पहुँचाना एक बुरा सपना साबित हो रहा है। आपको सामग्री को ट्रैक करने, खाना पकाने के समय की निगरानी करने, यह सुनिश्चित करने की आवश्यकता है कि भोजन खराब न हो, और परोसने की प्रक्रिया को स्वचालित करने की आवश्यकता है।
MLOps फ्रेमवर्क्स उन "स्मार्ट किचन सिस्टम्स" की तरह हैं जो इस अराजकता को प्रबंधित करने में आपकी मदद करने के लिए डिज़ाइन किए गए हैं। ये सॉफ्टवेयर टूल्स हैं जो आपके AI रेसिपी के पूरे जीवनचली (lifecycle) को संभालने का वादा करते हैं, बैटर मिलाने से लेकर डिश परोसने तक।
यह शोध पत्र इन "स्मार्ट किचन सिस्टम्स" का एक फोरेंसिक इन्वेस्टिगेशन (जांच) है कि कैसे 969 वास्तविक दुनिया के "रेस्टोरेंट्स" (ओपन-सोर्स सॉफ्टवेयर प्रोजेक्ट्स) वास्तव में इन सिस्टम्स का उपयोग कर रहे हैं। शोधकर्ताओं ने आठ सबसे लोकप्रिय सिस्टम्स (जैसे MLFlow, Wandb और BentoML) का अध्ययन किया ताकि तीन बड़े सवालों के जवाब दिए जा सकें: इनका उपयोग कैसे किया जाता है? लोग वास्तव में इसके किन हिस्सों का उपयोग कर रहे हैं? और लोग किस बारे में शिकायत कर रहे हैं या क्या मांग रहे हैं?
यहाँ उनके निष्कर्ष दिए गए, जिन्हें सरल शब्दों में समझाया गया है:
1. "आउट-ऑफ-द-बॉक्स" का मिथक
अपेक्षा: आप एक स्मार्ट किचन सिस्टम खरीदते हैं, उसे प्लग-इन करते हैं, और "स्टार्ट" बटन दबाते हैं। मशीन आपके लिए सब कुछ कर देती है।
वास्तविकता: शोध पत्र में पाया गया कि लगभग कोई भी इन टूल्स का उपयोग इस तरह नहीं करता है। डेवलपर्स शायद ही कभी उन्हें केवल कमांड लाइन से चलाते हैं या किसी ऑटोमेटेड वर्कफ़्लो (जैसे एक रोबोटिक हाथ जो बस चालू हो जाता है) में सेट करते हैं।
इसके बजाय, डेवलपर्स इन फ्रेमवर्क्स के साथ लेगो सेट्स (Lego sets) की तरह व्यवहार करते हैं। वे केवल पहले से बने हुए महल का उपयोग नहीं करते; वे ईंटों (कोड APIs) को लेते हैं और अपनी खुद की कस्टम संरचनाएं बनाते हैं। वे टूल को भारी काम करने देने के बजाय, अपनी विशिष्ट आवश्यकताओं से जोड़ने के लिए अपने स्वयं के स्क्रिप्ट लिख रहे हैं।
2. "स्विस आर्मी नाइफ" बनाम "विशेष उपकरण"
शोधकर्ताओं ने देखा कि डेवलपर्स अक्सर एक साथ कई टूल्स का उपयोग करते हैं, जैसे एक शेफ मछली के लिए एक विशेष चाकू, सब्जियों के लिए दूसरा, और ओवन के लिए थर्मामीटर का उपयोग करता है।
- ट्रैकर्स (Trackers): टूल्स जैसे MLFlow और Wandb सबसे लोकप्रिय हैं। वे किचन के "स्कोरबोर्ड" और "नोटबुक" की तरह हैं। डेवलपर्स इनका उपयोग यह लिखने के लिए करते हैं कि उन्होंने कौन सी सामग्री इस्तेमाल की, डिश का स्वाद कैसा था, और हर वर्जन की रेसिपी का इतिहास रखने के लिए करते हैं।
- बिल्डर्स (Builders): टूल्स जैसे Kedro और Prefect असेंबली लाइन मैनेजरों की तरह हैं। वे खाना पकाने की प्रक्रिया के चरणों को व्यवस्थित करने में मदद करते हैं।
- क्वालिटी चेकर्स (Quality Checkers): टूल्स जैसे Deepchecks और Evidently AI स्वास्थ्य निरीक्षकों (health inspectors) की तरह हैं। वे जांचते हैं कि कहीं सामग्री खराब तो नहीं हो गई या समय के साथ स्वाद तो नहीं बदल गया।
अध्ययन में पाया गया कि लोग अक्सर इन्हें मिलाते हैं। उदाहरण के लिए, वे रेसिपी को ट्रैक करने के लिए एक "स्कोरबोर्ड" (MLFlow) का उपयोग कर सकते हैं, खाना पकाने के चरणों को चलाने के लिए एक "असेंबली लाइन" (Prefect) का उपयोग कर सकते हैं, और यह सुनिश्चित करने के लिए कि भोजन सुरक्षित है, एक "स्वास्थ्य निरीक्षक" (Evidently AI) का उपयोग कर सकते हैं। वे ऐसा इसलिए करते हैं क्योंकि कोई भी एक टूल सब कुछ पूरी तरह से नहीं करता है।
3. "मिसिंग मैनुअल" की समस्या
शोधकर्ताओं ने "शिकायत बॉक्स" (इश्यू ट्रैकर्स) को भी देखा जहाँ उपयोगकर्ता टूल बनाने वालों को बताते हैं कि वे क्या चाहते हैं। उन्हें एक स्पष्ट पैटर्न मिला:
- लोगों को बेहतर "स्कोरबोर्ड्स" चाहिए: उपयोगकर्ता अपने प्रयोगों को ट्रैक करने और अपने मॉडल्स की निगरानी करने के बेहतर तरीकों के लिए पूछ रहे हैं।
- लोगों को आसान "प्लग-इन्स" चाहिए: चूंकि डेवलपर्स अपनी खुद की कस्टम संरचनाएं बना रहे हैं (APIs का उपयोग करके), वे मांग कर रहे हैं कि टूल्स को उनके कस्टम बिल्ड्स से जुड़ना आसान बनाया जाए। वे चाहते हैं कि "लेगो ब्रिक्स" अधिक आसानी से आपस में जुड़ सकें।
- लोगों को बेहतर ऑटोमेशन चाहिए: भले ही वे अभी तक टूल्स को "आउट-ऑफ-द-बॉक्स" उपयोग नहीं कर रहे हैं, लेकिन वे इन टूल्स को अपनी ऑटोमेटेड कुकिंग लाइनों (CI/CD पाइपलाइन्स) में एकीकृत करने के बेहतर तरीकों की मांग कर रहे हैं।
मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि ये "स्मार्ट किचन सिस्टम्स" मौजूद हैं और शक्तिशाली हैं, लेकिन इनका उपयोग सरल, तैयार समाधानों के रूप में नहीं किया जा रहा है। इसके बजाय, डेवलपर्स अपनी विशिष्ट आवश्यकताओं के कारण कस्टम समाधान बनाने के लिए इन्हें हैक (hack) कर रहे हैं।
उपयोगकर्ता कह रहे हैं: "हमें कोर फीचर्स (जैसे ट्रैकिंग और मॉनिटरिंग) पसंद हैं, लेकिन कृपया इन टूल्स को हमारे कस्टम वर्कफ़्लो से जोड़ना आसान बनाएं, और कृपया हमें उबाऊ कामों को बेहतर तरीके से ऑटोमेट करने में मदद करें।"
संक्षेप में, MLOps की दुनिया वर्तमान में उस चरण में है जहाँ हर कोई उन्हीं टूल्स के सेट का उपयोग करके अपने कस्टम किचन गैजेट्स बना रहा है, न कि केवल एक बना-बनाया उपकरण खरीद रहा है। टूल निर्माताओं को अगले पीढ़ी के गैजेट्स को आसान बनाने के लिए बिल्डर्स की बात सुननी होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।