Evolving Executable Pipeline Programs for AutoML with Language Models
LACE एक नवीन AutoML फ्रेमवर्क है जो निष्पादन योग्य (executable) पायथन पाइपलाइन प्रोग्राम उत्पन्न करने और विकसित करने के लिए एक लार्ज लैंग्वेज मॉडल द्वारा निर्देशित एक विकासवादी लूप (evolutionary loop) का उपयोग करता है, जो पारंपरिक प्रणालियों की तुलना में बेहतर पारदर्शिता, संपादन क्षमता और खोज स्थान लचीलेपन की पेशकश करते हुए 68 OpenML कार्यों पर प्रतिस्पर्धी सटीकता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डेटा विज्ञान की दुनिया में, मशीनों से तेजी से वास्तविक दुनिया की अव्यवस्थित जानकारी को समझने की अपेक्षा की जा रही है: जैसे कि यह भविष्यवाणी करना कि ऋण आवेदक ऋण चुका पाएगा या नहीं, लक्षणों के स्प्रेडशीट से बीमारी का निदान करना, या पिछले रुझानों के आधार पर बिक्री का पूर्वानुमान लगाना। इसे करने के लिए, शोधकर्ता "पाइपलाइन" बनाते हैं, जो चरण-दर-चरण निर्देश होते हैं जो डेटा को साफ करते हैं, एक गणितीय मॉडल चुनते हैं, और उस मॉडल को तब तक ट्यून करते हैं जब तक कि वह अच्छा प्रदर्शन न करने लगे। वर्षों से, इस काम के लिए सबसे शक्तिशाली उपकरण स्वचालित प्रणालियाँ रही हैं जो एक निश्चित सेट वाले मास्टर शेफ की तरह कार्य करती हैं। ये प्रणालियाँ ज्ञात प्री-प्रोसेसिंग चरणों और लर्निंग एल्गोरिदम को आपस में मिला और जोड़ सकती हैं, और सर्वोत्तम स्वाद खोजने के लिए उनकी मात्रा को समायोजित कर सकती हैं। हालाँकि, वे अपने दिए गए 'पेंट्री' (रसोई के सामान) तक ही सीमित हैं; वे कोई नया घटक या ऐसी नई खाना पकाने की तकनीक नहीं बना सकते जो उनकी पूर्व-निर्धारित सूची से बाहर हो। इस सीमा का अर्थ है कि यदि सर्वोत्तम समाधान के लिए ऐसी संरचना की आवश्यकता है जिसे सिस्टम ने पहले कभी नहीं देखा है, तो वह अनकही ही रह जाएगी।
लाइडन यूनिवर्सिटी के शोधकर्ताओं ने अब एक अलग दृष्टिकोण पेश किया है, जो इन डेटा पाइपलाइनों के निर्माण को एक मेनू से चयन करने के रूप में नहीं, बल्कि शून्य से एक नई रेसिपी लिखने के रूप में देखता है। उन्होंने LACE नामक एक प्रणाली विकसित की है, जो एक लार्ज लैंग्वेज मॉडल (एक कृत्रिम बुद्धिमत्ता जिसे विशाल मात्रा में टेक्स्ट और कोड पर प्रशिक्षित किया गया है) का उपयोग एक विकासवादी इंजन (evolutionary engine) के रूप में करने के लिए करती है। उपकरणों की एक निश्चित सूची में से चुनने के बजाय, LACE एआई (AI) से पूर्ण, निष्पादन योग्य कंप्यूटर प्रोग्राम लिखने के लिए कहता है जो यह परिभाषित करते हैं कि डेटा को कैसे प्रोसेस किया जाए और भविष्यवाणियां कैसे की जाएं। इसके बाद सिस्टम इन प्रोग्रामों का परीक्षण करता है, अपनी गलतियों से सीखता है, और एआई से बेहतर संस्करण लिखने के लिए कहता है, और यह चक्र तब तक दोहराता है जब तक कि उसे एक अत्यधिक प्रभावी समाधान नहीं मिल जाता। परिणाम एक ऐसी प्रणाली है जो न केवल मौजूदा उपकरणों को ट्यून करती है, बल्कि पूरी तरह से नई संरचनाएं भी रच सकती है, और ऐसा कोड तैयार करती है जिसे मानव विशेषज्ञ सीधे पढ़, समझ और संशोधित कर सकते हैं।
शोधकर्ताओं ने इस पद्धति का परीक्षण 68 विभिन्न डेटा वर्गीकरण कार्यों पर किया, जिसमें कुछ सौ प्रविष्टियों वाले छोटे डेटासेट से लेकर लगभग पचास लाख पंक्तियों वाले विशाल संग्रह तक शामिल थे। उन्होंने LACE की तुलना कई स्थापित स्वचालित प्रणालियों और एक निश्चित, पूर्व-प्रशिक्षित मॉडलों के सेट से की। परिणामों ने दिखाया कि LACE, जब एक विशिष्ट भाषा मॉडल द्वारा संचालित होता है, तो मौजूदा सबसे मजबूत स्वचालित प्रणालियों के समान प्रदर्शन करता है और पुराने तरीकों की तुलना में काफी बेहतर होता है। महत्वपूर्ण रूप से, जबकि कुछ नए पूर्व-प्रशिक्षित मॉडल उन विशिष्ट कार्यों पर थोड़े अधिक सटीक थे जिन्हें वे संभाल सकते थे, वे परीक्षण सेट के कई बड़े या अधिक जटिल डेटासेट पर काम करने में विफल रहे। इसके विपरीत, LACE ने सफलतापूर्वक हर उस कार्य के लिए एक काम करने वाला समाधान तैयार किया जो उसे दिया गया था।
यह उपलब्धि विशेष रूप से इसके आउटपुट की प्रकृति के कारण उल्लेखनीय है। पारंपरिक स्वचालित प्रणालियाँ अक्सर एक "ब्लैक बॉक्स" लौटाती हैं—एक जटिल, फिट किया गया ऑब्जेक्ट जो अच्छा काम तो करता है लेकिन सॉफ्टवेयर फ्रेमवर्क के गहरे तकनीकी ज्ञान के बिना मानव के लिए निरीक्षण या परिवर्तन करना कठिन होता है। LACE साधारण पायथन (Python) कोड लौटाता है। इसका अर्थ है कि एक डेटा वैज्ञानिक अंतिम प्रोग्राम को देख सकता है, यह देख सकता है कि डेटा को ठीक से कैसे साफ किया गया, किन मॉडलों को चुना गया, और उन्हें कैसे संयोजित किया गया, और फिर इसे और बेहतर बनाने या किसी नए उद्देश्य के लिए अनुकूलित करने के लिए कोड को संपादित कर सकता है। शोधकर्ताओं ने पाया कि एआई ने केवल मौजूदा पैटर्न की नकल नहीं की; इसने विविध समाधान विकसित किए, अक्सर विभिन्न प्रकार के मॉडलों को नवीन तरीकों से मिलाया और उनके भविष्यवाणियों को मिलाने के लिए कस्टम लॉजिक लिखा। कई मामलों में, एआई ने कई मॉडलों के आउटपुट को मिलाने के लिए अपना स्वयं का कोड लिखा, जो एक ऐसा लचीलापन है जिसे निश्चित प्रणालियाँ आसानी से दोहरा नहीं सकतीं।
अध्ययन ने कृत्रिम बुद्धिमत्ता अनुसंधान की एक सामान्य चिंता को भी संबोधित किया: कि एआई केवल परीक्षण के प्रश्नों के उत्तरों को याद कर रहा होगा क्योंकि उसने अपने प्रशिक्षण के दौरान उन्हें पहले देखा है। इसे रोकने के लिए, शोधकर्ताओं ने डेटासेट के नाम और विशिष्ट विवरणों को एआई से छिपा दिया, उसे केवल डेटा के आकार और प्रकार का एक सामान्य विवरण दिया। इस विशिष्ट ज्ञान की कमी के बावजूद, सिस्टम ने उच्च-प्रदर्शन वाले समाधान खोज लिए, जिससे पता चलता है कि वह प्रभावी पाइपलाइन बनाने का वास्तव में सीख रहा था न कि केवल उत्तरों को याद कर रहा था। शोधकर्ताओं ने आगे सत्यापित किया कि एआई ने सख्त नियमों का पालन किया, जैसे कि अपनी सेटिंग्स को ट्यून करने के लिए छिपे हुए आंतरिक खोजों का उपयोग न करना, यह सुनिश्चित करते हुए कि सुधार विकासवादी खोज प्रक्रिया से आए।
सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि सिस्टम कितनी तेजी से सुधरा। एआई द्वारा बनाया गया पहला प्रोग्राम अक्सर त्रुटिपूर्ण या अधूरा होता था, लेकिन जैसे-जैसे सिस्टम पुनरावृत्ति करता गया, इसने इन त्रुटियों को ठीक करना और तर्क को परिष्कृत करना सीखा। जब तक प्रक्रिया समाप्त हुई, अंतिम प्रोग्राम न केवल वैध थे बल्कि प्रारंभिक प्रयासों की तुलना में काफी अधिक सटीक भी थे। शोधकर्ताओं ने देखा कि सिस्टम कुछ प्रकार के मॉडलों, जैसे कि ट्री-बेस्ड एन्सेम्बल्स (tree-based ensembles) की ओर झुकाव रखता है, लेकिन यह एक ही पैटर्न में नहीं फंसा; इसने विविध प्रकार के संरचनात्मक संयोजनों का अन्वेषण किया। यह विविधता बताती है कि सिस्टम ऐसे समाधान खोजने में सक्षम है जो एक मानव शायद न सोच पाए, या जिसे एक कठोर प्रणाली कभी विचार में भी न ले।
यह कार्य यह प्रदर्शित करता है कि ऑटोमेटेड मशीन लर्निंग को कोड लिखने और विकसित करने की प्रक्रिया के रूप में देखना एक नए क्षितिज को खोलता है। यह उपकरणों की एक निश्चित लाइब्रेरी की बाधा से परे जाता है, जिससे सिस्टम को अपने ढांचे को सामने मौजूद विशिष्ट समस्या के अनुरूप ढालने की अनुमति मिलती है। हालांकि इन प्रयोगों को चलाने की कम्प्यूटेशनल लागत अधिक थी, जिसमें हजारों उम्मीदवार प्रोग्रामों को उत्पन्न करने और परीक्षण करने के लिए महत्वपूर्ण समय लगा, लेकिन परिणाम बताते हैं कि पारदर्शी, संपादन योग्य और अत्यधिक प्रभावी कोड उत्पन्न करने की क्षमता एक मूल्यवान समझौता है। शोधकर्ता निष्कर्ष निकालते हैं कि यह दृष्टिकोण एक आशाजनक मार्ग प्रदान करता है, जहाँ सर्वोत्तम डेटा पाइपलाइन की खोज कोड की रचनात्मकता द्वारा परिभाषित होती है, न कि पूर्व-चयनित घटकों के सेट की सीमाओं द्वारा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।