Efficient Coreset Selection via K-Nearest Neighbor Graphs
यह शोध पत्र KNNG-CS प्रस्तुत करता है, जो एक हल्का (lightweight) कोरेसेट चयन तरीका है जो K-निकटतम पड़ोसी ग्राफ़ का लाभ उठाकर सटीकता को मौजूदा ग्रेडिएंट-अनुमानित दृष्टिकोणों के समान बनाए रखते हुए, समय और मेमोरी की लागत में काफी कमी के साथ कुशलतापूर्वक प्रतिनिधि डेटा उपसमुच्चयों की पहचान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मशीन लर्निंग मॉडल आधुनिक उपकरणों के पीछे के इंजन हैं, जो फोटो में चेहरों को पहचानने से लेकर शेयर बाजार के रुझानों की भविष्यवाणी करने तक के काम करते हैं। इन कार्यों को करना सीखने के लिए, इन मॉडलों को भारी मात्रा में डेटा खिलाना पड़ता है। कल्पना कीजिए कि आप एक छात्र को एक पुस्तकालय की हर एक किताब देकर पढ़ाने की कोशिश कर रहे हैं; वे अंततः सीख तो जाएंगे, लेकिन यह प्रक्रिया अविश्वसनीय रूप से धीमी और थका देने वाली होगी। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशाल डेटासेट पर प्रशिक्षण देना यही वास्तविकता है। इसके लिए अत्यधिक कंप्यूटिंग शक्ति और मेमोरी की आवश्यकता होती है, जो अक्सर कई व्यावहारिक अनुप्रयोगों के लिए इसे बहुत महंगा या धीमा बना देती है। इसे हल करने के लिए, वैज्ञानिक 'कोरसाइट सिलेक्शन' (coreset selection) नामक तकनीक का उपयोग करते हैं। लक्ष्य सरल है: पूरी लाइब्रेरी का उपयोग करने के बजाय, किताबों का एक छोटा, सटीक उपसमूह (subset) खोजें जिसमें सभी आवश्यक सबक शामिल हों। यदि आप मॉडल को इस छोटे, प्रतिनिधि नमूने पर प्रशिक्षित कर सकते हैं, तो यह उतना ही अच्छा सीखता है जितना कि यदि इसने सब कुछ पढ़ लिया होता, लेकिन बहुत कम समय में और बहुत कम मेमोरी के साथ।
वर्षों से, इन छोटे, सटीक उपसमूहों को खोजने के सबसे अच्छे तरीके एक ऐसी विधि पर निर्भर रहे हैं जो गणनात्मक रूप से भारी है। मौजूदा दृष्टिकोण प्रत्येक डेटा पॉइंट और प्रत्येक अन्य डेटा पॉइंट के बीच की दूरी को मापने की कोशिश करते हैं ताकि यह देखा जा सके कि वे आपस में कितने समान हैं। यह एक भीड़ में सबसे अच्छे प्रतिनिधि को खोजने के लिए ऐसा करने जैसा है जैसे कि हर व्यक्ति कमरे में मौजूद अन्य प्रत्येक व्यक्ति से अपनी दूरी को मापता है। हालांकि यह काम करता है, लेकिन यह डेटा की एक विशाल मात्रा पैदा करता है जिसे स्टोर करना और प्रोसेस करना कठिन होता है, विशेष रूप से जब डेटासेट बड़ा हो जाता है। शियान यूनिवर्सिटी (Xidian University) के शोधकर्ताओं और उनके सहयोगियों ने महसूस किया कि यह "सब कुछ मापने" वाला दृष्टिकोण अक्षम था। उन्होंने देखा कि डेटासेट में सबसे उपयोगी प्रतिनिधि आमतौर पर वे होते हैं जो समान वस्तुओं के घने समूहों के बीच में स्थित होते हैं, न कि वे जो अकेले खड़े होते हैं। एक नमूना जो कई अन्य वस्तुओं के करीब है, वह एक सामान्य पैटर्न का प्रतिनिधित्व करने की संभावना रखता है, जबकि एक अलग-थलग नमूना एक बड़े समूह के लिए एक अच्छा प्रतिनिधि होने की संभावना कम रखता है।
इसे संबोधित करने के लिए, टीम ने KNNG-CS नामक एक नई विधि विकसित की। प्रत्येक आइटम को प्रत्येक अन्य आइटम से अपनी दूरी मापने के लिए मजबूर करने के बजाय, उन्होंने एक ऐसा मानचित्र बनाया जो केवल प्रत्येक आइटम को उसके दस निकटतम पड़ोसियों से जोड़ता है। यह एक स्पार्स नेटवर्क, या एक ग्राफ बनाता है जो हर संभव कनेक्शन की गणना करने के भारी बोझ के बिना डेटा पॉइंट्स के बीच स्थानीय संबंधों को कैप्चर करता है। एक बार यह मैप बन जाने के बाद, शोधकर्ताओं ने प्रत्येक आइटम को एक स्कोर दिया कि कितने अन्य आइटमों ने उसे एक पड़ोसी के रूप में चुना और वे पड़ोसी कितने करीब थे। जो आइटम कई अन्यों द्वारा एक करीबी पड़ोसी के रूप में बार-बार चुने गए, उन्हें उच्च स्कोर दिया गया, जो उन्हें अत्यधिक महत्वपूर्ण प्रतिनिधि के रूप में चिह्नित करता है। एल्गोरिदम फिर उच्चतम स्कोर वाले आइटम्स को अंतिम छोटा उपसमूह बनाने के लिए चुनता है। जैसे ही एक उच्च स्कोर वाला आइटम चुना जाता है, एल्गोरिदम उसे और उसके पड़ोसियों को पूल से हटा देता है, यह सुनिश्चित करता है कि चयनित समूह पूरे डेटासेट को बिना किसी अनावश्यक दोहराव के कुशलतापूर्वक कवर करे।
जब चार वास्तविक दुनिया के डेटासेट्स पर परीक्षण किया गया, जो वन आवरण प्रकारों से लेकर मूवी रेटिंग और क्रेडिट कार्ड डिफॉल्ट तक फैले हुए थे, तो इस नए दृष्टिकोण के परिणाम आश्चर्यजनक थे। नए तरीके ने एक छोटा प्रशिक्षण सेट तैयार किया जिसने मशीन लर्निंग मॉडल को मौजूदा सर्वोत्तम तरीकों के समान सटीकता प्राप्त करने की अनुमति दी। हालाँकि, दक्षता का अंतर नाटकीय था। नया तरीका पिछले अग्रणी तकनीकों की तुलना में 2.3 से 41.2 गुना तेज़ चला। और भी अधिक प्रभावशाली मेमोरी उपयोग में कमी थी। जहाँ पुराने तरीकों को दूरियों की विशाल टेबल स्टोर करने की आवश्यकता होती थी जो गीगाबाइट मेमोरी का उपभोग कर सकती थी, वहीं नए दृष्टिकोण ने केवल 0.3% से 7.5% मेमोरी का उपयोग किया। व्यावहारिक शब्दों में, इसका अर्थ यह है कि जिन कार्यों के लिए पहले महंगे, उच्च-स्तरीय सर्वरों की आवश्यकता होती थी, उन्हें अब बहुत छोटी, अधिक सुलभ मशीनों पर किया जा सकता है। शोधकर्ताओं ने पाया कि एक बहुत ही छोटे डेटा उपसमूह के साथ भी, मॉडल प्रभावी ढंग से सीखता है, और पूर्ण डेटासेट पर प्रशिक्षित होने की तुलना में बहुत तेजी से एक स्थिर समाधान तक पहुँचता है।
यह कार्य यह प्रदर्शित करता है कि वैश्विक तुलनाओं के बजाय स्थानीय संबंधों पर ध्यान केंद्रित करके, मशीन लर्निंग के लिए डेटा तैयार करने की प्रक्रिया को नाटकीय रूप से सरल बनाना संभव है। अध्ययन पुष्टि करता है कि सबसे महत्वपूर्ण डेटा बिंदुओं को खोजने के लिए आपको हर संभव दूरी की गणना करने की आवश्यकता नहीं है; एक स्मार्ट, स्थानीय मानचित्र पर्याप्त है। इस ग्राफ-आधारित रणनीति का उपयोग करके, शोधकर्ताओं ने दिखाया है कि पहले से आवश्यक मानी जाने वाली समय और संसाधनों के एक अंश के साथ उच्च-गुणवत्तापूर्ण मॉडल प्रशिक्षण प्राप्त किया जा सकता है। यह अधिक कुशल प्रशिक्षण प्रक्रियाओं के लिए द्वार खोलता है, जिससे जटिल मॉडलों को उन वातावरणों में विकसित और तैनात करना संभव हो जाता है जहाँ कंप्यूटिंग पावर सीमित है, बिना अंतिम परिणाम की गुणवत्ता से समझौता किए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।