Tight Bounds for Data-driven Multiple Hyper-parameter Tuning with Structured Loss Function

आधुनिक मशीन लर्निंग एक नाजुक संतुलन पर टिकी है। हर उस स्मार्ट एल्गोरिदम के पीछे जो चेहरे को पहचानता है, भाषा का अनुवाद करता है, या शेयर की कीमत की भविष्यवाणी करता है, हाइपरपैरामीटर्स (hyperparameters) नामक सेटिंग्स की एक छिपी हुई परत होती है। ये वे वेट्स (weights) नहीं हैं जिन्हें कंप्यूटर डेटा से सीखता है, बल्कि ये वे नियम हैं जो सीखने की प्रक्रिया शुरू होने से पहले मनुष्यों द्वारा निर्धारित किए जाते हैं। वे यह तय करते हैं कि मॉडल कितनी आक्रामकता से सीखेगा, उसे कितना याद रहेगा, और वह विभिन्न प्रकार की त्रुटियों के बीच कैसे संतुलन बनाएगा। इन सेटिंग्स का सही संयोजन चुनना अक्सर एक ऐसे उपकरण और एक विफल होने वाले उपकरण के बीच का अंतर होता है जो काम करता है। वर्षों से, इन सेटिंग्स को खोजने के लिए विज्ञान के बजाय एक कला की तरह माना जाता रहा है, जो परीक्षण और त्रुटि (trial and error) या लाखों यादृच्छिक संयोजनों का परीक्षण करने वाली ब्रूट-फोर्स खोजों पर निर्भर करता है। हालांकि यह दृष्टिकोण व्यवहार में अक्सर काम करता है, लेकिन इसमें इस बात की कोई गारंटी नहीं होती कि चुनी गई सेटिंग्स नए, अनदेखे डेटा पर अच्छा प्रदर्शन करेंगी।

अनुमान लगाने से आगे बढ़ने के लिए, शोधकर्ताओं ने इस ट्यूनिंग प्रक्रिया को एक सांख्यिकीय शिक्षण समस्या (statistical learning problem) के रूप में फ्रेम करना शुरू कर दिया है। लक्ष्य इस ट्यूनिंग प्रक्रिया को एक गणितीय चुनौती के रूप में देखना है जहाँ यह सिद्ध किया जा सके कि एक विशिष्ट चुनाव भविष्य की समस्याओं के लिए अच्छी तरह से सामान्यीकृत (generalize) होगा। हालाँकि, इन सेटिंग्स और अंतिम प्रदर्शन के बीच का संबंध अत्यंत जटिल है। यह अक्सर ऊबड़-खाबड़ और अप्रत्याशित होता है, जो एक सेटिंग के थोड़ा सा बदलने पर भी अचानक बदल जाता है। इस "नॉन-स्मूथ" (non-smooth) प्रकृति ने यह स्थापित करना अविश्वसनीय रूप से कठिन बना दिया है कि सर्वोत्तम सेटिंग्स खोजने के लिए कितने डेटा की आवश्यकता है। इन सीमाओं को मैप करने के पिछले प्रयास मानक गणितीय उपकरणों पर निर्भर थे, जो कठोर तो थे, लेकिन उनके अनुमान बहुत ही ढीले थे जो उपयोगी नहीं थे, जिससे सिद्धांत और अभ्यास के बीच एक अंतर रह गया था।

कार्नेगी मेलन यूनिवर्सिटी और द चाइनीज यूनिवर्सिटी ऑफ हांगकांग के शोधकर्ताओं की एक टीम ने अब इस अंतर को पाट दिया है। उन्होंने एक नया गणितीय ढांचा विकसित किया है जो इन सेटिंग्स को ट्यून करने की जटिलता पर बहुत सटीक और कड़े सीमाएँ प्रदान करता है। उनका कार्य सिद्ध करता है कि मशीन लर्निंग की विस्तृत श्रृंखला के लिए, इष्टतम सेटिंग्स खोजने के लिए आवश्यक डेटा पहले की तुलना में बहुत कम है, बशर्ते कि सही विश्लेषणात्मक दृष्टिकोण का उपयोग किया जाए। पुराने, कुंद उपकरणों के स्थान पर एक अधिक परिष्कृत ज्यामितीय विधि का उपयोग करके, उन्होंने दिखाया है कि स्वचालित ट्यूनिंग के लिए सैद्धांतिक बाधाएं उतनी ऊंची नहीं हैं जितनी मानी जाती थीं, जो विश्वसनीय, स्व-ट्यूनिंग एल्गोरिदम की ओर एक स्पष्ट मार्ग प्रदान करती हैं।

समस्या का मूल इस बात में निहित है कि कंप्यूटर कैसे तय करता है कि कौन सी सेटिंग्स सबसे अच्छी हैं। यह प्रक्रिया दो चरणों वाला एक नृत्य है: पहले, कंप्यूटर प्रशिक्षण सेट पर त्रुटियों को कम करने के लिए मॉडल पैरामीटर्स चुनता है; दूसरा, वह मूल्यांकन करता है कि वे पैरामीटर्स एक अलग वैलिडेशन सेट पर कैसा प्रदर्शन करते हैं। अंतिम स्कोर पहले चरण पर निर्भर करता है, लेकिन लक्ष्य दूसरे चरण का है। यह एक छिपी हुई निर्भरता बनाता है जहाँ परिणाम सुचारू वक्रों के बजाय अचानक उछाल के साथ बदलते हैं। इस कार्य की कठिनाई को समझने के लिए, शोधकर्ताओं ने "स्यूडो-डायमेंशन" (pseudo-dimension) को देखा, जो इस बात का माप है कि एक प्रणाली कितने अलग-अलग तरीकों से व्यवहार कर सकती है। उच्च आयाम का अर्थ है कि प्रणाली अधिक जटिल है और इसे सीखने के लिए अधिक डेटा की आवश्यकता है। पिछले अध्ययनों ने इस आयाम की गणना करने के लिए 'क्वांटिफायर एलिमिनेशन' (quantifier elimination) नामक एक मानक तकनीक का उपयोग किया, जो अनिवार्य रूप से छिपे हुए चरों को हटाकर अंतिम परिणाम को देखती है। हालाँकि, यह विधि जटिलता को बहुत अधिक आंकती है, जिससे अनावश्यक बीजगणितीय पदों का कोहरा छा जाता है जो समस्या को वास्तविक स्थिति से कहीं अधिक कठिन बना देता है।

शोधकर्ताओं ने 'नेस्टेड ब्लॉक एलिमिनेशन' (nested block elimination) नामक एक तकनीक पेश करके इस समस्या को हल किया। पूरी समस्या को एक साथ हल करने के बजाय, उन्होंने इसे परतों में विभाजित किया, उन जुड़े हुए क्षेत्रों का विश्लेषण किया जहाँ व्यवहार सुसंगत रहता है। कल्पना कीजिए कि आप एक परिदृश्य को घास के हर एक तिनके को गिनकर नहीं, बल्कि उन विशिष्ट पहाड़ियों और घाटियों की पहचान करके देख रहे हैं जहाँ भूभाग समान है। इन जुड़े हुए क्षेत्रों को ट्रैक करके, टीम ने उस टोपोलॉजिकल ओवर-काउंटिंग (topological over-counting) से बचने में सफलता प्राप्त की जो पिछले तरीकों में बाधा बन रही थी। उन्होंने प्रदर्शित किया कि इन इनवेरिएंट (invariant) क्षेत्रों पर ध्यान केंद्रित करके, वे जटिलता पर एक बहुत ही सटीक सीमा प्राप्त कर सकते हैं। यह नई सीमा केवल एक मामूली सुधार नहीं है; यह एक मौलिक सुदृढ़ीकरण है जो समीकरण से बढ़े हुए कारकों को हटा देता है, जिससे पता चलता है कि वास्तविक जटिलता काफी कम है।

यह सुनिश्चित करने के लिए कि उनकी नई सीमाएं केवल आशावादी अनुमान नहीं थीं, टीम ने यह सिद्ध करने के लिए विशिष्ट उदाहरण भी बनाए कि उनके बाउंड्स (bounds) जितने संभव हो सके उतने सटीक हैं। उन्होंने दिखाया कि विभिन्न परिदृश्यों में, समस्या की जटिलता ठीक वैसे ही बढ़ती है जैसा कि उनके नए सूत्र भविष्यवाणी करते हैं। इस दोहरे दृष्टिकोण—एक सख्त ऊपरी सीमा को सिद्ध करने और फिर यह प्रदर्शित करने कि सीमा को और कम नहीं किया जा सकता—ने पुष्टि की कि उनका गणितीय विवरण समस्या की वास्तविक प्रकृति को पकड़ता है। उनके निष्कर्ष मशीन लर्निंग कार्यों के एक व्यापक वर्ग पर लागू होते हैं, जिसमें वे कार्य भी शामिल हैं जहाँ प्रशिक्षण और वैलिडेशन लक्ष्य अलग-अलग होते हैं, जो एक सामान्य वास्तविक दुनिया का परिदृश्य है। उन्होंने अपने ढांचे को अधिक जटिल संरचनाओं, जैसे कि उन्नत रिग्रेशन मॉडल में उपयोग किए जाने वाले ग्रुप-आधारित दंड (group-based penalties) को संभालने के लिए विस्तारित किया, यह दिखाते हुए कि उनका तरीका तब भी काम करता है जब अंतर्निहित गणित गैर-पॉलीनोमियल आकृतियों (non-polynomial shapes) से जुड़ा हो।

इस कार्य के निहितार्थ ऑटोमेटेड मशीन लर्निंग के भविष्य के लिए महत्वपूर्ण हैं। ट्यूनिंग की सांख्यिकीय जटिलता को पहले की धारणा से कम स्थापित करके, शोधकर्ता डेटा-संचालित एल्गोरिदम डिजाइन के लिए एक मजबूत सैद्धांतिक आधार प्रदान करते हैं। इसका अर्थ यह है कि व्यवहार में, हमें एक एल्गोरिदम को प्रभावी ढंग से खुद को ट्यून करने के लिए प्रशिक्षित करने हेतु बहुत कम उदाहरणों की आवश्यकता हो सकती है। यह अध्ययन इस समस्या को तुरंत हल करने का दावा नहीं करता है, बल्कि यह एक प्रमुख सैद्धांतिक अनिश्चितता को दूर करता है। यह पुष्टि करता है कि स्व-ट्यूनिंग प्रणालियों के प्रदर्शन की गारंटी देने के लिए आवश्यक उपकरण मौजूद हैं और वे उम्मीद से कहीं अधिक कुशल हैं। आर्टिफिशियल इंटेलिजेंस के क्षेत्र के लिए, यह अनुभवजन्य परीक्षण-और-त्रुटि (trial-and-error) से एक प्रमाणित गारंटी वाले अनुशासन की ओर बढ़ने की दिशा में एक महत्वपूर्ण कदम है, जो यह सुनिश्चित करता है कि हमारे द्वारा बनाए गए एल्गोरिदम केवल भाग्यशाली नहीं, बल्कि विश्वसनीय रूप से सुदृढ़ हैं।