Adaptive Measurement Allocation for Learning Kernelized SVMs Under Noisy Observations

तकनीकी सारांश: शोर वाले अवलोकनों के तहत लर्निंग कर्नलाइज्ड SVMs के लिए अनुकूली मापन आवंटन (Adaptive Measurement Allocation)

समस्या का निरूपण
कर्नेल विधियाँ, विशेष रूप से सपोर्ट वेक्टर मशीनें (SVMs), पारंपरिक रूप से इस धारणा के तहत तैयार की जाती हैं कि ग्राम मैट्रिक्स (कर्नेल मैट्रिक्स) सटीक, शोर-मुक्त परिशुद्धता के साथ उपलब्ध है। हालाँकि, उभरते हुए डोमेन जैसे कि क्वांटम मशीन लर्निंग (QML) में, कर्नेल प्रविष्टियों (entries) की गणना क्लोज्ड-फॉर्म फंक्शन के माध्यम से नहीं की जा सकती है। इसके बजाय, उन्हें शोर वाले अवलोकनों से अनुमानित किया जाना चाहिए, जो आमतौर पर पैरामीटराइज्ड क्वांटम सर्किट के बार-बार किए गए बर्नौली (Bernoulli) या मल्टीनोमियल शॉट्स के रूप में मॉडल किए जाते हैं। इन सेटिंग्स में, एक कर्नेल प्रविष्टि $K_{ij}$ की सटीकता उस पर आवंटित मापन शॉट्स ($N_{ij}$) की संख्या द्वारा सीधे निर्धारित होती है।

मुख्य चुनौती एक सीमित वैश्विक मापन बजट ($N_{tot}$) को $O(n^2)$ स्वतंत्र कर्नेल प्रविष्टियों के बीच आवंटित करना है। साहित्य में मानक दृष्टिकोण समान आवंटन (uniform allocation) है, जहाँ प्रत्येक प्रविष्टि को शॉट्स की समान संख्या प्राप्त होती है। समान आवंटन सभी प्रविष्टियों के बीच अधिकतम विचरण (variance) को कम करता है और सममित त्रुटि वितरण सुनिश्चित करता है, लेकिन यह "कार्य-अज्ञेय" (task-agnostic) है। यह विफल रहता है क्योंकि यह ग्राम मैट्रिक्स पर अत्यधिक गैर-समान निर्भरता को ध्यान में नहीं रखता है। विशेष रूप से, SVM समाधान मुख्य रूप से प्रशिक्षण बिंदुओं के एक विरल (sparse) उपसमुच्चय (सपोर्ट वेक्टर्स) और उनकी अंतःक्रियाओं द्वारा निर्धारित होता है। फलस्वरूप, समान अनुमान स्वाभाविक रूप से SVM के लिए इष्टतम नहीं है, क्योंकि यह उन कर्नेल प्रविष्टियों पर संसाधनों को बर्बाद करता है जिनका निर्णय सीमा (decision boundary) पर नगण्य प्रभाव पड़ता है, जबकि महत्वपूर्ण क्षेत्रों में अपर्याप्त नमूनाकरण (under-sampling) करता है।

कार्यप्रणाली
लेखक एक कार्य-जागरूक अनुकूली मापन-आवंटन रणनीति (task-aware adaptive measurement-allocation strategy) प्रस्तावित करते हैं, जिसे शोर वाले बर्नौली अवलोकनों से लर्निंग कर्नलाइज्ड SVMs सीखने के लिए डिज़ाइन किया गया है। यह विधि इस सिद्धांत पर कार्य करती है कि मापन संसाधनों को कर्नेल मैट्रिक्स के उन क्षेत्रों में केंद्रित किया जाना चाहिए जो क्लासिफायर की ज्यामिति और स्थिरता के लिए सबसे महत्वपूर्ण हैं।

यह दृष्टिकोण दो पूरक संकेतों पर आधारित है:

1. ज्यामितीय संवेदनशीलता (Geometric Sensitivity): यह एक कर्नेल प्रविष्टि $K_{ij}$ का वर्ग मार्जिन $\|w\|^2$ पर प्रथम-क्रम प्रभाव को कैप्चर करता है। एनवेलप प्रमेय (envelope theorem) का उपयोग करते हुए, संवेदनशीलता को $\alpha_i \alpha_j y_i y_j$ के समानुपाती के रूप में निकाला गया है, जहाँ $\alpha$ डुअल गुणांक (dual coefficients) हैं। सपोर्ट वेक्टर्स (जहाँ $\alpha > 0$) से जुड़ी प्रविष्टियों का मार्जिन पर सीधा, गैर-शून्य प्रभाव होता है, जबकि नॉन-सपोर्ट वेक्टर्स का शून्य प्रथम-क्रम प्रभाव होता है।
2. एक्टिव-सेट अस्थिरता (Active-Set Instability): यह क्लासिफायर में असतत संरचनात्मक परिवर्तनों की संभावना को मापता है, विशेष रूप से इस बात की संभावना कि एक डेटा बिंदु मापन शोर के कारण सपोर्ट-वेक्टर सेट में प्रवेश करेगा या उससे बाहर निकलेगा। इसे मार्जिन रेसिडुअल $\Delta_i = y_i f(x_i) - 1$ के शून्य को पार करने की संभावना का अनुमान लगाकर मॉडल किया गया है, जिसे निर्णय फलन (decision function) के विचरण और मानक सामान्य CDF का उपयोग करके अनुमानित किया जाता है।

एल्गोरिदम ढांचा
प्रस्तावित एल्गोरिदम एक बहु-चरण अनुकूली लूप में आगे बढ़ता है:

• पायलट चरण (Pilot Phase): एक प्रारंभिक कर्नेल अनुमान $\hat{K}^{(0)}$ और एक प्रारंभिक SVM को प्रशिक्षित करने के लिए सभी प्रविष्टियों को शॉट्स की एक छोटी, समान संख्या आवंटित की जाती है। यह सपोर्ट-वेक्टर सेट और डुअल गुणांकों के मोटे अनुमान प्रदान करता है।
• अनुकूली चरण (Adaptive Rounds): प्रत्येक आगामी दौर में, एल्गोरिदम प्रत्येक कर्नेल प्रविष्टि के लिए एक युग्मवार आवंटन स्कोर $s_{ij}$ की गणना करता है। यह स्कोर ज्यामितीय संवेदनशीलता ($|\alpha_i \alpha_j y_i y_j|$) और एक्टिव-सेट अस्थिरता ($P_i P_j$) को जोड़ता है, जिसे एक पैरामीटर $\lambda$ द्वारा भारित (weighted) किया जाता है। इन स्कोरों को सांख्यिकीय रूप से अनिश्चित प्रविष्टियों को प्राथमिकता देने के लिए बर्नौली विचरण शब्द द्वारा और अधिक मॉड्युलेट किया जाता है।
• संसाधन पुनर्वितरण (Resource Reallocation): शेष बजट का एक हिस्सा इन स्कोरों के अनुपात में मल्टीनोमियल सैंपलिंग के माध्यम से वितरित किया जाता है, जिससे पूर्णांक शॉट काउंट सुनिश्चित होता है। कर्नेल अनुमान को अपडेट किया जाता है, और SVM को फिर से प्रशिक्षित किया जाता है।
• अर्ली स्टॉपिंग (Early Stopping): यह प्रक्रिया तब तक समाप्त हो जाती है जब तक कि कुल बजट समाप्त नहीं हो जाता या डुअल गुणांक स्थिर नहीं हो जाते (राउंडों के बीच $y_i \alpha_i$ के सापेक्ष परिवर्तन द्वारा मापा जाता है)। यह मानदंड एल्गोरिदम को प्रभावी ढंग से समाप्त होने की अनुमति देता है जब तक कि क्लासिफायर अभिसरित (converge) हो जाए, जिससे अनावश्यक मापन से बचा जा सके।

प्रमुख योगदान

1. कार्य-जागरूक सूत्रीकरण (Task-Aware Formulation): शोध पत्र मापन आवंटन को केवल एक अलग अनुमान समस्या के रूप में नहीं, बल्कि SVM लर्निंग पाइपलाइन के एक अभिन्न अंग के रूप में प्रस्तुत करता है, जो स्पष्ट रूप से कर्नेल प्रविष्टियों पर क्लासिफायर की गैर-समान निर्भरता को उजागर करता है।
2. नवीन आवंटन मानदंड (Novel Allocation Criterion): लेखक एक मानदंड पेश करते हैं जो मार्जिन संवेदनशीलता और एक्टिव-सेट अस्थिरता को जोड़ता है। यह ग्रेडिएंट-आधारित आवंटन रणनीतियों (जैसे कि एडेप्टिव क्वांटम कर्नेल एलोकेशन में उपयोग की जाने वाली) के लिए एक व्याख्या योग्य विकल्प प्रदान करता है, जो सीधे SVM निर्णय सीमा को लक्षित करता है।
3. सैद्धांतिक विश्लेषण: कार्य एक सैद्धांतिक विश्लेषण प्रदान करता है जो दिखाता है कि अनुकूली आवंटन का लाभ प्रेरित कर्नेल महत्व संरचना की विषमता (heterogeneity) द्वारा नियंत्रित होता है। यह दो विशिष्ट शासन (regimes) की पहचान करता है:
   • उच्च-संरचना शासन (High-Structure Regime): जहाँ डुअल गुणांक विरल होते हैं और वेट्स विषम (heterogeneous) होते हैं, वहाँ अनुकूली आवंटन समान नमूनाकरण की तुलना में काफी बेहतर प्रदर्शन करता है।
   • निम्न-संरचना शासन (Low-Structure Regime): जहाँ समाधान लगभग समान होता है, वहाँ अनुकूलन के लाभ कम हो जाते हैं, और अनुमान शोर के विरुद्ध अपनी मजबूती के कारण समान आवंटन अधिक उपयुक्त हो सकता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक डेटासेट और वास्तविक दुनिया के क्वांटम कर्नेल (इंडियन पाइन्स डेटासेट से प्राप्त) पर व्यापक प्रयोगों से पता चलता है कि अनुकूली रणनीति निश्चित बजट के तहत सपोर्ट-वेक्टर रिकवरी, मार्जिन अनुमान और निर्णय-फलन सटीकता में सुधार करती है।

परिणाम और प्रदर्शन

• निश्चित-बजट प्रदर्शन: निश्चित मापन बजट के तहत, अनुकूली रणनीति कार्य-प्रासंगिक मेट्रिक्स (SV-ब्लॉक RMSE, सपोर्ट-वेक्टर रिकवरी, और निर्णय-फंक्शन त्रुटि) में समान आवंटन की तुलना में लगातार बेहतर प्रदर्शन करती है, यहाँ तक कि पहले रिफाइनमेंट राउंड के बाद भी। उल्लेखनीय रूप से, जबकि समान आवंटन अक्सर सभी प्रविष्टियों पर कम वैश्विक कर्नेल पुनर्निर्माण त्रुटि (RMSE) प्राप्त करता है, यह उन विशिष्ट प्रविष्टियों पर खराब प्रदर्शन करता है जो क्लासिफायर को निर्धारित करती हैं।
• अर्ली स्टॉपिंग: डुअल-गुणांक स्थिरता मानदंड एल्गोरिदम को जल्दी समाप्त करने में सक्षम बनाता है, जो अक्सर कुल मापन बजट का केवल एक अंश (जैसे, ~16%) उपयोग करते हुए भी पूर्ण बजट वाले समान नमूनाकरण के बराबर या बेहतर प्रदर्शन प्राप्त करता है।
• क्वांटम कर्नेल शासन: क्वांटम कर्नेल पर प्रयोग सिस्टम के आकार (क्यूबिट संख्या) के आधार पर तीन-चरणीय व्यवहार प्रकट करते हैं:
  • लो-क्यूबिट: कमजोर संरचनात्मक विभेदन के कारण समान नमूनाकरण प्रतिस्पर्धी है।
  • इंटरमीडिएट-क्यूबिट: अनुकूली आवंटन पर्याप्त लाभ देता है क्योंकि कर्नेल एक संरचित, विषम SVM समाधान प्रेरित करता है।
  • हाई-क्यूबिट: कर्नेल एकाग्रता प्रभाव (concentration effects) दोनों विधियों के लिए सिग्नल को कम कर देते हैं, हालांकि अनुकूली आवंटन संसाधन उपयोग में अधिक कुशल रहता है।
• लागत दक्षता: शोध पत्र क्वांटम मापन लागत और क्लासिकल रिट्रेनिंग ओवरहेड के बीच के व्यापार-बंद (trade-off) का विश्लेषण करता है। यह निष्कर्ष निकालता है कि विशिष्ट QML सेटिंग्स में (जहाँ मापन लागत उच्च है और डेटासेट का आकार मध्यम है), अनुकूली योजना एक दोहरा लाभ प्रदान करती है: बेहतर क्लासिफायर फिडेलिटी और कम समग्र कम्प्यूटेशनल लागत।

महत्व
यह शोध पत्र शोर वाले कर्नेल्स के साथ सीखने के लिए समान नमूनाकरण के एक सिद्धांतपूर्ण और प्रभावी विकल्प के रूप में अनुकूली मापन आवंटन को स्थापित करता है। वैश्विक अनुमान त्रुटि को कम करने के बजाय विशिष्ट लर्निंग टास्क (SVM वर्गीकरण) पर शोर के प्रभाव को कम करने पर ध्यान केंद्रित करके, प्रस्तावित विधि क्लासिफायर फिडेलिटी और कम्प्यूटेशनल दक्षता में महत्वपूर्ण सुधार प्रदान करती है। यह कार्य क्वांटम मशीन लर्निंग के लिए विशेष रूप से महत्वपूर्ण है, जहाँ मापन संसाधन दुर्लभ हैं और कर्नेल एकाग्रता जैसी घटनाएँ गंभीर चुनौतियाँ पेश करती हैं। परिणाम बताते हैं कि "स्मार्ट" आवंटन रणनीतियाँ कर्नेल-आधारित लर्निंग के ऑपरेटिंग शासन को बढ़ा सकती हैं, जिससे उन परिदृश्यों में सार्थक प्रशिक्षण संभव हो जाता जहाँ समान नमूनाकरण विफल हो जाता या अत्यधिक महंगा होता।