तकनीकी सारांश: सामान्यीकरण सीमाओं में रिजीम-आगमन अनिश्चितता (Regime-Arrival Uncertainty)

समस्या विवरण

सांख्यिकीय शिक्षण सिद्धांत (statistical learning theory) में मानक सामान्यीकरण सीमाएँ (generalization bounds) इस धारणा पर आधारित हैं कि प्रशिक्षण और परिनियोजन (deployment) डेटा एक ही, स्थिर वितरण से उत्पन्न होता है। यह धारणा वास्तविक दुनिया के अनुप्रयोगों (जैसे, क्लिनिकल रिस्क मॉडलिंग, घुसपैठ का पता लगाना, स्वायत्त प्रणालियाँ) में अक्सर विफल हो जाती है जहाँ अंतर्निहित वातावरण समय के साथ संरचनात्मक परिवर्तनों के माध्यम से विकसित होता है। विशेष रूप से, मौजूदा सिद्धांत उन वातावरणों को पर्याप्त रूप से संबोधित नहीं करते हैं जहाँ प्रशिक्षण अवधि और भविष्य की परिनियोजन अवधि के बीच "शांत" (calm) बनाम "संकट" (crisis) अवस्थाओं का अनुपात भिन्न होता है। मुख्य समस्या यह मात्रा निर्धारित करना है कि जब वितरण परिवर्तन एक मार्कोव-स्विचिंग प्रक्रिया (Markov-switching process) का पालन करते हैं, तो यह रिजीम संरचना बेमेल (regime composition mismatch) कितना अतिरिक्त जोखिम उत्पन्न करता है।

कार्यप्रणाली

यह शोध पत्र 'लेटेंट रिजीम डायनेमिक्स' (latent regime dynamics) पर आधारित एक सैद्धांतिक ढांचे का प्रस्ताव करता है, जो वातावरण को एक दो-अवस्था वाले मार्कोव चेन ($Z_t \in \{0, 1\}$) के रूप में मॉडल करता है, जो शांत और संकट के रिजीम का प्रतिनिधित्व करता है।

1. सैद्धांतिक ढांचा

• रिजीम अपघटन (Regime Decomposition): प्रशिक्षण वितरण को एक मिश्रण $P_{mix} = (1-\pi)P_0 + \pi P_1$ के रूप में मॉडल किया गया है, जहाँ $\pi$ ऐतिहासिक संकट अंश (historical crisis fraction) है। भविष्य का परिनियोजन वितरण (वर्तमान स्थिति शांत होने की शर्त पर) $P_{future} = p_{00}P_0 + p_{01}P_1$ है, जहाँ $p_{01}$ संकट के रिजीम में संक्रमण की संभावना (transition probability) है।
• सटीक अपघटन (Lemma 4.1): लेखक सामान्यीकरण अंतराल (generalization gap) के लिए एक सटीक पहचान व्युत्पन्न करते हैं:
  $$R_{future}(f) - R_{mix}(f) = (p_{01} - \pi)(R_1(f) - R_0(f))$$
  यह अंतराल को एक संरचना बेमेल पद ($p_{01} - \pi$) और एक रिजीम संवेदनशीलता पद ($R_1 - R_0$) में विभाजित करता है।
• रिजीम संवेदनशीलता सीमा: संवेदनशीलता पद को $H\Delta H$-डाइवर्जेंस (Ben-David et al., 2010) का उपयोग करके सीमित किया गया है, जो टोटल वेरिएशन (Total Variation) दूरी की तुलना में अधिक सटीक और अनुमान लगाने योग्य है। यह सीमा एक अनुकूलन क्षमता पद $\lambda_{01}$ को शामिल करती है।
• आश्रित डेटा हैंडलिंग: अस्थायी निर्भरता को ध्यान में रखने के लिए, यह ढांचा लर्निंग थ्योरी को जियोमेट्रिकल $\beta$-मिक्सिंग अनुक्रमों (Yu, 1994) तक विस्तारित करता है। यह ट्रांजिशन मैट्रिक्स के स्पेक्ट्रल गैप के आधार पर एक प्रभावी नमूना आकार ($n_{eff}$) को स्पष्ट रूप से व्युत्पन्न करता है, जिससे रिजीम की निरंतरता (persistence) बढ़ने पर नमूना आकार कम हो जाता है।
• अनुमान (Estimation): दंड घटकों (penalty components) का अनुमान निम्नलिखित का उपयोग करके लगाया जाता है:
  • प्रशिक्षण विंडो से प्राप्त अनुभवजन्य संकट अंश (empirical crisis fractions)।
  • अनलेबल फीचर्स से $H\Delta H$-डाइवर्जेंस का अनुमान लगाने के लिए एक डोमेन क्लासिफायर।
  • ट्रांजिशन मैट्रिक्स से प्राप्त मिक्सिंग स्थिरांक (mixing constants)।

2. सैद्धांतिक सीमाएँ

• ऊपरी सीमा (Theorem 4.13): भविष्य के जोखिम पर एक परिमित-नमूना, उच्च-संभाव्यता ऊपरी सीमा (finite-sample, high-probability upper bound) का निर्माण एक मिक्सिंग-अवेयर रेडमेकर कॉम्प्लेक्सिटी बाउंड के साथ श्रृंखला बनाकर किया गया है।
• निचली सीमा (Theorem 4.15): शुद्ध शांत-अवस्था प्रशिक्षण ($\pi=0$) के लिए एक मिनिमैक्स निचली सीमा (Le Cam शैली) स्थापित की गई है। यह सिद्ध करता है कि कम से कम $p_{01} \cdot \frac{1}{2}d_{H\Delta H}$ का अतिरिक्त जोखिम अपरिहार्य (irreducible) है, चाहे नमूना आकार कुछ भी हो, क्योंकि शिक्षार्थी संकट के नमूनों को देखे बिना विभिन्न संकट संसारों के बीच अंतर नहीं कर सकता है।

मुख्य योगदान

1. रिजीम बेमेल का सटीक अपघटन: शोध पत्र एक कठोर बीजगणितीय अपघटन प्रदान करता है जो यह दर्शाता है कि रिजीम स्विचिंग के तहत सामान्यीकरण अंतराल, रिजीम संरचना में बेमेल और मॉडल की रिजीम परिवर्तनों के प्रति संवेदनशीलता का गुणनफल है।
2. रिजीम-आगमन अनिश्चितता: ढांचा प्रदर्शित करता है कि जबकि संकट के रिजीम की ज्यामिति (विशेषता विभेद्यता) का पता लगाया जा सकता है, अस्थायी आगमन (संक्रमण संभावना $p_{01}$) का विश्वसनीय पूर्वानुमान नहीं लगाया जा सकता है।
3. जोखिम की अपरिहार्यता: यह स्थापित करता है कि शुद्ध शांत-अवस्था प्रशिक्षण के तहत, रिजीम बेमेल के कारण होने वाला दंड एक मौलिक सीमा है, न कि विश्लेषण की कोई त्रुटि। बिना संकट के नमूनों को देखे, कोई भी एल्गोरिद्मिक सुधार इस जोखिम को समाप्त नहीं कर सकता।
4. आश्रित डेटा का विस्तार: सीमाओं को $\beta$-मिक्सिंग डेटा के साथ प्रभावी नमूना आकार सुधारों के साथ विस्तारित किया गया है, जो डोमेन अनुकूलन (domain adaptation) और आश्रित लर्निंग थ्योरी के बीच के अंतर को पाटता है।

अनुभवजन्य परिणाम

ढांचे को दो डेटासेट्स पर मान्य किया गया था:

1. सिंथेटिक डेटा: ज्ञात रिजीम डायनेमिक्स और गाऊसी विशेषताओं वाला एक नियंत्रित वातावरण।
2. वास्तविक दुनिया का डेटा: 10 वैश्विक इक्विटी इंडेक्स (2000-2025) के लिए 25 वर्षों के दैनिक क्लोजिंग प्राइसेस। रिजीम को लॉग-रिटर्न्स और रियलाइज्ड वोलैटिलिटी पर एक हिडन मार्कोव मॉडल (HMM) का उपयोग करके निकाला गया था।

निष्कर्ष:

• एक्स पोस्ट वैलिडेशन (Ex Post Validation): जब दंड की गणना वास्तविक भविष्य के संकट अंश का उपयोग करके की जाती है (जो परिनियोजन के बाद ही उपलब्ध होता है), तो यह वास्तविक सामान्यीकरण अंतराल के साथ उच्च सहसंबंध ($\rho = 0.729$ वास्तविक डेटा पर, $\rho = 0.716$ सिंथेटिक डेटा पर) दिखाता है। लेम्मा 4.1 से प्राप्त सटीक पहचान संख्यात्मक सटीकता के साथ बनी रहती है।
• एक्स एंटे विफलता (Ex Ante Failure): जब दंड का अनुमान केवल प्रशिक्षण डेटा का उपयोग करके लगाया जाता है (भविष्य के अंश को अनुमानित ट्रांजिशन संभावना $\hat{p}_{01}$ से बदलकर), तो वास्तविक अंतराल के साथ सहसंबंध लुप्त हो जाता ($\rho \approx 0.084$, 95% CI शून्य को शामिल करता है)।
• रिजीम विभेद्यता (Regime Distinguishability): आगमन के पूर्वानुमान में विफलता के बावजूद, डोमेन क्लासिफायर लगभग पूर्ण सटीकता के साथ शांत और संकट के रिजीम को अलग कर सका ($\frac{1}{2}\hat{d}_{H\Delta H} \approx 0.93$), जो पुष्टि करता है कि फीचर ज्यामिति विशिष्ट है लेकिन समय अनिश्चित है।

महत्व और दावे

यह शोध पत्र स्वयं को एक पूर्वानुमान उपकरण के रूप में नहीं, बल्कि तैनाती विफलताओं को समझने के लिए एक नैदानिक उपकरण (diagnostic instrument) के रूप में प्रस्तुत करता है।

• समस्या का पुनर्निर्धारण: लेखक तर्क देते हैं कि मॉडल विफलता के प्रति मानक प्रतिक्रिया (आर्किटेक्चर या रेगुलराइजेशन को दोष देना) संरचनात्मक रूप से अधूरी है। सामान्यीकरण अंतराल अक्सर वातावरण के रिजीम टाइमिंग ($p_{01}$) द्वारा संचालित होता है, जो एल्गोरिदम के नियंत्रण से बाहर है।
• नैदानिक उपयोगिता: यह ढांचा चिकित्सकों को "पोस्ट-होक विफलता ऑडिट" करने की अनुमति देता है। यह पुष्टि करके कि दंड तंत्र वास्तविक है और अपघटन सटीक है, यह उस संरचनात्मक जोखिम को अलग करने में मदद करता है जिसे मॉडल सुधार द्वारा समाप्त नहीं किया जा सकता है।
• सीमाएँ: लेखक स्पष्ट रूप से कहते हैं कि ढांचा भविष्य के रिजीम संरचना के पूर्वानुमान की समस्या को हल नहीं करता है। "एस्केप कंडीशन" (जहाँ प्रशिक्षण संरचना भविष्य के संक्रमण संभावना से मेल खाती है) गणितीय रूप से पहचानी गई है, लेकिन ऐतिहासिक विंडो से अनुभवजन्य रूप से अप्राप्य है। यह ढांचा रेखांकित करता है कि गैर-स्थिरता (non-stationarity) के तहत सांख्यिकीय शिक्षण सुरक्षा मौलिक रूप से एक रिजीम-टाइमिंग समस्या है, न कि केवल एक एल्गोरिद्मिक अनुकूलन समस्या।