Information-Geometric Decomposition of Generalization Error in Unsupervised Learning

यहाँ गिलहान किम के शोध पत्र "Information-Geometric Decomposition of Generalization Error in Unsupervised Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र अनसुपरवाइज्ड लर्निंग (unsupervised learning) में जनरलाइजेशन एरर (Generalization Error - GE) को न्यूनतम करने के लिए इष्टतम मॉडल जटिलता (optimal model complexity) की पहचान करने की मौलिक चुनौती को संबोधित करता है।

• संदर्भ: सुपरवाइज्ड लर्निंग में, बायस-वेरिएंस ट्रेडऑफ़ (bias-variance tradeoff) एक मानक ढांचा है। हालाँकि, अनसुपरवाइज्ड लर्निंग के लिए (जहाँ लक्ष्य एक पूर्ण संभाव्यता वितरण $P$ का अनुमान लगाना है न कि केवल एक कंडीशनल मीन का), GE का व्याख्यात्मक घटकों में एक कठोर अपघटन (decomposition) पहले उपलब्ध नहीं था।
• अंतराल (Gap): एक पूर्व अनुभवजन्य अवलोकन ने दो-घटक ट्रेडऑफ़ ($GE = \text{Model Error} + \text{Data Error}$) का सुझाव दिया था, लेकिन इसमें प्रथम सिद्धांतों से कोई सैद्धांतिक व्युत्पत्ति (theoretical derivation) नहीं थी। विशेष रूप से, यह स्पष्ट नहीं था कि क्या "डेटा एरर" को फाइनाइट-सैंपल बायस (finite-sample bias) और स्टोकेस्टिक वेरिएंस (stochastic variance) में विभाजित किया जा सकता है, और क्या ऐसा अपघटन इष्टतम मॉडल जटिलता के लिए क्लोज्ड-फॉर्म समाधान दे सकता है।
• क्षेत्र (Scope): यह विश्लेषण फुली विज़िबल जेनेरेटिव मॉडल्स (बिना हिडन वेरिएबल्स के), विशेष रूप से इन्फॉर्मेशन ज्योमेट्री (Information Geometry) के ढांचे के भीतर केंद्रित है।

2. कार्यप्रणाली (Methodology)

लेखक परिणामों को व्युत्पन्न करने के लिए इन्फॉर्मेशन ज्योमेट्री और रैंडम मैट्रिक्स थ्योरी (Random Matrix Theory) के संयोजन का उपयोग करते हैं।

A. इन्फॉर्मेशन-जियोमेट्रिक अपघटन (Information-Geometric Decomposition)

मुख्य सैद्धांतिक योगदान वास्तविक वितरण $P$ और प्रशिक्षित मॉडल $Q_m$ के बीच अपेक्षित कुलबैक-लीब्लर (KL) डाइवर्जेंस का अपघटन है:
$$\langle D_{KL}(P \parallel Q_m) \rangle_m = \underbrace{D_{KL}(P \parallel Q_0)}_{\text{Model Error (ME)}} + \underbrace{D_{KL}(Q_0 \parallel \bar{Q})}_{\text{Data Bias}} + \underbrace{\langle D_{KL}(\bar{Q} \parallel Q_m) \rangle_m}_{\text{Variance}}$$

• $Q_0$: मॉडल मैनिफोल्ड $\mathcal{M}$ पर $P$ का $m$-प्रोजेक्शन (मॉडल क्लास के भीतर सबसे अच्छा संभव फिट)।
• $\bar{Q}$: प्रशिक्षित मॉडल्स $\{Q_m\}$ का $e$-मिक्सचर (जियोमेट्रिक मीन), जो "औसत" प्रशिक्षित मॉडल का प्रतिनिधित्व करता है।
• शर्तें: यह सटीक, गैर-ऋणात्मक अपघटन तब सख्ती से लागू होता है जब मॉडल मैनिफोल्ड $\mathcal{M}$, $e$-फ्लैट (e-flat) (नेचुरल पैरामीटर्स में एक एक्सपोनेंशियल फैमिली) हो।
• बाधा (Obstruction): हिडन वेरिएबल्स या नॉन-लीनियर कंस्ट्रेंट्स वाले मॉडल्स (जैसे रैंक-कंस्ट्रेंड PCA) के लिए, मैनिफोल्ड $e$-फ्लैट नहीं होता है, और "डेटा बायस" टर्म का गैर-ऋणात्मक होना सुनिश्चित नहीं है।

B. $\epsilon$-PCA मॉडल

सिद्धांत को विश्लेषणात्मक रूप से प्रदर्शित करने के लिए, शोध पत्र $\epsilon$-PCA पेश करता है, जो ज़ीरो-मीन गौसियन डेटा के लिए एक रेगुलराइज्ड प्रिंसिपल कंपोनेंट एनालिसिस है:

• तंत्र (Mechanism): एम्पीरिकल कोवेरियेंस मैट्रिक्स को रैंक $N_K$ पर ट्रंकेट किया जाता है। शीर्ष $N_K$ आइगेनवैल्यू को बनाए रखा जाता है, जबकि शेष $N_V - N_K$ दिशाओं को एक निश्चित शोर स्तर (noise floor) $\epsilon > 0$ पर "पिन" किया जाता है।
• चुनौती: रैंक-कंस्ट्रेंड $\epsilon$-PCA मैनिफोल्ड आइगेनवैल्यू के नॉन-लीनियर कंस्ट्रेंट के कारण $e$-फ्लैट नहीं है।
• समाधान (तकनीकी पुनर्गठन): लेखक एक तकनीकी $e$-फ्लैट पुनर्गठन (जिसे "$\diamond$-मॉडल" कहा जाता है) का निर्माण करते हैं। यह मॉडल बेसिस को मानक समन्वय प्रणाली (standard coordinate system) में स्थिर रखता है लेकिन प्रशिक्षित $\epsilon$-PCA मॉडल के समान आइगेनवैल्यू बनाए रखता है।
  • लेम्मा 1 (Lemma 1): आइसोट्रोपिक गौसियन डेटा ($P = \mathcal{N}(0, I)$) पर, मूल आइजन-PCA मॉडल और $\diamond$-मॉडल का KL डाइवर्जेंस समान होता है।
  • यह $e$-फ्लैट अपघटन प्रमेय को $\diamond$-मॉडल पर लागू करने की अनुमति देता है, जिसके परिणाम सीधे मूल $\epsilon$-PCA पर स्थानांतरित होते हैं।

C. रैंडम मैट्रिक्स थ्योरी (Random Matrix Theory)

विश्लेषण उच्च-आयामी सीमा ($N_V, D \to \infty$ के साथ $\alpha = N_V/D$ स्थिर रहता है) में मार्सेंको-पास्टुर (Marchenko-Pastur - MP) लॉ का उपयोग करता है। यह एम्पीरिकल आइगेनवैल्यूज के योग को MP स्पेक्ट्रल डेंसिटी $p_{MP}(\lambda)$ के विरुद्ध इंटीग्रल में बदलने की अनुमति देता है।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

I. तीन-घटक अपघटन (थ्योरम 2)

शोध पत्र सिद्ध करता है कि $e$-फ्लैट मॉडल्स के लिए, GE सटीक रूप से तीन भागों में विभाजित होता है:

1. मॉडल एरर (ME): मॉडल मिसस्पेसिफिकेशन के कारण अपरिहार्य त्रुटि (P से मैनिफोल्ड की दूरी)।
2. डेटा बायस: सीमित डेटा के कारण व्यवस्थित त्रुटि (आदर्श प्रोजेक्शन $Q_0$ और औसत प्रशिक्षित मॉडल $\bar{Q}$ के बीच की दूरी)।
3. वेरिएंस: डेटासेट के उतार-चढ़ाव के कारण स्टोकेस्टिक त्रुटि ($Q_m$ का $\bar{Q}$ के आसपास फैलाव)।

• महत्व: यह अनसुपरवाइज्ड लर्निंग के लिए बायस-वेरिएंस ट्रेडऑफ़ को औपचारिक रूप देता है। यह एक डायग्नोस्टिक भी प्रदान करता है: यदि "डेटा बायस" टर्म अनुभवजन्य रूप से ऋणात्मक हो जाता है, तो मॉडल मैनिफोल्ड संभवतः $e$-फ्लैट नहीं है।

II. $\epsilon$-PCA के लिए क्लोज्ड-फॉर्म इष्टतम रैंक (थ्योरम 3)

$\epsilon$-PCA पुनर्गठन पर अपघटन लागू करके, लेखक GE को न्यूनतम करने वाला इष्टतम रैंक $N_K^*$ निकालते हैं।

• परिणाम: इष्टतम कटऑफ स्थिति उल्लेखनीय रूप से सरल है:
  $$\lambda^*_{cut} = \epsilon$$
  इष्टतम मॉडल ठीक उन्हीं एम्पीरिकल आइगेनवैल्यूज को बनाए रखता है जो अंतर्निहित शोर स्तर $\epsilon$ से अधिक हैं।
• व्युत्पत्ति: इष्टतम वहां होता है जहाँ मॉडल एरर में मार्जिनल लाभ (पिन किए गए $\epsilon$ दिशाओं की संख्या कम करना) और डेटा बायस में मार्जिनल लागत (एक और उतार-चढ़ाव वाली एम्पीरिकल दिशा को शामिल करना) बराबर होते हैं। KL डाइवर्जेंस का विशिष्ट कार्यात्मक रूप ($f(x) = 1/x + \log x$) यह सुनिश्चित करता है कि मार्सेंको-पास्टुर डेंसिटी प्रीफैक्टर्स रद्द हो जाएं, जिससे समाधान $\alpha$ के अनुपात से स्वतंत्र हो जाता है।

III. तीन-रेजीम फेज डायग्राम (प्रपोजिशन 2)

इंटरियर ऑप्टिमम और बाउंड्री कंडीशंस की तुलना करने से $\epsilon$ और एस्पेक्ट रेशियो $\alpha$ के आधार पर एक स्पष्ट फेज डायग्राम प्राप्त होता है:

1. रिटेन-ऑल फेज ($\epsilon \leq \lambda_-(\alpha)$): शोर स्तर इतना कम है कि MP लोअर एज ($\lambda_-$) के ऊपर की सबसे छोटी एम्पीरिकल आइगेनवैल्यू भी महत्वपूर्ण है। इष्टतम रैंक $N_K = N_V$ है।
2. इंटरियर फेज ($\lambda_-(\alpha) < \epsilon < \epsilon^*(\alpha)$): इष्टतम रैंक कटऑफ $\lambda^*_{cut} = \epsilon$ द्वारा निर्धारित होती है। मॉडल $\epsilon$ से नीचे के आइगेनवैल्यूज को हटा देता है।
3. कोलैप्स फेज ($\epsilon \geq \epsilon^*(\alpha)$): शोर स्तर बहुत अधिक है। किसी भी फाइनाइट-सैंपल उतार-चढ़ाव (डेटा बायस) को फिट करने की लागत, मॉडल एरर को कम करने के लाभ से अधिक है। इष्टतम रैंक $N_K = 0$ में कोलैप्स हो जाती है (मॉडल डेटा से किसी भी संरचना को सीखने के बजाय शोर स्तर वितरण पर डिफ़ॉल्ट होता है)।

• $\epsilon^*(\alpha)$: एक विश्लेषणात्मक रूप से गणना योग्य कोलैप्स थ्रेशोल्ड है जहाँ डेटा इतना शोर भरा हो जाता है कि किसी भी रैंक $>0$ के लिए उपयोगी नहीं रह जाता।

4. महत्व और निहितार्थ (Significance and Implications)

• सैद्धांतिक एकीकरण: यह शोध पत्र अनसुपरवाइज्ड लर्निंग थ्योरी को हल करने के लिए इन्फॉर्मेशन ज्योमेट्री (सामान्यीकृत पाइथागोरस प्रमेय) और रैंडम मैट्रिक्स थ्योरी (मार्सेंको-पास्टुर लॉ) को जोड़ता है।
• व्याख्यात्मकता: यह एरर का एक कठोर, गैर-ऋणात्मक अपघटन प्रदान करता है, जो स्पष्ट करता है कि "डेटा एरर" एक अखंड ब्लॉक नहीं है बल्कि व्यवस्थित बायस और स्टोकेस्टिक वेरिएंस का योग है।
• व्यावहारिक नियम: व्युत्पन्न नियम ($\lambda_{cut} = \epsilon$) रेगुलराइज्ड PCA में रैंक चुनने के लिए एक सिद्धांत आधारित, क्लोज्ड-फॉर्म विधि प्रदान करता है। फ्रोबिनियस नॉर्म डिनोइजिंग के लिए हेयुरिस्टिक नियमों (जैसे $4/\sqrt{3}$ नियम) के विपरीत, यह नियम विशेष रूप से KL-डाइवर्जेंस (इन्फॉर्मेशन-थियोरेटिक) लॉस के लिए निकाला गया है और यह डाइमेंशन-टू-सैंपल रेशियो $\alpha$ से स्वतंत्र है।
• डायग्नोस्टिक टूल: "डेटा बायस" टर्म का चिन्ह यह पता लगाने के लिए एक ज्यामितीय डायग्नोस्टिक के रूप में कार्य करता है कि क्या कोई जेनेरेटिव मॉडल क्लास (जैसे हिडन वेरिएबल्स वाले मॉडल) $e$-फ्लट धारणा का उल्लंघन करती है, जो यह समझाता है कि RBMs या VAEs जैसे मॉडल्स के लिए मानक अपघटन क्यों विफल हो सकते हैं।
• फेज ट्रांजिशन: "कोलैप्स फेज" की पहचान यह रेखांकित करती है कि एक ऐसा रेजीम मौजूद है जहाँ फाइनाइट-सैंपल उतार-चढ़ाव इतने गंभीर हैं कि डेटा से किसी भी संरचना को सीखना हानिकारक है, जो बेयसियन सांख्यिकी में सिंगुलर लर्निंग रेजीम्स के समान एक घटना है।

5. सत्यापन (Verification)

सैद्धांतिक दावों को संख्यात्मक रूप से कड़ाई से सत्यापित किया गया है:

• लेम्मा 1: सत्यापित किया गया कि आइसोट्रोपिक डेटा पर आइजन-PCA और $\diamond$-मॉडल का GE मशीन प्रिसिजन तक समान है।
• थ्योरम 2: सत्यापित किया गया कि तीन क्लोज्ड-फॉर्म घटकों (ME, Bias, Variance) का योग एम्पीरिकल GE कर्व से सटीक रूप से मेल खाता है।
• थ्योरम 3 और प्रपोजिशन 2: सत्यापित किया गया कि GE कर्व का एम्पीरिकल मिनिमम, भविष्यवाणी किए गए इष्टतम रैंक के साथ संरेखित है और फेज बाउंड्रीज $\alpha$ और $\epsilon$ के ग्रिड पर विश्लेषणात्मक भविष्यवाणियों से मेल खाती हैं।