Homogeneity and Sub-homogeneity Pursuit: Iterative Complement Clustering PCA

यहाँ बि, चांग और यांग के शोध पत्र "Homogeneity and Sub-homogeneity Pursuit: Iterative Complement Clustering PCA" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

प्रिंसिपल कंपोनेंट एनालिसिस (PCA) उच्च-आयामी डेटा (high-dimensional data) के लिए आयामी न्यूनीकरण (dimensionality reduction) का एक मानक उपकरण है। हालाँकि, जब डेटा में एक समूह संरचना (group structure) होती है (जैसे कि विभिन्न उद्योगों के स्टॉक), तो पारंपरिक PCA दो महत्वपूर्ण सीमाओं का सामना करता है:

1. उप-समांगता (Sub-homogeneity) की पहचान करने में विफलता: PCA अधिकतम विचरण (variance) वाली दिशाओं को प्राथमिकता देता है, जो आमतौर पर समांगता (homogeneity) (पूरे डेटासेट में साझा पैटर्न, जैसे कि एक सामान्य बाजार रुझान) के अनुरूप होती है। फलस्वरूप, उप-समांगता (समूह-विशिष्ट पैटर्न, जैसे उद्योग-विशिष्ट रुझान) का विचरण अक्सर कम होता है और इसे शोर (noise) मानकर अनदेखा कर दिया जाता है।
2. क्लस्टरिंग में "आयामों का अभिशाप" (Curse of Dimensionality): जब चरों की संख्या ($p$) नमूना आकार ($n$) के सापेक्ष बहुत अधिक होती है, तो सामान्य प्रभाव सहप्रसरण संरचना (covariance structure) पर हावी हो सकता है, जिससे अंतर्निहित क्लस्टर संरचना छिप जाती है। डेटा पर सीधे लागू किए गए पारंपरिक क्लस्टरिंग तरीके समूहों को अलग करने में विफल रहते हैं क्योंकि साझा समांगता सभी चरों को अत्यधिक सह-संबंधित (highly correlated) बना देती है।
3. चक्रीय निर्भरता (Circular Dependency): समांगता का सटीक अनुमान लगाने के लिए, आदर्श रूप से आपको समूह संरचना का पता होना चाहिए। इसके विपरीत, समूह संरचना की पहचान करने के लिए, आपको पहले प्रभावी समांगता को हटाना होगा। पारंपरिक तरीके इस चक्रीय निर्भरता को प्रभावी ढंग से हल नहीं कर पाते हैं।

2. कार्यप्रणाली: इटरेटिव कॉम्प्लीमेंट-क्लस्टरिंग PCA (CPCA)

लेखक एक नया ढांचा प्रस्तावित करते हैं जिसे CPCA कहा जाता है, जो एक पुनरावृत्ति प्रक्रिया (iterative process) के माध्यम से समांगता (साझा घटक) और उप-समांगता (क्लस्टर-विशिष्ट घटक) का एक साथ अनुमान लगाता है।

A. डेटा प्रतिनिधित्व (Data Representation)

डेटा $x_i$ को एक लो-रैंक प्रतिनिधित्व के रूप में मॉडल किया गया है:
$$x_i = \sum_{k=1}^{r_c} g_{ik}\phi_k + \sum_{j=1}^{J} \sum_{h=1}^{r_j} f_{ih}^{(j)} \gamma_h^{(j)} + \epsilon_i$$

• समांगता (Homogeneity): इसे साझा घटकों $g_{ik}$ और आइजनवेक्टर्स $\phi_k$ द्वारा दर्शाया गया है जो सभी समूहों में समान हैं।
• उप-समांगता (Sub-homogeneity): इसे क्लस्टर-विशिष्ट घटकों $f_{ih}^{(j)}$ और आइजनवेक्टर्स $\gamma_h^{(j)}$ द्वारा दर्शाया गया है जो केवल क्लस्टर $j$ के चरों के लिए गैर-शून्य (non-zero) होते हैं।
• संरचना (Structure): साझा घटकों को हटाने के बाद, अवशेष (residuals) एक ब्लॉक-डायगोनल सहप्रसरण संरचना प्रदर्शित करते हैं, जहाँ विभिन्न क्लस्टरों के चर एक-दूसरे से असंबद्ध (uncorrelated) होते हैं।

B. CPCA एल्गोरिदम

एल्गोरिदम तीन मुख्य चरणों में कार्य करता है:

1. प्रारंभिक चरण (Initial Step):

   • पूर्ण डेटासेट $X$ पर मानक PCA करके प्रारंभिक साझा घटक ($G_0, \Phi_0$) का अनुमान लगाएं।
   • कॉम्प्लीमेंट (Complement/अवशेष) की गणना करें: $X^c_0 = X - G_0\Phi_0^\top$।
   • चरों के प्रारंभिक समूहीकरण (initial grouping) को प्राप्त करने के लिए $X^c_0$ पर Hierarchical Clustering लागू करें।

2. पुनरावृत्ति चरण (Iterative Step - मुख्य नवाचार):

   • साझा घटकों को परिष्कृत करना (Refine Common Components): प्रत्येक वर्तमान क्लस्टर के भीतर PCA करें, फिर इन क्लस्टर-विशिष्ट घटकों को मिलाएं और अपडेट किए गए साझा घटकों ($G_s, \Phi_s$) को निकालने के लिए दूसरे स्तर का PCA करें। यह "आयामों के अभिशाप" के भार को कम करता है।
   • क्लस्टर्स को परिष्कृत करना (Refine Clusters - LOO-PCR Clustering): एक लीव-वन-आउट प्रिंसिपल कंपोनेंट रिग्रेशन (LOO-PCR) विधि का उपयोग करके क्लस्टर असाइनमेंट को अपडेट करें।
     • प्रत्येक चर $k$ के लिए, उसे बाहर निकालें (leave it out)।
     • $J$ अलग-अलग PCR फिट करें जहाँ शेष चर उस छोड़े गए चर की भविष्यवाणी करते हैं।
     • उस क्लस्टर को असाइन करें जो न्यूनतम सम-वर्ग अवशेष (Minimum Sum of Squared Residuals - SSR) प्रदान करता है।
     • यदि न्यूनतम SSR एक सीमा (threshold) से अधिक है, तो उस चर को एकल क्लस्टर (singleton cluster) माना जाता है।
   • जब तक क्लस्टर असाइनमेंट अभिसरण (converge) न हो जाए (Adjusted Rand Index द्वारा मापा गया), तब तक दोहराएं।

3. अंतिम चरण (Final Step):

   • अभिसरित क्लस्टरों का उपयोग करके अंतिम साझा घटकों और क्लस्टर-विशिष्ट घटकों का अनुमान लगाएं।

3. प्रमुख योगदान (Key Contributions)

1. नया ढांचा (CPCA): एक ऐसा पुनरावृत्ति दृष्टिकोण पेश करता है जो समांगता और उप-समांगता के अनुमान को अलग करता है, जिससे चक्रीय निर्भरता की समस्या हल होती है।
2. LOO-PCR क्लस्टरिंग: प्रिंसिपल कंपोनेंट रिग्रेशन पर आधारित एक नया क्लस्टरिंग मीट्रिक प्रस्तावित करता है। सहसंबंध-आधारित क्लस्टरिंग के विपरीत, यह विधि परीक्षण करती है कि क्या एक चर किसी विशिष्ट समूह के प्रिंसिपल कंपोनेंट्स द्वारा अच्छी तरह से अनुमानित (predict) किया जाता है, जो इसे उच्च-आयामी सेटिंग्स ($p > n$) में अधिक मजबूत बनाता है।
3. सैद्धांतिक गारंटी (Theoretical Guarantees): पेपर में प्रमेय 1 (Theorem 1) के माध्यम से प्रमाण दिया गया है कि यदि क्लस्टरों के बीच उप-समांगता विशिष्ट है, तो LOO-PCR विधि सही क्लस्टर सदस्यता की पहचान करने में सुसंगत (consistent) हो सकती है।
4. आयामी न्यूनीकरण रणनीति (Dimensionality Reduction Strategy): पहले क्लस्टरिंग करके और फिर समूह स्तर पर साझा घटकों का अनुमान लगाकर, यह विधि आयामों के अभिशाप को कम करती है, जिससे ग्लोबल PCA की तुलना में अधिक सटीक साझा कारकों का अनुमान मिलता है।

4. परिणाम (Results)

लेखकों ने व्यापक सिमुलेशन और वास्तविक स्टॉक रिटर्न विश्लेषण के माध्यम से CPCA को सत्यापित किया है।

सिमुलेशन अध्ययन (Simulation Studies)

• रिकवरी सटीकता (Recovery Accuracy): मूल डेटा को पुनः प्राप्त करने में CPCA (विशेष रूप से अंतिम पुनरावृत्ति संस्करण, CPCA-F), पारंपरिक PCA और गैर-पुनरावृत्ति CPCA (CPCA-I) की तुलना में काफी बेहतर प्रदर्शन करता है (कम Mean Squared Recovering Error - MSRE)।
• छोटा नमूना/बड़ा आयाम (Small Sample/Large Dimension): उन परिदृश्यों में जहाँ $n < p$ (जैसे, $n=30, p=100$), पारंपरिक PCA उप-समांगता की पहचान करने में विफल रहता है, जबकि CPCA सफलतापूर्वक साझा और समूह-विशिष्ट दोनों संरचनाओं को पुनः प्राप्त करता है।
• क्लस्टरिंग प्रदर्शन: LOO-PCR क्लस्टरिंग विधि, विशेष रूप से जब साझा प्रभाव क्लस्टर संरचना को छिपा देता है, Hierarchical Clustering की तुलना में उच्च Adjusted Rand Indices (ARI) प्राप्त करती है।

अनुप्रयोग (Applications)

1. प्रिंसिपल कंपोनेंट रिग्रेशन (PCR):
   • उन प्रतिक्रियाओं (responses) की भविष्यवाणी करने में जहाँ केवल विशिष्ट समूह घटक मायने रखते हैं, CPCA-आधारित PCR (Group Lasso के साथ मिलकर) मानक PCA की तुलना में MSPE को काफी कम कर देता है।
   • यह सफलतापूर्वक पहचानता है कि छोटे-विचरण वाले, समूह-विशिष्ट घटक महत्वपूर्ण भविष्यवक्ता हो सकते हैं, जिन्हें मानक PCA छोड़ देता है।
2. सहप्रसरण मैट्रिक्स अनुमान (Covariance Matrix Estimation):
   • CPCP, POET और मानक PCA की तुलना में अधिक सटीक सहप्रसरण मैट्रिक्स ($\Sigma$) और परिशुद्धता मैट्रिक्स (precision matrix) का अनुमान प्रदान करता है, क्योंकि यह लो-रैंक (साझा) और ब्लॉक-डायगोनल (समूह-विशिष्ट) दोनों संरचनाओं को कैप्चर करता है।
3. वास्तविक डेटा विश्लेषण (स्टॉक रिटर्न्स):
   • डेटासेट: 8 उद्योगों के 160 स्टॉक (2014)।
   • क्लस्टरिंग: पारंपरिक PCA क्लस्टरिंग ने 0.09 का ARI दिया (उद्योगों को अलग करने में विफल रहा)। CPCA-F ने इसे 0.72 तक सुधार दिया, जो मार्केट प्रभाव को हटाने के बाद उद्योग-विशिष्ट क्लस्टरों को सही ढंग से पहचानता है।
   • पोर्टफोलियो निर्माण: ग्लोबल मिनिमम वेरिएंस पोर्टफोलियो (MVP) बनाने के लिए CPCA-अनुमानित सहप्रसरण मैट्रिक्स का उपयोग करने से पारंपरिक PCA या POET द्वारा बनाए गए पोर्टफोलियो की तुलना में न्यूनतम मानक विचलन (0.008) और उच्चतम शार्प रेशियो (0.143) प्राप्त हुआ।

5. महत्व (Significance)

यह पेपर उच्च-आयामी डेटा विश्लेषण में एक मौलिक अंतर को संबोधित करता है: मानक आयामी न्यूनीकरण तकनीकों की पदानुक्रमित विषमता (hierarchical heterogeneity) को पकड़ने में असमर्थता।

• सैद्धांतिक प्रभाव: यह "उप-समांगता" की अवधारणा को औपचारिक रूप देता है और इसे अनुमानित करने के लिए एक कठोर पुनरावृत्ति एल्गोरिदम प्रदान करता है।
• व्यावहारिक प्रभाव: यह विधि वित्तीय मॉडलिंग (जहाँ बाजार बनाम उद्योग प्रभावों को अलग करना आवश्यक है), जीनोमिक्स (जीन पाथवे), और किसी भी ऐसे क्षेत्र के लिए अत्यधिक प्रासंगिक है जहाँ डेटा विशिष्ट उप-जनसंख्याओं से आता है जो एक वैश्विक रुझान साझा करते हैं।
• मजबूती (Robustness): प्रस्तावित LOO-PCR क्लस्टरिंग "छोटे $n$, बड़े $p$" वाले युगों में विशेष रूप से मूल्यवान है जहाँ पारंपरिक सहसंबंध-आधारित क्लस्टरिंग विफल हो जाती है।

संक्षेप में, CPCA संरचित उच्च-आयामी डेटा के लिए PCA का एक बेहतर विकल्प प्रदान करता है, जिससे शोधकर्ता उन छिपे हुए समूह-विशिष्ट पैटर्न को उजागर कर सकते हैं जो अन्यथा प्रमुख वैश्विक रुझानों के कारण छिप जाते हैं।