Maximum softly penalised likelihood in factor analysis

यहाँ स्टेर्ज़िंगर, कोसिमिडीस और मौस्ताकी के शोध पत्र "Maximum softly penalised likelihood in factor analysis" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

एक्सप्लोरेटरी फैक्टर एनालिसिस (EFA) में अक्सर हेवुड केस (Heywood cases) का सामना करना पड़ता है, जहाँ मैक्सिमम लाइकलीहुड (ML) अनुमान प्रक्रिया अपूर्ण समाधान (impires solutions) प्रदान करती है। ये तब होते हैं जब:

• त्रुटि विचरण (error variance) अनुमान ($\psi_j$) शून्य या ऋणात्मक होते हैं।
• सहसंबंध (correlation) अनुमान 1 के निरपेक्ष मान से अधिक हो जाते हैं।

परिणाम:

• संख्यात्मक अस्थिरता (Numerical Instability): अनुकूलन एल्गोरिदम (optimization algorithms) अक्सर अभिसरण (converge) करने में विफल रहते हैं या भ्रामक निष्कर्ष देते हैं।
• सांख्यिकीय अमान्यता (Statistical Invalidity): मानक त्रुटियाँ (standard errors), फैक्टर स्कोर और मॉडल चयन मानदंड (AIC/BIC) अविश्वसनीय हो जाते हैं।
• वर्तमान समाधान और सीमाएँ:
  • प्रतिबंधित ML (Constrained ML): विचलनों को गैर-ऋणात्मक बनाने के लिए मजबूर करना नियमितता की शर्तों (regularity conditions) का उल्लंघन करता है, जिससे मूल्यांकन के लिए कठिन एसिम्प्टोटिक गुण (asymptotic properties) उत्पन्न होते हैं।
  • बायेसियन/पेनलाइज्ड दृष्टिकोण (Bayesian/Penalized Approaches): पिछले तरीकों (जैसे Akaike 1987; Hirose et al. 2011) में शून्य विचरण को रोकने के लिए दंड (penalties) का उपयोग किया जाता है। हालाँकि, इन "वैनिला" दंडों में अक्सर अस्तित्व की औपचारिक गारंटी का अभाव होता है और अधिक महत्वपूर्ण रूप से, वे अत्यधिक दंड बल (penalization strength) के कारण पैरामीटर अनुमानों और फैक्टर लोडिंग में गंभीर परिमित-नमूना पूर्वाग्रह (severe finite-sample bias) उत्पन्न करते हैं, क्योंकि यह बल नमूने के आकार के साथ घटता नहीं है।

2. कार्यप्रणाली: मैक्सिमम सॉफ्टली पेनलाइज्ड लाइकलीहुड (MSPL)

लेखक मैक्सिमम सॉफ्टली पेनलाइज्ड लाइकलीहुड (MSPL) नामक एक ढांचा प्रस्तावित करते हैं। यह दृष्टिकोण लॉग-लाइकीहुड फलन में एक दंड पद (penalty term) जोड़कर इसे संशोधित करता है जो यह सुनिश्चित करता है कि अनुमान पैरामीटर स्पेस के आंतरिक भाग (interior) में रहें, जबकि ML एस्टिमेटर के इष्टतम एसिम्प्टोटिक गुणों को भी बनाए रखते हैं।

ढांचा (The Framework):
उद्देश्य फलन (objective function) को इस प्रकार परिभाषित किया गया है:
$$\ell^*(\theta; S) = \ell(\theta; S) + P^*(\theta)$$
जहाँ:

• $\ell(\theta; S)$ EFA के लिए मानक प्रोफाइल लॉग-लाइकीहुड है।
• $P^*(\theta)$ एक दंड फलन (penalty function) है जिसे यह सुनिश्चित करने के लिए डिज़ाइन किया गया है कि त्रुटि विचरण ($\psi_j$) के अनुमान शून्य के करीब न पहुँचें।

मुख्य तकनीकी घटक:

1. दंड चयन (Penalty Selection): यह शोध पत्र Akaike (1987) और Hirose et al. (2011) द्वारा प्रस्तावित मौजूदा दंडों का पुनर्मूल्यांकन करता है:

   • Akaike: $P^*(\theta) = -\frac{\rho n}{2} \text{tr}(\Psi^{-1/2}\Lambda\Lambda^\top\Psi^{-1/2})$
   • Hirose: $P^*(\theta) = -\frac{\rho n}{2} \text{tr}(\Psi^{-1/2}S\Psi^{-1/2})$
   • महत्वपूर्ण नवाचार: लेखक प्रदर्शित करते हैं कि $\rho$ का मानक चुनाव (स्थिर या $n$ के साथ स्केलिंग) पूर्वाग्रह का कारण बनता है। वे एक "सॉफ्ट" स्केलिंग का प्रस्ताव करते हैं जहाँ दंड की शक्ति नमूने के आकार के साथ घटती है: $\rho = 2\sqrt{2/n^3}$ (प्रभावी रूप से दंड पद को $O_p(n^{-1/2})$ बनाना)।

2. सॉफ्ट पेनलाइजेशन (Soft Penalisation): "सॉफ्टली पेनलाइज्ड" शब्द का अर्थ है कि दंड इतना मजबूत है कि वह परिमित नमूनों (finite samples) में सीमा समाधानों (boundary solutions/Heywood cases) को रोक सके, लेकिन इतना कमजोर है कि एसिम्प्टोटिक रूप से लुप्त हो जाए, जिससे यह सुनिश्चित हो सके कि $n \to \infty$ होने पर एस्टिमेटर ML एस्टिमेटर की तरह व्यवहार करे।

3. मुख्य योगदान और सैद्धांतिक परिणाम

A. अनुमानों का अस्तित्व (Existence of Estimates - Theorem 4.1)

लेखक पर्याप्त स्थितियाँ (sufficient conditions) व्युत्पन्न करते हैं जिसके तहत एक दंड फलन $P^*$ यह गारंटी देता है कि मैक्सिमम पेनलाइज्ड लाइकलीहुड (MPL) एस्टिमेटर पैरामीटर स्पेस के आंतरिक भाग (अर्थात, सभी $j$ के लिए $\psi_j > 0$) में मौजूद है।

• शर्तें: दंड निरंतर (continuous) होना चाहिए, ऊपर से परिबद्ध (bounded from above) होना चाहिए, और किसी भी विचरण के शून्य के करीब पहुँचने पर $-\infty$ की ओर बढ़ना चाहिए (बशर्ते कि कोवेरिएंस मैट्रिक्स धनात्मक निश्चित (positive definite) बना रहे)।
• परिणाम: वे औपचारिक रूप से सिद्ध करते हैं कि Akaike और Hirose दोनों दंड इन शर्तों को पूरा करते हैं, जिससे यह प्रथम कठोर प्रमाण मिलता है कि ये विशिष्ट दंड हेवुड केस को समाप्त कर देते हैं।

B. एसिम्प्टोटिक गुण (Asymptotic Properties - Theorems 5.1 & 5.2)

यह शोध पत्र स्थापित करता है कि MSPL एस्टिमेटर्स में मानक ML एस्टिमेटर्स के समान वांछनीय एसिम्प्टोटिक गुण होते हैं:

• संगति (Consistency): एस्टिमेटर्स (ऑर्थोगोनल रोटेशन तक) वास्तविक मापदंडों की ओर अभिसरित होते हैं जब $n \to \infty$।
• $\sqrt{n}$-संगति और एसिम्प्टोटिक नॉर्मलिटी: यदि दंड $O_p(n^{-1/2})$ के रूप में स्केल होता है (यानी "सॉफ्ट" स्केलिंग), तो MSPL एस्टिमेटर, ML एस्टिमेटर के एसिम्प्टोटिक रूप से समतुल्य होता है। विशेष रूप से:
  $$\sqrt{n}(\tilde{\theta} - \hat{\theta}) \xrightarrow{p} 0$$
  जहाँ $\tilde{\theta}$ एक MSPL एस्टिमेटर है और $\hat{\theta}$ एक ML एस्टिमेटर है।
• महत्व: यह सुनिश्चित करता है कि MSPL से प्राप्त परिकल्पना परीक्षण (hypothesis testing) और कॉन्फिडेंस इंटरवल वैध हैं, विपरीत रूप से प्रतिबंधित ML या भारी रूप से पेनलाइज्ड बायेसियन दृष्टिकोणों के, जिनके एसिम्प्टोटिक वितरण विकृत हो सकते हैं।

C. इक्विवैरिएंस (Equivariance)

यह ढांचा ML एस्टिमेटर के दो महत्वपूर्ण इक्विवैरिएंस गुणों को संरक्षित करता है:

1. रीस्केलिंग (Rescaling): देखे गए चरों (observed variables) के रैखिक स्केलिंग के प्रति अपरिवर्तनीयता।
2. रोटेशन (Rotation): फैक्टर लोडिंग के ऑर्थोगोनल रोटेशन के प्रति अपरिवर्तनीयता।

4. अनुभवजन्य परिणाम (Empirical Results)

सिमुलेशन अध्ययन (Simulation Studies)

लेखकों ने निम्नलिखित की तुलना करते हुए व्यापक सिमुलेशन किए:

1. मानक ML (हेवुड केस के प्रति संवेदनशील)।
2. वैनिला MPL (स्थिर $\rho$ के साथ Akaike/Hirose)।
3. MSPL (सॉफ्ट स्केलिंग $\rho \propto n^{-1/2}$ के साथ Akaike/Hirose)।

निष्कर्ष:

• हेवुड केस: ML ने उच्च प्रतिशत में हेवुड केस उत्पन्न किए (कुछ सेटिंग्स में 75% तक)। MPL और MSPL दोनों ने इसे घटाकर लगभग शून्य कर दिया।
• पूर्वाग्रह और RMSE: वैनिला MPL ने अत्यधिक दंड के कारण बड़ा परिमित-नमूना पूर्वाग्रह (finite-sample bias) और रूट मीन स्क्वेर्ड एरर (RMSE) प्रदर्शित किया। MSPL ने सबसे कम पूर्वाग्रह और RMSE दिखाया, जो गैर-समस्याग्रस्त परिदृश्यों में ML के प्रदर्शन से काफी मेल खाता है।
• अंडरएस्टिमेशन (Underestimation): वैनिला दंडों ने लगातार फैक्टर लोडिंग और कम्युनिटीज (communalities) को कम करके आंका। MSML के अनुमान अच्छी तरह से कैलिब्रेटेड थे (अंडरएस्टिमेशन की संभावना $\approx 0.5$)।
• मॉडल चयन: MSPL आधारित AIC और BIC ने उन संख्या में कारकों को अधिक सही ढंग से पहचाना जहाँ ML विफल रहा (जब हेवुड केस होते हैं) और वैनिला MPL (जो पूर्वाग्रह के कारण गलत मॉडल चुनता था) से काफी बेहतर प्रदर्शन किया।

वास्तविक डेटा अनुप्रयोग (Real Data Applications)

इस पद्धति को तीन क्लासिक डेटासेट्स (Davis, Emmett, Maxwell) पर लागू किया गया जो ML के साथ हेवुड केस उत्पन्न करते हैं।

• परिणाम: MSPL ने अनुमानों को विकृत किए बिना अनुचित समाधानों (ऋणात्मक विचरण) को सफलतापूर्वक हल किया। प्राप्त कम्युनिटीज और फैक्टर लोडिंग तर्कसंगत थे, और MSPL के आधार पर AIC/BIC मान ML की तुलना में स्थिर रहे, जिससे पुष्टि हुई कि दंड ने मॉडल फिट को कृत्रिम रूप से नहीं बदला।

5. महत्व और निष्कर्ष

यह शोध पत्र फैक्टर एनालिसिस में हेवुड केस की दीर्घकालिक समस्या का एक व्यापक समाधान प्रदान करता है।

• सैद्धांतिक सफलता: यह प्रतिबंधित अनुमान (जो सीमा समस्या को ठीक करता है लेकिन एसिम्प्टोटिक्स को तोड़ देता है) और पेनलाइज्ड अनुमान (जो सीमा को ठीक करता है लेकिन पूर्वाग्रह लाता है) के बीच के अंतर को पाटता है।
• व्यावहारिक उपयोगिता: MSPL ढांचा अभ्यासकर्ताओं को वैध, आंतरिक (interior) अनुमान प्राप्त करने के लिए मानक अनुकूलन प्रक्रियाओं का उपयोग करने की अनुमति देता है जो हेवुड केस से मुक्त हैं और साथ ही ML के इष्टतम सांख्यिकीय गुणों को भी बनाए रखते हैं।
• सिफारिश: लेखक इस शोध पत्र में व्युत्पन्न विशिष्ट स्केलिंग ($\rho = 2\sqrt{2/n^3}$) के साथ सॉफ्टली पेनलाइज्ड लाइकलीहुड के उपयोग का समर्थन करते हैं, जो अनियंत्रित ML और नाईव (naive) बायेसियन/पेनलाइज्ड दृष्टिकोणों दोनों के लिए एक मजबूत विकल्प है।

संक्षेप में, यह शोध पत्र दंड (penalization) को एक कठोर सांख्यिकीय ढांचे में बदलकर उसे एक ह्यूरिस्टिक फिक्स (heuristic fix) से ऊपर ले जाता है, यह सुनिश्चित करता है कि फैक्टर एनालिसिस मॉडल संख्यात्मक रूप से स्थिर और सांख्यिकीय रूप से सुदृढ़ हों।