Statistical analysis of block structured latent variable models

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपको जो सुराग मिलते हैं वे बिखरे हुए और उलझे हुए हैं। आपके पास अलग-अलग गवाहों के नोट्स का एक ढेर है, जिनमें से कुछ मौसम के बारे में बात करते हैं, कुछ ट्रैफिक के बारे में और कुछ एक अजीब शोर के बारे में। डेटा साइंस की दुनिया में, यह बिल्कुल वैसा ही होता है जैसा तब होता है जब शोधकर्ता जटिल मानवीय व्यवहारों, आर्थिक रुझानों या आनुवंशिक कोड को समझने की कोशिश करते हैं। वे "लेटेंट वेरिएबल मॉडल्स" (latent variable models) का उपयोग करते हैं, जो अदृश्य जासूसी बोर्डों की तरह होते हैं। ये मॉडल मानते हैं कि कुछ छिपे हुए "कारक" (factors) हैं (जैसे किसी व्यक्ति की वास्तविक बुद्धिमत्ता, किसी देश का आर्थिक स्वास्थ्य, या किसी विशिष्ट जीन का प्रभाव) जिन्हें हम सीधे नहीं देख सकते, लेकिन वे उन चीजों को प्रभावित करते हैं जिन्हें हम देख सकते हैं (जैसे टेस्ट स्कोर, स्टॉक की कीमतें, या डीएनए मार्कर)।

आमतौर पर, ये छिपे हुए कारक एक विशाल गांठ की तरह आपस में उलझे होते हैं, जिससे यह समझना बेहद कठिन हो जाता है कि किस छिपे हुए कारण ने किस दृश्य सुराग को जन्म दिया। लेकिन वास्तविक दुनिया में, चीजें अक्सर अधिक व्यवस्थित होती हैं। एक स्कूल परीक्षा के बारे में सोचें: गणित के सभी प्रश्न आपके गणित कौशल का परीक्षण करते हैं, जबकि इतिहास के प्रश्न आपके इतिहास कौशल का परीक्षण करते हैं। प्रश्नों के ये "ब्लॉक" (blocks) अलग-अलग होते हैं, भले ही वे एक ही परीक्षा का हिस्सा हों। इसे "ब्लॉक स्ट्रक्चर" (block structure) कहा जाता है। हालांकि मनोवैज्ञानिक और अर्थशास्त्र जैसे क्षेत्रों में वैज्ञानिक दशकों से इन ब्लॉक वाले मॉडलों का उपयोग कर रहे हैं, लेकिन वे इसके सबसे महत्वपूर्ण हिस्से में अंधे होकर काम कर रहे थे: उनके पास कोई ठोस गणितीय प्रमाण नहीं था कि ये मॉडल वास्तव में कैसे काम करते हैं, या असंभव गणितीय समस्याओं के भंवर में फंसे बिना उत्तर कैसे खोजे जाएं।

यह शोध पत्र, जिसे मिशिगन विश्वविद्यालय के चेंग्यू कुई और गोंगजुन जू द्वारा लिखा गया है, इस कमी को दूर करने के लिए आता है। वे ब्लॉक-स्ट्रक्चर्ड मॉडल को एक जटिल पहेली की तरह देखते हैं और तीन बड़े सवाल पूछते हैं: क्या हम वास्तव में इस पहेली को हल कर सकते हैं (पहचान योग्यता/identifiability)? यदि हम सर्वोत्तम संभव गणितीय विधि (मैक्सिमम लाइकलीहुड/maximum likelihood) का उपयोग करके इसे हल करने का प्रयास करते हैं, तो क्या हमें सही उत्तर मिलेगा (संगति/consistency)? और क्या हम उन उपकरणों की गति और सटीकता पर भरोसा कर सकते हैं जिनका उपयोग हम इसे हल करने के लिए करते हैं? लेखक केवल अनुमान नहीं लगाते; वे एक कठोर गणितीय ढांचा तैयार करते हैं ताकि यह सिद्ध किया जा सके कि विशिष्ट परिस्थितियों के तहत, ये मॉडल समाधान योग्य और विश्वसनीय हैं। वे एक चतुर नया गणितीय "ट्रिक" (एक लैग्रेंजियन-टाइप फॉर्मूलेशन/Lagrangian-type formulation) पेश करते हैं जो एक अव्यवस्थित, गैर-रैखिक समस्या को संभालने के लिए बहुत आसान बना देता है, यह सिद्ध करते हुए कि उनके नए, आसान समस्या का सबसे अच्छा समाधान मूल, कठिन समस्या के सबसे अच्छे समाधान के बिल्कुल समान है। सिमुलेशन और वास्तविक दुनिया के डेटा परीक्षणों के माध्यम through, वे दिखाते हैं कि उनकी विधि न केवल सही उत्तर पाती है, बल्कि वह इतनी सटीकता के साथ करती है कि वैज्ञानिक आत्मविश्वास से कह सकें, "हाँ, यह छिपा हुआ कारक वास्तविक है, और यहाँ बताया गया है कि हम इसके बारे में कितने निश्चित हैं।"

अदृश्य पहेली के टुकड़े

यह समझने के लिए कि कुई और जू ने क्या किया, कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि लोगों के व्यवहार के पीछे क्या है। आपके पास एक विशाल स्प्रेडशीट है: टेस्ट स्कोर, सर्वेक्षण के उत्तर और आर्थिक संकेतक। आपको संदेह है कि इन नंबरों के पीछे कुछ छिपे हुए "सुपर-ट्रेट्स" (super-traits) हैं। शायद एक "ग्रिट" (Grit) कारक है जो लोगों को गणित के परीक्षणों और सहनशक्ति सर्वेक्षणों दोनों में उच्च स्कोर करने में मदद करता है, या एक "स्थानीय अर्थव्यवस्था" का कारक है जो स्थानीय शेयर कीमतों और क्रेडिट कार्ड के उपयोग दोनों को संचालित करता है।

एक मानक मॉडल में, प्रत्येक एकल छिपा हुआ गुण संभावित रूप से प्रत्येक एकल डेटा बिंदु को प्रभावित कर सकता है। यह एक विशाल मकड़ी के जाल की तरह है जहाँ हर धागा दूसरे धागे से जुड़ा हुआ है। यह गणित के लिए एक दुःस्वप्न बन जाता है। यह ऊन के गोले को सुलझाने की कोशिश करने जैसा है जहाँ हर धागा दूसरे धागों के साथ उलझा हुआ है; आप यह नहीं बता सकते कि कौन सी गांठ ऊन के किस हिस्से की है।

लेकिन वास्तविकता में, प्रकृति अक्सर अधिक व्यवस्थित होती है। एक मनोविज्ञान परीक्षण में, "शब्दावली" वाला भाग केवल शब्दों का परीक्षण करता है, गणित का नहीं। आनुवंशिकी में, एक विशिष्ट जीन केवल विशिष्ट गुणों को प्रभावित कर सकता है। यही है ब्लॉक स्ट्रक्चर। डेटा को अलग-अलग "ब्लॉक" में समूहीकृत किया जाता है, और प्रत्येक ब्लॉक केवल छिपे हुए गुणों के एक विशिष्ट उपसमुच्चय (subset) से प्रभावित होता है। यह ताले लगे बक्सों के एक सेट की तरह है: बॉक्स A के पास केवल "गणित" के ताले की चाबियाँ हैं, और बॉक्स B के पास केवल "इतिहास" के ताले की चाबियाँ हैं।

तीन बड़ी बाधाएं

इस शोध पत्र से पहले, इन ब्लॉक वाले मॉडलों का उपयोग करने वाले वैज्ञानिकों को तीन प्रमुख समस्याओं का सामना करना पड़ता था:

1. "आप कौन हैं?" की समस्या (पहचान योग्यता/Identifiability): यदि आपके पास गणित के प्रश्नों का एक ब्लॉक और इतिहास के प्रश्नों का एक ब्लॉक है, तो क्या आप वास्तव में एक "गणित जीनियस" और एक "इतिहास विशेषज्ञ" के बीच अंतर कर सकते हैं? या क्या गणित केवल इतिहास और किसी अन्य चीज़ का एक अजीब मिश्रण हो सकता है? लेखकों ने सिद्ध किया कि ब्लॉकों और छिपे हुए गुणों के बीच संबंध के बारे में विशिष्ट नियम हैं जो गारंटी देते हैं कि आप उन्हें अलग पहचान सकते हैं। वे इसे M-Q कंडीशन कहते हैं। इसे एक नियम पुस्तिका के रूप में सोचें: यदि आपके पहेली के टुकड़े (ब्लॉक) और आपकी छिपी हुई चाबियाँ (ऑर्थोगोनैलिटी बाधाएं) एक निश्चित तरीके से फिट बैठते हैं, तो तस्वीर अद्वितीय होती है। यदि वे नहीं बैठते हैं, तो तस्वीर धुंधली है, और आप परिणाम पर भरोसा नहीं कर सकते।

2. "असंभव गणित" की समस्या (गैर-कन्वेक्सिटी/Non-Convexity): भले ही आप जानते हों कि पहेली हल करने योग्य है, लेकिन समाधान खोजना कठिन है। छिपे हुए गुणों को खोजने के लिए उपयोग किया जाने वाला गणित "नॉन-कन्वेक्स" (non-convex) है। कल्पना कीजिए कि आप पहाड़ियों और घाटियों से भरे परिदृश्य में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। यदि आप बस एक गेंद को नीचे लुढ़काते हैं, तो वह एक छोटी सी ढलान (लोकल मिनिमम) में फंस सकती है और यह सोच सकती है कि यह दुनिया का सबसे निचला बिंदु है, जबकि वास्तव में पास में एक गहरी घाटी मौजूद है। मानक गणितीय उपकरण अक्सर इन छोटी ढलानों में फंस जाते हैं।

3. "मुझ पर विश्वास करो" की समस्या (अनुमान/Inference): भले ही आप एक समाधान पा लें, आप कैसे जानेंगे कि वह सही है? यह सत्य के कितने करीब है? और आप अपने उत्तर के प्रति कितने आश्वस्त हो सकते हैं? पिछले तरीकों के पास इन विशिष्ट ब्लॉक वाले मॉडलों के लिए इस विश्वास को मापने का कोई ठोस तरीका नहीं था।

जादू का तरीका: लैग्रेंजियन शॉर्टकट

लेखकों की सबसे बड़ी सफलता गणित को देखने का एक नया तरीका है। उन्होंने महसूस किया कि सभी सख्त नियमों (जैसे "ये कारक शून्य होने चाहिए" या "ये ब्लॉक अलग होने चाहिए") के साथ समस्या को सीधे हल करने की कोशिश करना एक दीवार के माध्यम से चलने की कोशिश करने जैसा है।

इसलिए, उन्होंने एक लैग्रेंजियन-टाइप फॉर्मूलेशन (Lagrangian-type formulation) का आविष्कार किया। सरल शब्दों में, यह आपके स्कोर में एक "दंड" (penalty) जोड़ने जैसा है। कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आपको एक विशिष्ट क्षेत्र के भीतर रहना है। क्षेत्र के चारों ओर दीवार बनाने के बजाय (जिसे नेविगेट करना कठिन है), गेम आपको एक बड़ा पॉइंट पेनल्टी देगा यदि आप क्षेत्र से बाहर कदम रखते हैं। यदि पेनल्टी पर्याप्त रूप से अधिक है, तो सबसे स्मार्ट खिलाड़ी स्वाभाविक रूप से बेहतर स्कोर पाने के लिए क्षेत्र के अंदर ही रहेगा।

लेखकों ने सिद्ध किया कि यह "पेनल्टी विधि" एक आदर्श शॉर्टकट है। पेनल्टी विधि का उपयोग करके आप जो सर्वोत्तम समाधान पाते हैं, वह मूल, कठिन समस्या के सर्वोत्तम समाधान के बिल्कुल समान है। लेकिन यहाँ जादू है: पेनल्टी विधि उस अव्यवस्थित, ऊबड़-खाबबड़ परिदृश्य को एक चिकने, कटोरे के आकार की घाटी (एक "स्ट्रॉन्गली कॉन्वेक्स" आकार) में बदल देती है। अब, छोटी ढलान में फंसने के बजाय, एक सरल एल्गोरिदम बस सीधे नीचे लुढ़क सकता है और हर बार सही उत्तर पा सकता है।

उन्होंने क्या पाया

इस नए ढांचे का उपयोग करते हुए, लेखकों ने कई प्रमुख तथ्यों को स्थापित किया:

• समाधान योग्यता के नियम: उन्होंने एक स्पष्ट चेकलिस्ट (M-Q कंडीशन) बनाई जो शोधकर्ताओं को बताती है कि उनका ब्लॉक स्ट्रक्चर कब इतना मजबूत है कि एक अद्वितीय, सही उत्तर की गारंटी दी जा सके। यदि ब्लॉक और बाधाएं इस स्थिति को पूरा करती हैं, तो मॉडल "पहचान योग्य" (identifiable) है। यदि नहीं, तो मॉडल टूटा हुआ है, और कोई भी गणित इसे ठीक नहीं कर सकता।
• गति और सटीकता: उन्होंने सिद्ध किया कि उनकी विधि न केवल एक उत्तर पाती है; बल्कि वह सर्वोत्तम उत्तर पाती है, और वह भी अविश्वसनीय सटीकता के साथ। उन्होंने दिखाया कि उनकी त्रुटि (उनके उत्तर और सत्य के बीच का अंतर) डेटा बढ़ने के साथ बहुत तेजी से कम होती है। वास्तव में, उनकी विधि उतनी ही अच्छी है जितनी कि वह हो सकती है (ओरेकल रेट्स प्राप्त करना), जिसका अर्थ है कि यह उतना ही अच्छा प्रदर्शन करती है जितना कि तब होता जब आपको पहले से ही छिपे हुए कारक पूरी तरह से पता होते।
• विश्वास अंतराल (Confidence Interval): उन्होंने हर एक छिपे हुए कारक और लोडिंग पैरामीटर के लिए "त्रुटि की सीमा" (margin of error) की गणना करने का तरीका खोज निकाला। इसका अर्थ है कि वैज्ञानिक अब कह सकते हैं, "हम 95% आश्वस्त हैं कि यह छिपा हुआ गुण मौजूद है और इसकी विशिष्ट शक्ति इतनी है," जो मनोविज्ञान, अर्थशास्त्र या आनुवंशिकी में वास्तविक दुनिया के निर्णय लेने के लिए अत्यंत महत्वपूर्ण है।
• एल्गोरिदम: उन्होंने केवल कागज पर गणित नहीं किया; उन्होंने इन समस्याओं को हल करने के लिए एक तेज़ कंप्यूटर प्रोग्राम (एक फर्स्ट-ऑर्डर ग्रेडिएंट डिसेंट एल्गोरिदम) बनाया। उन्होंने सिद्ध किया कि यह प्रोग्राम तेज़ी से (लीनियर रूप से) अभिसरित (converge) होता है और इसके द्वारा दिए गए उत्तरों में वही सांख्यिकीय गुण होते हैं जो पूर्ण सैद्धांतिक उत्तर के होते हैं।

प्रमाण परिणाम में है

यह सुनिश्चित करने के लिए कि उनका सिद्धांत केवल सुंदर गणित नहीं है, लेखकों ने हजारों सिमुलेशन चलाए। उन्होंने ज्ञात छिपे हुए गुणों और विभिन्न ब्लॉक संरचनाओं (कुछ सरल, कुछ जटिल, कुछ ओवरलैपिंग समूहों के साथ) के साथ नकली डेटा बनाया। उन्होंने इस डेटा पर अपने एल्गोरिदम को चलाया और परिणामों की जांच की।

परिणाम सटीक थे। एल्गोरिदम ने सही छिपे हुए गुणों को खोजा, और उनके द्वारा गणना किए गए विश्वास अंतराल वास्तव में सही मूल्यों को सही मात्रा में कैप्चर करते थे (जैसा कि अपेक्षित है, लगभग 95% बार)। उन्होंने इसे एक वास्तविक शैक्षिक डेटासेट पर भी परखा, जिससे पता चला कि यह विधि केवल आदर्श सिमुलेशन ही नहीं, बल्कि अव्यवस्थित, वास्तविक दुनिया के डेटा पर भी काम करती है।

यह क्यों मायने रखता है

यह शोध पत्र वैज्ञानिकों को एक नए, अत्यंत सटीक मानचित्र और दिशा-सूचक यंत्र (compass) देने जैसा है, जिसे वे वर्षों से एक ऐसे क्षेत्र में खोज रहे थे जहाँ वे भटक रहे थे। पहले, ब्लॉक-स्ट्रक्चर्ड मॉडलों का उपयोग करना एक जुए जैसा था—आपको एक उत्तर मिल सकता था, लेकिन आप सुनिश्चित नहीं थे कि वह सही है या गणित किसी छोटी ढलान में फंस गया था।

अब, मनोविज्ञान, अर्थशास्त्र और आनुवंशिकी के शोधकर्ताओं के पास एक कठोर टूलकिट है। वे अपने अध्ययन को विशिष्ट ब्लॉक संरचनाओं के साथ डिजाइन कर सकते हैं, यह जांच सकते हैं कि वे M-Q कंडीशन को पूरा करते हैं या नहीं, और फिर लेखकों के एल्गोरिदम का उपयोग करके ऐसे उत्तर प्राप्त कर सकते हैं जो गणितीय रूप से सर्वोत्तम होने की गारंटी देते हैं, और उनके पास यह बताने का एक स्पष्ट पैमाना भी है कि वे कितने आश्वस्त हैं। यह एक "शायद" को "निश्चित रूप से" में बदल देता है, जिससे उन छिपी हुई शक्तियों के बारे में अधिक विश्वसनीय खोज संभव होती है जो हमारी दुनिया को आकार देती हैं।