📊 statistics

Missing-Data-Induced Phase Transitions in Spectral PLS for Multimodal Learning

यह शोध पत्र लापता प्रविष्टियों वाले उच्च-आयामी बहुविध डेटा (multimodal data) पर आंशिक न्यूनतम वर्ग (Partial Least Squares - PLS) के प्रदर्शन का विश्लेषण करता है, जो एक तीव्र चरण संक्रमण (phase transition) को प्रकट करता है जहाँ साझा गुप्त संरचनाओं की रिकवरी केवल तभी संभव हो पाती है जब सिग्नल की शक्ति डेटा प्रतिधारण प्रायिकता (data retention probability) के वर्गमूल द्वारा कम की गई एक महत्वपूर्ण सीमा से अधिक हो जाती है।

मूल लेखक: Anders Gjølbye, Ida Kargaard, Emma Kargaard, Lina Skerath, Lars Kai Hansen

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anders Gjølbye, Ida Kargaard, Emma Kargaard, Lina Skerath, Lars Kai Hansen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) का विवरण दिया गया है।

मुख्य विचार: शोर-शराबे वाले, टूटे हुए कमरे में संकेत (Signal) खोजना

कल्पना कीजिए कि आप दो अलग-अलग लोगों को एक ही घटना का वर्णन करते हुए सुनकर एक जटिल कहानी समझने की कोशिश कर रहे हैं। आइए उन्हें एलेक्स (व्यू X) और जेमी (व्यू Y) कहें।

एक आदर्श दुनिया में, आपके पास उन दोनों के बोलने की एक स्पष्ट, निर्बाध रिकॉर्डिंग होगी। आप आसानी से उन हिस्सों को ढूंढ पाएंगे जहाँ वे मुख्य कथानक (plot points) पर सहमत होते हैं (जिसे "साझा संरचना" या "shared structure" कहा जाता है)। डेटा साइंस में, पार्शियल लीस्ट स्क्वायर्स (PLS) नामक एक विधि एक "सुपर-लिसनर" (अति-कुशल श्रोता) की तरह है जो एलेक्स और जेमी के शब्दों के बीच संबंध (correlation) देखकर इन साझा कथानक बिंदुओं को खोज लेती है।

समस्या: वास्तविक दुनिया में, रिकॉर्डिंग टूटी हुई है।

एलेक्स बातचीत से अचानक गायब हो जाता है (व्यू X में मिसिंग डेटा)।
जेमी भी अचानक गायब हो जाती है (व्यू Y में मिसिंग डेटा)।
कभी-कभी, वे दोनों ठीक एक ही समय पर गायब हो जाते हैं।

यह शोध पत्र एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: हम कितनी बातचीत खो सकते हैं इससे पहले कि हमारा सुपर-लिसनर (PLS) कहानी को समझना बंद कर दे और केवल अनुमान लगाने लगे?

खोज: "क्रिटिकल थ्रेशोल्ड" (महत्वपूर्ण सीमा)

लेखकों ने पाया कि एक टिपिंग पॉइंट (निर्णायक बिंदु), या एक "फेज ट्रांजिशन" होता है। इसे एक लाइट बल्ब पर लगे डिमर स्विच की तरह समझें।

बहुत अंधेरा (थ्रेशोल्ड से नीचे): यदि सिग्नल (वास्तविक कहानी) बैकग्राउंड शोर की तुलना में बहुत कमजोर है, और बहुत सारे शब्द गायब हैं, तो हमारा सुपर-लिसनर अंधा हो जाता है। वह वास्तविक कहानी और रैंडम स्टैटिक (शोर) के बीच अंतर नहीं कर पाता। यह ऐसे परिणाम देता है जो अर्थपूर्ण लगते हैं, लेकिन वास्तव में वे केवल शोर होते हैं।
पर्याप्त चमक (थ्रेशोल्ड से ऊपर): एक बार जब सिग्नल गायब शब्दों और शोर पर काबू पाने के लिए पर्याप्त मजबूत हो जाता है, तो रोशनी अचानक जल उठती है। सुपर-लिसनर तुरंत उच्च सटीकता के साथ वास्तविक साझा कहानी को पकड़ना शुरू कर देता है।

शोध पत्र में एक सटीक गणितीय सूत्र दिया गया है जो बताता है कि वह "स्नैप" (रोशनी का अचानक जलना) ठीक कहाँ होता है।

"मिसिंगनेस पेनल्टी" (डेटा की कमी का दंड)

उनके गणित का सबसे महत्वपूर्ण निष्कर्ष यहाँ है: मिसिंग डेटा एक ऐसे वॉल्यूम नॉब की तरह है जिसे कम कर दिया गया है।

यदि एलेक्स और जेमी दोनों के कुछ शब्द गायब हैं, तो यह केवल 30% सूचना की हानि नहीं है। शोध पत्र दिखाता है कि यह मिसिंग डेटा प्रभावी रूप से एक विशिष्ट कारक द्वारा सिग्नल के वॉल्यूम को कम कर देता है।

उपमा: कल्पना कीजिए कि आप एक शोर भरे कमरे में फुसफुसाहट सुनने की कोशिश कर रहे हैं। यदि आप अपने कानों को हाथों से 30% ढक लेते हैं (मिसिंग डेटा), तो आप केवल 30% ध्वनि नहीं खोते; आपको फुसफुसाहट को स्पष्ट रूप से सुनने के लिए बहुत ज़ोर से चिल्लाना होगा।
नियम: शोध पत्र सिद्ध करता है कि यदि आपके पास एक निश्चित मात्रा में मिसिंग डेटा है, तो आपको सिग्नल को $1/\sqrt{\rho}$ के कारक से अधिक मजबूत होना चाहिए (जहाँ $\rho$ $ρ$ वह प्रतिशत है जो अभी भी मौजूद है)।
- यदि आप दोनों पक्षों से 50% डेटा खो देते हैं, तो आपको पूर्ण डेटा वाले परिणाम के समान परिणाम प्राप्त करने के लिए 4 गुना अधिक सिग्नल स्ट्रेंथ की आवश्यकता होगी।

"मैजिक फॉर्मूला" (जादुई सूत्र)

लेखकों ने एक विशिष्ट सूत्र विकसित किया है जो यह भविष्यवाणी करता है कि "रोशनी कब चमकेगी।" यह तीन चीजों पर निर्भर करता है:

आपके पास कितना डेटा है: (सैंपल्स की संख्या)।
आपका डेटा कितना बड़ा है: (फीचर्स या कहानी के शब्दों की संख्या)।
कितना डेटा गायब है: (रिटेंशन रेट)।

यदि आप इन संख्याओं को उनके सूत्र में डालते हैं, तो आपको एक क्रिटिकल थ्रेशोल्ड प्राप्त होता है।

यदि आपका सिग्नल स्ट्रेंथ इस संख्या से कम है: तो आप "डार्क ज़ोन" (अंधेरे क्षेत्र) में हैं। परिणाम बेकार हैं।
यदि आपका सिग्नल स्ट्रेंथ इस संख्या से अधिक है: तो आप "लाइट ज़ोन" (प्रकाश क्षेत्र) में हैं। परिणाम विश्वसनीय और सटीक हैं।

वास्तविक दुनिया का परीक्षण: क्या यह वास्तविक जीव विज्ञान (Biology) के साथ काम करता है?

यह सिद्ध करने के लिए कि यह केवल एक गणितीय ट्रिक नहीं थी, उन्होंने वास्तविक जैविक डेटा (जैसे कैंसर जीन डेटा और सेल डेटा) पर इसका परीक्षण किया।

उन्होंने वास्तविक रिकॉर्ड के हिस्सों को रैंडमली डिलीट करके "मिसिंग डेटा" का अनुकरण (simulate) किया।
उन्होंने पाया कि वास्तविक, अस्त-व्यस्त जैविक डेटा के साथ भी, "लाइट स्विच" वाला व्यवहार सही साबित हुआ।
आश्चर्य: इससे कोई फर्क नहीं पड़ा कि "कहानी" रैंडम शोर थी या जटिल जैविक पैटर्न। यह नियम कि विधि कब काम करती है या विफल होती है, समान रहा। यह केवल सिग्नल-टू-नॉइज़ रेशियो और मिसिंग डेटा की मात्रा पर निर्भर करता है।

शोध पत्र से व्यावहारिक सलाह

लेखक इस विधि का उपयोग करने वाले किसी भी व्यक्ति के लिए एक सरल नियम देते हैं:

"मिसिंग डेटा महंगा है।"
यदि आपके पास बहुत अधिक मिसिंग डेटा है, तो आपको अच्छे परिणाम प्राप्त करने के लिए बहुत मजबूत सिग्नल की आवश्यकता है। यदि आपके पास मजबूत सिग्नल नहीं है, तो विधि विफल हो जाएगी, और आपको इसका पता तब तक नहीं चलेगा जब तक कि आप अपने परिणामों की "स्थिरता" (stability) की जाँच न करें (एक तकनीक जिसे वे "स्प्लिट-हाफ स्टेबिलिटी" कहते हैं—जो कि टूटी हुई रिकॉर्डिंग को सुनने के लिए दो अलग-अलग समूहों के लोगों से पूछने जैसा है कि क्या वे कहानी पर सहमत हैं)।

सारांश

यह शोध पत्र हमें बताता है कि जब जोड़े गए डेटा (paired data) का विश्लेषण किया जाता जिसमें कुछ हिस्से गायब होते हैं, तो एक कठोर सीमा होती है। मिसिंग डेटा या सिग्नल स्ट्रेंथ के एक निश्चित बिंदु से नीचे, गणित विफल हो जाता है और आपको कचरा (garbage) परिणाम देता है। उस बिंदु के ऊपर, यह पूरी तरह से काम करता है। उन्होंने हमें उस सीमा की गणना करने के लिए सटीक सूत्र दिया है, ताकि हमें पता चल सके कि हमारा डेटा उपयोगी होने के लिए कितना मजबूत होना चाहिए।

तकनीकी सारांश: मल्टीमॉडल लर्निंग के लिए स्पेक्ट्रल PLS में लुप्त-डेटा-प्रेरित चरण संक्रमण (Phase Transitions)

समस्या विवरण

मल्टीमॉडल लर्निंग में अक्सर युग्मित डेटा व्यूज़ $(X, Y)$ से साझा निम्न-आयामी संरचनाओं (low-dimensional structures) को निकालना शामिल होता है। जबकि पार्शियल लीस्ट स्क्वायर्स (PLS), विशेष रूप से इसके सिंगुलर वैल्यू डीकंपोजिशन (PLS-SVD) के माध्यम से स्पेक्ट्रल स्वरूपण, इस कार्य के लिए एक मानक उपकरण है, वास्तविक दुनिया के मल्टीमॉडल डेटासेट में अधिग्रहण विफलताओं या विषम पाइपलाइनों के कारण दोनों व्यूज़ में अक्सर प्रविष्टियाँ (entries) गायब होती हैं।

यह शोध पत्र संबोधित करता है कि जब दोनों व्यूज़ में Missing-Completely-At-Random (MCAR) मास्किंग होती है, तो PLS-SVD के मौलिक सीमाएँ क्या हैं। विशेष रूप से, लेखक निम्नलिखित की जांच करते हैं:

किन परिस्थितियों में PLS-SVD लुप्त डेटा के होने पर साझा संरचना को पुनः प्राप्त करने में विफल रहता है?
लुप्त होने की प्रक्रिया (missingness mechanism) रिकवरी थ्रेशोल्ड और अनुमानित एवं वास्तविक सिंगुलर वेक्टर्स के एसिम्प्टोटिक ओवरलैप को मात्रात्मक रूप से कैसे बदलती है?
क्या एक तीव्र चरण संक्रमण (sharp phase transition) मौजूद है जहाँ एस्टिमेटर सिग्नल स्ट्रेंथ बढ़ने के साथ 'अनइंफॉर्मेटिव' से 'इंफॉर्मेटिव' अवस्था में स्थानांतरित हो जाता है?

कार्यप्रणाली (Methodology)

सैद्धांतिक ढांचा (Theoretical Framework)

लेखक एक प्रोपोर्शनल हाई-डायमेंशनल स्पाइक्ड मॉडल के भीतर PLS-SVD का विश्लेषण करते हैं।

सेटअप: मान लीजिए कि $N$ नमूने हैं और $D_x, D_y$ दो व्यूज़ के फीचर डायमेंशन हैं। आस्पेक्ट रेश्यो (aspect ratios) $\alpha_x = N/D_x$ और $\alpha_y = N/D_y$ हैं।
सिग्नल मॉडल: पूर्ण (अनमास्क्ड) डेटा एक रैंक-1 स्पाइक्ड मॉडल का अनुसरण करता है जहाँ $Y_\star = \theta (X_\star u_0)v_0^\top + Z$ है, जहाँ $X_\star$ विटनड (whitened) है, $u_0, v_0$ यूनिट सिग्नल वेक्टर्स हैं, और $Z$ i.i.d. गॉसियन नॉइज़ है।
लुप्त होना (Missingness): स्वतंत्र MCAR मास्क $S_x$ और $S_y$ लागू किए जाते हैं, जिनमें रिटेंशन प्रोबेबिलिटी $\rho_x$ और $\rho_y$ है। संयुक्त रिटेंशन प्रोबेबिलिटी $\rho = \rho_x \rho_y$ है। लुप्त प्रविष्टियों को शून्य माना जाता है।
एस्टिमेटर: एल्गोरिदम रिसेल्ड एम्पिरिकल क्रॉस-कोवेरिएंस मैट्रिक्स $C = \frac{1}{N\sqrt{\rho}} X^\top Y$ के अग्रणी सिंगुलर वेक्टर्स की गणना करता है।

विश्लेषणात्मक दृष्टिकोण (Analytical Approach)

लेखक रेप्लिका सिमेट्री (Replica Symmetry - RS) विश्लेषण का उपयोग करते हैं, जो सांख्यिकीय भौतिकी (statistical physics) की एक तकनीक है जिसका उपयोग उच्च-आयामी रैंडम मैट्रिक्स समस्याओं के अध्ययन के लिए किया जाता है।

स्पाइक्ड मॉडल में न्यूनीकरण: लेखक प्रदर्शित करते हैं कि डुअल MCAR मास्किंग के तहत, अवलोकित क्रॉस-कोवेरिएंस मैट्रिक्स एसिम्प्टोटिक रूप से एक स्पाइक्ड रेक्टेंगुलर रैंडम मैट्रिक्स की तरह व्यवहार करता है। महत्वपूर्ण रूप से, लुप्त होना सिग्नल स्ट्रेंथ के एक मल्टीप्लिकेटिव एटेन्यूएशन (attenuation) के रूप में कार्य करता है, जो एक प्रभावी स्पाइक $\theta_{\text{eff}} = \sqrt{\rho} \theta$ को परिभाषित करता है।
फ्री एनर्जी ऑप्टिमाइजेशन: सोर्स फील्ड्स को पेश करके और ज़ीरो-टेम्परेचर लिमिट ( $\beta \to \infty$ ) लेकर, लेखक एक रेप्लिका-सिमेट्रिक फ्री एनर्जी डेंसिटी प्राप्त करते हैं। इसे एसिम्प्टोटिक ओवरलैप्स खोजने के लिए अनुकूलित किया जाता है।
फेज ट्रांजिशन का व्युत्पत्ति: विश्लेषण एक क्रिटिकल थ्रेशोल्ड स्थिति प्रदान करता है। इस थ्रेशोल्ड से नीचे, अग्रणी सिंगुलर वेक्टर्स वास्तविक सिग्नल के एसिम्प्टोटिक रूप से ऑर्थोगोनल (orthogonal) होते हैं (शून्य ओवरलैप)। इसके ऊपर, गैर-तुच्छ संरेखण (non-trivial alignment) प्राप्त किया जाता है।

मुख्य योगदान (Key Contributions)

तीव्र चरण संक्रमण भविष्यवाणी (Sharp Phase Transition Prediction): पेपर डुअल मिसिंगनेस के तहत PLS-SVD के लिए एक क्लोज्ड-फॉर्म क्रिटिकल थ्रेशोल्ड $\theta_{\text{crit}}$ व्युत्पन्न करता है:
$\theta_{\text{crit}} = \frac{1}{(\alpha_x \alpha_y)^{1/4} \sqrt{\rho}}$
यह स्थापित करता है कि लुप्त डेटा प्रभावी रूप से आवश्यक सिग्नल-टू-नॉइज़ रेशियो को $\sqrt{\rho}$ के कारक से बढ़ा देता है।
एसिम्प्टोटिक ओवरलैप फॉर्मूला: सिग्नल स्ट्रेंथ $\theta > \theta_{\text{crit}}$ के लिए, लेखक अनुमानित और वास्तविक सिंगुलर वेक्टर्स के बीच एसिम्प्टोटिक स्क्वेर्ड ओवरलैप्स $r_x^2$ और $r_y^2$ के लिए स्पष्ट सूत्र प्रदान करते हैं। ये सूत्र आस्पेक्ट रेश्यो, संयुक्त रिटेंशन प्रोबेबिलिटी और सिग्नल स्ट्रेंथ पर निर्भर करते हैं।
फाइनाइट-रैंक एक्सटेंशन (कन्जेक्चर): लेखक यह अनुमान (conjecture) लगाते हैं कि अलग-अलग स्पाइक्स वाले रैंक- $k$ लेटेंट स्ट्रक्चर के लिए, सिंगल-स्पाइक थ्रेशोल्ड घटक-वार (component-wise) लागू होता है। अर्थात, $i$ -वाँ घटक तभी रिकवरेबल है यदि उसकी विशिष्ट स्ट्रेंथ $\theta_i$ समायोजित थ्रेशोल्ड $\theta_{\text{crit}}$ से अधिक हो।
अनुभवजन्य सत्यापन (Empirical Validation):
- सिंथेटिक प्रयोग: मोंटे कार्लो सिमुलेशन पुष्टि करते हैं कि प्रेडिक्टेड फेज बाउंड्री और ओवरलैप कर्व्स विभिन्न आस्पेक्ट रेश्यो, सिग्नल स्ट्रेंथ और मिसिंगनेस रेट्स के लिए सटीक हैं।
- सेमी-सिंथेटिक प्रयोग: वास्तविक जैविक डेटासेट (TCGA BRCA और PBPB MC Multiome) का उपयोग करके, लेखक अनुभवजन्य सिग्नल दिशाओं को निकालते हैं और सत्यापित करते हैं कि सैद्धांतिक चरण संक्रमण जैविक डेटा पर भी लागू होता है।
- व्यावहारिक डायग्नोस्टिक्स: पेपर एक "स्प्लिट-हाफ स्टेबिलिटी" मेट्रिक प्रस्तावित करता है जो ग्राउंड-ट्रुथ-मुक्त डायग्नोस्टिक के रूप में कार्य करता है ताकि यह पता लगाया जा सके कि सिस्टम रिकवरेबल रिजीम में है या नहीं।

परिणाम (Results)

एटेन्यूएशन प्रभाव (Attenuation Effect): मुख्य निष्कर्ष यह है कि डुअल मिसिंगनेस प्रभावी सिग्नल-टू-नॉइज़ रेशियो को $\sqrt{\rho}$ से कम कर देती है। उदाहरण के लिए, दोनों व्यूज़ में 30% ड्रॉपआउट दर ( $\rho \approx 0.49$ ) के लिए, पूर्णतः देखे गए मामले के समान रिकवरी प्रदर्शन बनाए रखने के लिए सिग्नल स्ट्रेंथ में $1/\sqrt{0.49} \approx 1.43\times$ की वृद्धि की आवश्यकता होती है।
फेज डायग्राम: अनइंफॉर्मेटिव से इंफॉर्मेटिव रिकवरी का संक्रमण तीव्र है। सैद्धांतिक फेज बाउंड्री और एम्पिरिकल हीटमैप्स के बीच उच्च सहसंबंध ( $r > 0.99$ ) है।
मजबूती (Robustness):
- फेज ट्रांजिशन की स्थिति MCAR से मध्यम विचलन (जैसे, Missing-At-Random) के प्रति मजबूत है, हालांकि यदि मिसिंगनेस सिग्नल-डिपेंडेंट है तो रिकवरी की गुणवत्ता घट जाती है।
- सिद्धांत विभिन्न नॉइज़ डिस्ट्रीब्यूशन के लिए मान्य है, हालांकि अनंत-कुर्टोसिस नॉइज़ (जैसे, Student-t $\nu=3$ ) सुपरक्रिटिकल ओवरलैप्स को कम कर देता है।
- उचित नॉर्मलाइजेशन के साथ "मिसिंग-एज़-ज़ीरो" PLS-SVD, जटिल इम्प्यूटेशन बेसलाइन्स (EM-PLS, Iterative SVD) के मुकाबले प्रतिस्पर्धी प्रदर्शन करता है, जो बेहतर कम्प्यूटेशनल दक्षता प्रदान करता है।
प्रीप्रोसेसिंग: काउंट-वैल्यूड डेटा (जैसे, RNA-seq) के लिए, व्हाइटनिंग के साथ संरेखित करने के लिए वेरिएंस-स्टेबिलाइजिंग ट्रांसफॉर्मेशन (rank normalization, sqrt-CPM) आवश्यक हैं; रॉ या लॉग-CPM रूपांतरण विचलन पैदा करते हैं।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यह दोनों व्यूज़ में लुप्त डेटा की उपस्थिति में स्पेक्ट्रल PLS की मौलिक सीमाओं का पहला कठोर लक्षण वर्णन प्रदान करता है। स्पाइक्ड रैंडम मैट्रिक्स थ्योरी और BBP (Baik-Ben Arous-Péché) ट्रांजिशन के संदर्भ में इस समस्या को फ्रेम करके, लेखक निम्नलिखित प्रदान करते हैं:

एक प्रेडिक्टिव टूल: एक सटीक सूत्र जो यह निर्धारित करता है कि क्या लुप्त प्रविष्टियों वाला दिया गया मल्टीमॉडल डेटासेट पर्याप्त सिग्नल रखता है ताकि PLS-SVD सफल हो सके।
एक मैकेनिस्टिक समझ: मिसिंगनेस को एक जटिल संरचनात्मक भ्रष्टाचार के बजाय एक सरल मल्टीप्लिकेटिव एटेन्यूशन के रूप में पहचानना, स्पेक्ट्रल मेथड्स में लुप्त-डेटा समस्याओं के विश्लेषण को सरल बनाता है।
व्यावहारिक मार्गदर्शन: यह कार्य सुझाव देता है कि हाई-डायमेंशनल सेटिंग्स में, रिटेंशन प्रोबेबिलिटी के लिए सिग्नल स्ट्रेंथ को समायोजित करते हुए, "मिसिंग-एज़-ज़ीरो" डेटा के लिए सरल नॉर्मलाइजेशन पर्याप्त है। यह यह भी रेखांकित करता है कि जब ग्राउंड ट्रुथ उपलब्ध न हो, तो स्प्लिट-हाफ स्टेबिलिटी एक व्यावहारिक प्रॉक्सी के रूप में काम कर सकती है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि विश्लेषण MCAR, i.i.d. गॉसियन नॉइज़ और एक विटनड डिज़ाइन मानता है। वे स्वीकार करते हैं कि फाइनाइट-रैंक एक्सटेंशन एक कन्जेक्चर है जिसे प्रयोगों द्वारा समर्थित किया गया है लेकिन कड़ाई से सिद्ध नहीं किया गया है, और यह तर्क सीधे CCA पर लागू नहीं होता है जहाँ मास्किंग व्यू-विशिष्ट कोवेरिएंस ज्योमेट्री को बाधित करती है।