🔬 condensed matter

The limits of interpretability in multiple linear regression

यह शोधपत्र प्रदर्शित करता है कि मल्टीपल लीनियर रिग्रेशन में मल्टीकोलिनैरिटी (multicollinearity), वेट फ्लक्चुएशन (weight fluctuations) को बढ़ाकर और सह-संबंधित फीचर्स के बीच ऑसिलेटरी पैटर्न (oscillatory patterns) उत्पन्न करके भौतिक व्याख्यात्मकता (physical interpretability) को कमजोर करती है, एक ऐसी घटना जिसे रिज रेगुलराइजेशन (Ridge regularization) द्वारा कम किया जा सकता है लेकिन पूरी तरह से हल नहीं किया जा सकता।

मूल लेखक: Anand Sharma, Chen Liu, Daniele Coslovich, Misaki Ozawa

प्रकाशित 2026-06-16

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anand Sharma, Chen Liu, Daniele Coslovich, Misaki Ozawa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी तस्वीर: क्यों "सरल" गणित पेचीदा हो सकता है

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: कौन सी चीज़ एक पदार्थ को सुपरकंडक्टर (एक ऐसा पदार्थ जिसमें बिजली का प्रतिरोध शून्य होता है) बनाती है?

आपके पास सुरागों (विशेषताओं/features) की एक सूची है जैसे परमाणुओं का वजन, उनका आकार, इलेक्ट्रॉन को बाहर निकालने के लिए कितनी ऊर्जा चाहिए, आदि। आप यह पता लगाने के लिए कि कौन से सुराग सबसे महत्वपूर्ण हैं, मल्टीपल लीनियर रिग्रेशन (Multiple Linear Regression) नामक एक सरल उपकरण का उपयोग करना चाहते हैं।

आमतौर पर, लोग लीनियर रिग्रेशन को मशीन लर्निंग का "ईज़ी मोड" मानते हैं। यह एक सरल रेसिपी की तरह है:

भविभष्यवाणी (Prediction) = (सुराग A का वजन × महत्व स्कोर A) + (सुराग B का वजन × महत्व स्कोर B) + ...

यदि "परमाणु आकार" के लिए "महत्व स्कोर" (वजन) बहुत बड़ा और सकारात्मक (positive) है, तो आप सोचते हैं, "अहा! बड़े परमाणु ही असली कुंजी हैं!" यदि यह नकारात्मक (negative) है, तो आप सोचते हैं, "छोटे परमाणु ही असली कुंजी हैं!"

यह शोध पत्र तर्क देता है कि यह सरल तर्क अक्सर विफल हो जाता है। भले ही गणित सरल है, लेकिन यदि आपके सुराग आपस में बहुत अधिक समान हैं, तो "महत्व स्कोर" अराजक, अस्थिर और अविश्वसनीय हो जाते हैं।

समस्या: "जुड़वा" सुराग (Multicollinearity)

इस कहानी का मुख्य खलनायक मल्टीकोलिनैरिटी (Multicollinearity) है। यह तब होता है जब आपके दो या दो से अधिक सुराग इतने समान होते हैं कि वे व्यावहारिक रूप से जुड़वा भाई बन जाते हैं।

उपमा: जुड़वा भाई
कल्पना कीजिए कि आप किसी व्यक्ति की लंबाई का अनुमान लगाने की कोशिश कर रहे हैं। आपके पास दो सुराग हैं:

सुराग A: सेंटीमीटर में व्यक्ति की लंबाई।
बदला हुआ सुराग B: इंच में व्यक्ति की लंबाई।

ये दोनों सुराग पूरी तरह से सह-संबंधित (correlated) हैं। यदि आप एक को जानते हैं, तो आप दूसरे को भी जानते हैं। वे "जुड़वा" हैं।

अब, कल्पना कीजिए कि आप इन दो सुरागों का उपयोग करके लंबाई का अनुमान लगाने के लिए एक मॉडल बनाने की कोशिश करते हैं। गणित भ्रमित हो जाता है। वह पूछता है: "लंबाई का कितना हिस्सा सेंटीमीटर के कारण है, और कितना इंच के कारण है?"

चूंकि वे जुड़वा हैं, गणित निर्णय नहीं ले पाता।

एक प्रयोग में, यह कह सकता है: "सेंटीमीटर बहुत महत्वपूर्ण है (+100), और इंच बहुत महत्वहीन है (-100)।"
अगले प्रयोग में (थोड़े अलग डेटा का उपयोग करते हुए), यह बदल सकता है: "सेंटीमीटर -100 है, और इंच +100 है।"

कुल भविष्यवाणी (योग) सटीक रहती है, लेकिन व्यक्तिगत स्कोर एक पेंडुलम की तरह पागलों की तरह झूलते रहते हैं। इसे ही यह शोध पत्र वेट फ्लक्चुएशन (Weight Fluctuations) कहता है।

शोध पत्र में पाई गई विशिष्ट समस्याएँ

लेखकों ने वास्तविक भौतिक डेटा (सुपरकंडक्टर्स और ग्लास सी लिक्विड्स) का अध्ययन किया और दो विशिष्ट दुःस्वप्न पाए:

1. "थरथराते" वजन (Dataset-to-Dataset Fluctuations)

यदि आप अपने मॉडल को डेटा के एक बैच पर प्रशिक्षित करते हैं, तो आपको स्कोर का एक सेट मिलता है। यदि आप इसे एक दूसरे बैच पर प्रशिक्षित करते हैं (भले ही वह उसी भौतिक प्रयोग से हो), तो स्कोर पूरी तरह से बदल जाते हैं।

रूपक: कल्पना कीजिए कि आप एक थोड़े डगमगाते तराजू पर एक पंख को तौलने की कोशिश कर रहे हैं। यदि आप पंख रखते हैं, तो तराजू कहता है "5 ग्राम"। आप उसे हटाते हैं, वापस रखते हैं, और वह कहता है "-3 ग्राम"। पंख नहीं बदला, लेकिन माप अस्थिर है।
परिणाम: आप उन नंबरों पर भरोसा नहीं कर सकते कि भौतिक रूप से क्या महत्वपूर्ण है क्योंकि वे हर बार देखने पर बदल जाते हैं।

2. "झूले" वाले वजन (The See-Saw Effect)

यह सबसे अजीब हिस्सा है। शोध पत्र ने पाया कि जब आपके पास क्रमबद्ध सुरागों की एक सूची होती है (जैसे "स्केल 1 पर परमाणु आकार," "स्केल 2 पर परमाणु आकार," "स्केल 3 पर परमाणु आकार"), तो स्कोर केवल थरथराते नहीं हैं; वे दोलन (oscillate) करते हैं।

रूपक: डोमिनोज़ (dominoes) की एक पंक्ति की कल्पना करें। यदि आप पहले को धक्का देते हैं, तो दूसरा ऊपर जाता है, तीसरा नीचे जाता है, चौथा ऊपर जाता है, और इसी तरह।
वास्तविकता: डेटा में, "स्केल 1 पर परमाणु आकार" को बहुत बड़ा सकारात्मक स्कोर मिल सकता है। "स्केल 2 पर परमाणु आकार" (जो लगभग एक ही चीज़ है) को बहुत बड़ा नकारात्मक स्कोर मिल सकता है। "स्केल 3" फिर से सकारात्मक हो जाता है।
यह क्यों मायने रखता है: यह भौतिक रूप से कोई अर्थ नहीं रखता। यदि दो चीजें भौतिक रूप से समान हैं, तो उनके स्कोर भी समान होने चाहिए। इसके बजाय, गणित उन्हें एक अराजक नृत्य में एक-दूसरे को काटने (cancel करने) के लिए मजबूर करता है।

यह क्यों होता है? (छिपी हुई प्रक्रिया)

लेखकों ने इसे समझाने के लिए आइजनमोड डिकंपोजिशन (Eigenmode Decomposition) नामक एक गणितीय उपकरण का उपयोग किया। इसे अपने डेटा के "कंपनों" (vibrations) को देखने के रूप में समझें।

उपमा: एक गिटार के तार की कल्पना करें। इसमें एक मुख्य कंपन (वह स्वर जो आप सुनते हैं) और कुछ बहुत छोटे, उच्च-आवृत्ति वाले कंपन (overtones) होते हैं।
गणित: जब आपके सुराग बहुत समान होते हैं (multicollinearity), तो आपके डेटा का "गिटार का तार" कुछ बहुत कमजोर, डगमगाते कंपन (छोटे आइजनवैल्यू) पैदा करता है।
क्रैश: लीनियर रिग्रेशन गणित इन कमजोर कंपनों को भविष्यवाणी करने के लिए बढ़ाना (amplify) चाहता है। लेकिन चूंकि ये इतने कमजोर हैं, इसलिए डेटा में कोई भी मामूली शोर (noise) इन स्कोर में एक विशाल, जंगली उछाल में बदल जाता है। यही वे कमजोर कंपन हैं जो "सी-सॉ" (see-saw) जैसा दोलन पैदा कर रहे हैं।

"समाधान": रिज रेगुलराइजेशन (Ridge Regularization)

शोध पत्र रिज रिग्रेशन (Ridge Regression) नामक एक सामान्य समाधान का परीक्षण करता है।

उपमा: फिर से उस डगमगाते तराजू की कल्पना करें। रिज रिग्रेशन एक भारी, सख्त स्प्रिंग जोड़ने जैसा है। यह सुई को बेतहाशा झूलने नहीं देता। यह सुई को शून्य के करीब रहने के लिए मजबूर करता है जब तक कि सबूत बहुत अधिक न हो।
परिणाम: यह "स्प्रिंग" (गणितीय दंड/penalty) उन जंगली दोलनों को रोकता है और स्कोर को स्थिर करता है। स्कोर बहुत अधिक शांत और सुसंगत हो जाते हैं।

हालांकि, एक पेंच है:
शोध पत्र चेतावनी देता है कि इस सुधार के साथ भी, आप केवल एक नंबर चुनकर यह नहीं कह सकते कि, "यही सत्य है।"

यदि आप स्प्रिंग को बहुत सख्त बनाते हैं, तो आप सभी सुरागों को शून्य की ओर कुचल देते हैं (आप जानकारी खो देते हैं)।
यदि आप इसे बहुत ढीला छोड़ देते हैं, तो थरथराहट वापस आ जाती है।
महत्वपूर्ण: शोध पत्र दिखाता है कि आप स्प्रिंग की कई अलग-अलग सेटिंग्स के साथ भी वही सटीक भविष्यवाणी प्राप्त कर सकते हैं, लेकिन प्रत्येक सेटिंग के लिए "व्याख्या" (वजन) पूरी तरह से अलग दिखेगी।

निष्कर्ष (The Bottom Line)

लीनियर रिग्रशन हमेशा सरल नहीं होता: सिर्फ इसलिए कि फॉर्मूला सरल दिखता है, इसका मतलब यह नहीं है कि परिणाम समझना आसान है।
सहसंबंध (Correlation) खतरनाक है: यदि आपके सुराग बहुत समान हैं, तो गणित भ्रमित हो जाता है और अस्थिर, दोलन करने वाले उत्तर देता है जो शोर (noise) की तरह दिखते हैं।
भविष्यवाणी $\neq$ समझ: आप एक ऐसा मॉडल प्राप्त कर सकते हैं जो भविष्य की सटीक भविष्यवाणी करता है, लेकिन इसके द्वारा दिए गए "कारण" (वजन) इस अस्थिरता के कारण भौतिक रूप से अर्थहीन हो सकते हैं।
समाधान कोई जादुई बटन नहीं है: रिज (Ridge) जैसा गणितीय सुधार जोड़ने से मदद मिलती है, लेकिन यह मूल समस्या को हल नहीं करता है। वास्तविक भौतिकी को समझने के लिए, आपको संभवतः फीचर सिलेक्शन (Feature Selection) करने की आवश्यकता होगी—जिसका अर्थ है मैन्युअल रूप से सबसे अच्छे, सबसे अद्वितीय सुराग चुनना और गणित शुरू करने से पहले ही "जुड़वा" सुरागों को हटा देना।

संक्षेप में: नंबरों पर आँख मूंदकर भरोसा न करें। यदि आपके डेटा में बहुत अधिक समान सुराग हैं, तो "महत्व स्कोर" केवल गणितीय भ्रम का प्रतिबिंब हैं, न कि भौतिक वास्तविकता का।

तकनीकी सारांश: बहु-रेखीय प्रतिगमन (Multiple Linear Regression) में व्याख्यात्मकता की सीमाएँ

समस्या विवरण
यद्यपि बहु-रेखीय प्रतिगमन (MLR) को डीप न्यूरल नेटवर्क जैसे जटिल मॉडलों के मुकाबले एक व्याख्या योग्य विकल्प माना जाता है, लेकिन भौतिक विज्ञान में इसकी उपयोगिता तब बाधित हो जाती है जब इनपुट विशेषताएँ (features) आपस में दृढ़ता से सह-संबंधित (strongly correlated) होती हैं (बहु-सहसंबंध या multicollinearity)। ऐसे परिदृश्यों में, सीखे गए भार (weights)—जिन्हें आमतौर पर विशेषता के महत्व के माप के रूप में व्याख्या किया जाता है—दो महत्वपूर्ण विकृतियों को प्रदर्शित करते हैं:

डेटासेट-से-डेटासेट उतार-चढ़ाव: अनुमानित भार एक ही अंतर्निहित वितरण (underlying distribution) से लिए गए विभिन्न नमूनों के बीच महत्वपूर्ण रूप से भिन्न होते हैं, जो सांख्यिकीय सुदृढ़ता को कमजोर करते हैं।
दोलन व्यवहार (Oscillatory behavior): भौतिक रूप से समान या आस-पास की विशेषताओं (जैसे, पड़ोसी तरंग दैर्ध्य पर स्पेक्ट्रल तीव्रता या समान लंबाई के पैमाने पर मोटे-ग्रेन वाले संरचनात्मक पैरामीटर) को दिए गए भार वैकल्पिक चिह्नों (alternating signs) और बड़े परिमाणों को प्रदर्शित करते हैं, जो भौतिक निरंतरता का उल्लंघन करते हैं।

यह शोध पत्र तर्क देता है कि हालांकि बहु-सहसंबंध के तहत भारों की अस्थिरता सांख्यिकी में ज्ञात है, इसके विशिष्ट परिणामों—विशेष रूप से गैर-भौतिक दोलन पैटर्न के निर्माण—को व्यवस्थित रूप से स्पष्ट नहीं किया गया है।

कार्यप्रणाली
लेखक फीचर सहसंबंध मैट्रिक्स ( $\mathbf{C}$ ) के आइगेनमोड अपघटन (eigenmode decomposition) पर आधारित एक एकीकृत सैद्धांतिक ढांचे का उपयोग करते हैं ताकि साधारण न्यूनतम वर्ग (OLS) और रिज (Ridge) प्रतिगमन दोनों का विश्लेषण किया जा सके।

सैद्धांतिक विश्लेषण: अध्ययन वेट एस्टिमेटर्स के सहप्रसरण (covariance) को एक फ्रीक्वेंटिस्ट दृष्टिकोण का उपयोग करके व्युत्पन्न करता है, जो सीमित नमूना आकार के कारण होने वाले उतार-चढ़ाव को शुद्ध रूप से बहु-सहसंबंध से प्रेरित उतार-चढ़ाव से अलग करता है। यह अनिश्चितता को मापने के लिए वेरिएंस इन्फ्लेशन फैक्टर (VIF) और एक बेयसियन परिप्रेक्ष्य का उपयोग करता है।
आइगेनमोड अपघटन: लेखक OLS समाधान ( $\hat{\mathbf{w}}_{OLS} = \mathbf{C}^{-1}\mathbf{R}$ ) को $\mathbf{C}$ के आइगेनवेक्टर्स ( $\mathbf{u}^{(k)}$ ) और आइगेनवैल्यूज़ ( $\lambda^{(k)}$ ) के संदर्भ में व्यक्त करते हैं। वे प्रदर्शित करते हैं कि छोटे आइगेनवैल्यूज़, जो बहु-सहसंबंध से जुड़े होते हैं, उतार-चढ़ाव को बढ़ाते हैं और विशिष्ट आइगेनवेक्टर पैटर्न उत्पन्न करते हैं।
संख्यात्मक सत्यापन: सैद्धांतिक भविष्यवाणियों का परीक्षण दो भौतिक डेटासेट्स पर किया गया है:
1. सुपरकंडक्टिविटी (Superconductivity): मौलिक भौतिक मात्राओं और सांख्यिकीय डिस्क्रिप्टर्स ( $d=81$ ) से क्रिटिकल टेम्परेचर ( $T_c$ ) की भविष्यवाणी करना।
2. ग्लासी डायनेमिक्स (Glassy Dynamics): कई लंबाई के पैमानों पर मोटे-ग्रेन किए गए स्थानीय संरचनात्मक मापदंडों से कण गतिशीलता (particle mobility) की भविष्यवाणी करना ( $d=60$ )।
सामान्यीकरण: व्यापकता का आकलन करने के लिए विविध सार्वजनिक डेटासेट्स (जैसे, वाइन क्वालिटी, एल नीनो, अप्लायंस एनर्जी) के संग्रह पर निष्कर्षों को मान्य किया गया है।

प्रमुख योगदान और परिणाम

उतार-चढ़ाव का तंत्र: शोध पत्र व्युत्पन्न करता है कि एक भार $\hat{w}^{(f)}$ का कंडीशनल वेरिएंस VIF के समानुपाती है, जिसे $1/(1-R^2[X^{(f)}, \hat{X}^{(f)}])$ के रूप में परिभाषित किया गया है। यह पुष्टि करता है कि बड़े डेटासेट्स के साथ भी, विशेषताओं के बीच मजबूत रैखिक निर्भरता भारों के वेरिएंस को बढ़ा देती है, जो नमूना आकार की सीमाओं से स्वतंत्र है।
दोलन का तंत्र: लेखक पहचानते हैं कि दोलनशील भार पैटर्न "सॉफ्ट मोड्स" (छोटे आइगेनवैल्यू से जुड़े आइगेनवेक्टर्स) के प्रवर्धन से उत्पन्न होते हैं। मजबूत सहसंबंधों की उपस्थिति में, छोटे आइगेनवैल्यू से संबंधित आइगेनवेक्टर्स एंटी-सिमेट्रिक या साइनुसोइडल जैसी संरचनाएं प्रदर्शित करते हैं। जब इन मोडों को OLS समाधान में $1/\lambda^{(k)}$ पद द्वारा प्रवर्धित किया जाता है, तो वे सह-संबंधित विशेषताओं के भारों में वैकल्पिक चिह्न उत्पन्न करते हैं।
रिज रेगुलराइजेशन की भूमिका:
- रिज प्रतिगमन समाधान को $\hat{\mathbf{w}}_{Ridge} = (\mathbf{C} + \alpha\mathbf{I})^{-1}\mathbf{R}$ में संशोधित करता है।
- रेगुलराइजेशन पैरामीटर $\alpha$ छोटे-आइगेनवैल्यू मोड ( $\lambda^{(k)} \ll \alpha$ ) के योगदान को दबा देता है, जिससे VIF और दोलन व्यवहार दोनों कम हो जाते हैं।
- शोध पत्र विविध डेटासेट्स में अधिकतम VIF के लिए एक सार्वभौमिक स्केलिंग व्यवहार स्थापित करता है: यह बहुत छोटे $\alpha$ पर एक प्लेटो (plateau) का अनुसरण करता है, एक मध्यवर्ती शासन में $1/(4\alpha)$ के रूप में स्केल करता है, और बड़े $\alpha$ के लिए $1/\alpha^2$ के रूप में घटता है।
- महत्वपूर्ण चेतावनी: जबकि रिज रेगुलराइजेशन भारों को स्थिर करता है, परिणामी भार पैटर्न $\alpha$ के चुनाव के प्रति अत्यधिक संवेदनशील होता है। भले ही भविष्यवाणी प्रदर्शन (जैसे, $R^2$ ) लगभग स्थिर रहता है, $\alpha$ को बदलने से भारों की भौतिक व्याख्या नाटकीय रूप से बदल सकती है। अतः, रिज भारों के लिए भी सावधानीपूर्वक व्याख्या की आवश्यकता है।
बेयसियन परिप्रेक्ष्य: विश्लेषण पुष्टि करता है कि जब MSE को न्यूनतम किया जाता है, तब भी भारों का पोस्टीरियर वितरण "सॉफ्ट मोड्स" (छोटे आइगेनवैल्यू की दिशाओं) के साथ विस्तृत बना रहता है। यह समझाता है कि अच्छी भविष्यवाणी प्रदर्शन गारंटी नहीं देती कि भार विश्वसनीय व्याख्या योग्य होंगे।

महत्ता और दावे
शोध पत्र यह व्यवस्थित सैद्धांतिक स्पष्टीकरण प्रदान करने का दावा करता है कि बहु-सहसंबंध की उपस्थिति में भौतिक व्याख्या कठिन क्यों बनी रहती है। यह दो अलग-अलग घटनाओं को अलग करता है—सांख्यिकीय उतार-चढ़ाव और भौतिक दोलन—जिन्हें अक्सर एक मान लिया जाता है।

लेखक निष्कर्ष निकालते हैं कि:

सह-संबंधित विशेषताओं की उपस्थिति में रेखीय प्रतिगमन की स्पष्ट सरलता इसकी व्याख्यात्मकता की गारंटी नहीं देती है।
रेगुलराइजेशन पैरामीटर्स चुनने के लिए मानक मानदंड (जैसे, टेस्ट परफॉरमेंस को अधिकतम करना) व्याख्यात्मकता सुनिश्चित करने के लिए अपर्याप्त हैं, क्योंकि भार पैटर्न भविष्यवाणी सटीकता द्वारा अद्वितीय रूप से निर्धारित नहीं होता है।
यह शोध पत्र व्याख्यात्मकता के लिए कोई एकल "समाधान" प्रस्तावित नहीं करता है, बल्कि यह सुझाव देता है कि फीचर सिलेक्शन (जैसे, उच्च VIF वाली विशेषताओं को हटाना, लासो (Lasso) का उपयोग करना, या सूचना-असंतुलन विधियाँ) केवल एक अस्थिर मॉडल को रेगुलराइज करने की तुलना में व्याख्यात्मकता बनाए रखने के लिए अधिक मौलिक मार्ग है। लक्ष्य एक अत्यधिक सह-संबंधित फीचर स्पेस से भारों की व्याख्या करने का प्रयास करना नहीं, बल्कि जानकारी को कम संख्या में प्रासंगिक, गैर-अनावश्यक चरों में संकुचित करना होना चाहिए।