🤖 machine learning

Improving Improved Kernel PLS

यह शोध पत्र इम्प्रेव्ड कर्नेल पार्शियल लीस्ट स्क्वायर्स (IKPLS) एल्गोरिदम में $\mathbf{X}$ रोटेशन्स और $\mathbf{Y}$ लोडिंग्स की गणना के लिए अनुकूलित रणनीतियों को प्रस्तुत करता है जो सटीक संख्यात्मक परिणामों को सुरक्षित रखते हुए महत्वपूर्ण गति वृद्धि प्राप्त करने के लिए आधुनिक हार्डवेयर पैरेललिज्म और गणितीय तुल्यता का लाभ उठाते हैं, जिन्हें ओपन-सोर्स पायथन पैकेज `ikpls` में कार्यान्वित किया गया है।

मूल लेखक: Ole-Christian Galbo Engstrøm

प्रकाशित 2026-07-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ole-Christian Galbo Engstrøm

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बड़े रहस्य को सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन उंगलियों के निशान के बजाय, आपके पास हजारों सुराग हैं जो सब आपस में उलझे हुए हैं। डेटा साइंस की दुनिया में, विशेष रूप से 'केमोमेट्रिक्स' (chemometrics) नामक एक क्षेत्र में, वैज्ञानिक अक्सर ठीक इसी तरह की समस्या का सामना करते हैं। उनके पास "प्रेडिक्टर" सुरागों (जैसे किसी पदार्थ की रासायनिक संरचना) की एक विशाल स्प्रेडशीट होती है और "रिस्पॉन्स" उत्तरों (जैसे कि कोई दवा कितनी प्रभावी है) का एक छोटा सेट होता है। इन दोनों के बीच संबंध खोजने के लिए, वे 'पार्शियल लीस्ट स्क्वायर्स' (PLS) नामक एक गणितीय उपकरण का उपयोग करते हैं। PLS को एक बहुत ही स्मार्ट सॉर्टिंग मशीन के रूप में समझें जो बिखरे हुए सुरागों को उत्तरों के साथ संरेखित करने की कोशिश करती है ताकि छिपा हुआ पैटर्न मिल सके।

हालाँकि, लाखों सुरागों को छाँटने में बहुत समय लगता है। इस सॉर्टिंग को करने का पुराना, मूल तरीका एक लाइब्रेरी को व्यवस्थित करने जैसा है जहाँ आप एक-एक करके हर किताब को उठाते हैं और पूछते हैं, "क्या यह यहाँ होनी चाहिए?" यह सटीक तो है, लेकिन बहुत धीमा है। कुछ साल पहले, वैज्ञानिकों ने इसका एक तेज़ संस्करण बनाया जिसे "इम्प्रूव्ड कर्नल पीएलएस" (IKPLS) कहा गया, जो किताबों को उठाने के बजाय एक कन्वेयर बेल्ट का उपयोग करने जैसा है। लेकिन कन्वेयर बेल्ट में भी बाधाएं आ सकती हैं। यह शोध पत्र पूछता है: "क्या हम किताबों या अंतिम व्यवस्था को बदले बिना कन्वेयर बेल्ट को और भी तेज़ चला सकते हैं?" उत्तर है हाँ, और लेखकों ने चीज़ों को काफी तेज़ करने के लिए दो चतुर तरकीबें खोजी हैं, विशेष रूप से आधुनिक सुपर-फास्ट कंप्यूटर चिप्स का उपयोग करते समय।

यह शोध पत्र IKPLS प्रक्रिया के दो विशिष्ट चरणों पर ध्यान केंद्रित करता है जो सॉर्टिंग मशीन के इंजन की तरह काम करते हैं। पहला चरण "X रोटेशन" (आइए इसे R-स्टेप कहें) की गणना करता है, जो अनिवार्य रूप से डेटा को सबसे अच्छे कोण पर झुकाने का तरीका तय करना है ताकि सुराग आपस में मिल सकें। दूसरा चरण "Y लोडिंग्स" (इसे Q-स्टेप कहें) की गणना करता है, जो यह निर्धारित करता है कि प्रत्येक उत्तर को कितना महत्व दिया जाए। लेखकों ने महसूस किया कि इन चरणों को करने का पुराना तरीका एक अकेले व्यक्ति द्वारा ब्लॉक का टावर एक-एक करके बनाने जैसा था, जहाँ वह अगला ब्लॉक जोड़ने से पहले पिछले ब्लॉक के स्थिर होने का इंतज़ार करता था। उन्होंने सिद्ध किया कि आप पूरे टावर को एक ही बड़े, सिंक्रोनाइज़्ड मोशन में खड़ा कर सकते हैं, बिना टावर के अंतिम आकार को बदले।

R-स्टेप के लिए, लेखकों ने दिखाया कि संख्याओं को एक-एक करके जोड़ने (एक धीमी, क्रमिक प्रक्रिया) के बजाय, आप "डायरेक्ट इवैल्यूएशन" रणनीति का उपयोग कर सकते हैं। कल्पना कीजिए कि श्रमिकों की एक टीम है जहाँ, एक भारी बॉक्स को लाइन में आगे बढ़ाने के बजाय, हर कोई एक ही समय में अपने हिस्से का बॉक्स पकड़ता है और उसे उठाता है। शोध पत्र यह सिद्ध करता है कि यह नई विधि पुराने तरीके के समान ही गणितीय कार्य करती है, लेकिन क्योंकि यह आधुनिक कंप्यूटर प्रोसेसर (जैसे आपके फोन या गेमिंग पीसी में होते हैं) को समानांतर (parallel) रूप से काम करने की अनुमति देती है, इसलिए यह बहुत तेज़ी से समाप्त हो जाती है। एक मानक कंप्यूटर प्रोसेसर पर, इस चरण ने इसे लगभग 2 गुना तेज़ बना दिया, लेकिन एक शक्तिशाली ग्राफिक्स कार्ड (GPU) पर, इसने कुछ मामलों में 100 गुना तक की गति बढ़ दी!

Q-स्टेप वह जगह है जहाँ जादू और भी दिलचस्प हो जाता है। लेखकों ने एक गुप्त शॉर्टकट की खोज की जो कंप्यूटर को बहुत सारा काम छोड़ने की अनुमति देता है, लेकिन केवल कुछ विशेष परिस्थितियों में। यदि उत्तरों (Y) की संख्या सुरागों (X) की तुलना में कम है, या यदि केवल एक उत्तर खोजना है, तो पुराना तरीका बहुत सारी अनावश्यक गणनाएँ कर रहा था। यह एक ऐसे शेफ की तरह था जो सूप के लिए सब्जियाँ काट रहा है जिसे केवल दो गाजरों की आवश्यकता है, लेकिन वह पूरा बगीचा ही काटने लगा। लेखों ने सिद्ध किया कि शेफ पहले ही कटे हुए दो गाजरों को सीधे उठा सकता है और बाकी काम छोड़ सकता है। यह काम को एक विशाल मात्रा से घटाकर एक बहुत छोटी मात्रा में बदल देता है, जिससे उन विशिष्ट मामलों के लिए गणना 100 गुना तक तेज़ हो जाती है। हालाँकि, उन्होंने यह भी दिखाया कि यदि उत्तरों की संख्या बहुत अधिक है (सुरागों से अधिक), तो यह शॉर्टकट लागू नहीं होता है, और कंप्यूटर को पूरा काम फिर से करना पड़ता है।

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने कठोर गणित के साथ इसे सिद्ध किया और फिर वास्तविक कंप्यूटरों पर परीक्षण किया। उन्होंने एक मुफ्त, ओपन-सोर्स सॉफ्टवेयर पैकेज ikpls बनाया जिसमें ये नई तकनीकें शामिल हैं। जब उन्होंने बेंचमार्क चलाए, तो परिणाम स्पष्ट थे: नए एल्गोरिदम ने पुराने वाले के बिल्कुल समान परिणाम दिए (कोई त्रुटि नहीं, कोई सटीकता की कमी नहीं), लेकिन उन्होंने काम बहुत तेज़ी से पूरा किया। पूर्ण डेटा विश्लेषण के लिए, नई विधि ने एक मानक कंप्यूटर पर प्रक्रिया को लगभग 2 गुना तेज़ और ग्राफिक्स कार्ड पर 6 गुना तक तेज़ बना दिया। शोध पत्र निष्कर्ष निकालता है कि जबकि "R-स्टेप" सुधार सभी के लिए एक व्यावहारिक गति वृद्धि है, "Q-step" सुधार विशिष्ट प्रकार के डेटा समस्याओं के लिए एक गेम-चेंजर है, जो कुल कार्य की मात्रा में भारी कमी लाता है।

संक्षेप में, यह शोध पत्र एक तेज़ एल्गोरिदम को और भी तेज़ बनाने के बारे में है, जिसे कंप्यूटर के सोचने के तरीके को पुनर्गठित करके हासिल किया गया है। यह एक याद दिलाता है कि कभी-कभी, तेज़ जाने का सबसे अच्छा तरीका बेहतर इंजन बनाना नहीं, बल्कि कार चलाने का तरीका बदलना होता है। इन नए तरीकों को गणितीय रूप से पुराने तरीकों के समान सिद्ध करके, लेखकों ने वैज्ञानिकों को जटिल डेटा का विश्लेषण करने के लिए एक शक्तिशाली नया उपकरण दिया है, ताकि उन्हें कंप्यूटर के पीछे चलने का इंतज़ार न करना पड़े।

समस्या
इम्प्रूव्ड कर्नल पार्शियल लीस्ट स्क्वायर्स (IKPLS) एल्गोरिदम 1 और 2 को सबसे तेज़ PLS कैलिब्रेशन विधियों में से एक के रूप में स्थापित किया गया है, जिनका उपयोग रिग्रेशन और क्लासिफिकेशन दोनों में नियर-इंफ्रारेड (NIR) स्पेक्ट्रा के विश्लेषण के लिए केमोमेट्रिक्स में व्यापक रूप से किया जाता है। जबकि मूल NIPALS एल्गोरिदम संख्यात्मक रूप से स्थिर है लेकिन धीमा है, IKPLS गति प्रदान करता है। हालांकि, यह शोध पत्र पहचान करता है कि दोनों IKPLS एल्गोरिदम के भीतर दो विशिष्ट कम्प्यूटेशनल चरणों—X रोटेशन ( $R$ ) और Y लोडिंग्स ( $Q$ ) की गणना—को और अधिक अनुकूलित किया जा सकता है। लक्ष्य गणितीय आउटपुट को बदले बिना इन चरणों को तेज करना है, जिससे आधुनिक हार्डवेयर पर PLS फिटिंग का समग्र रनटाइम सुधारा जा सके।

कार्यप्रणाली
शोध पत्र दो अलग-अलग एल्गोरिद्मिक सुधार प्रस्तावित करता है, जो दोनों मूल IKPLS चरणों के गणितीय रूप से समकक्ष सिद्ध हुए हैं:

$R$ (X रोटेशन) की बेहतर गणना:
मूल $R$ रोटेशन वेक्टर $r_a$ की गणना एक पुनरावृत्ति संबंध (समीकरण 1) पर निर्भर करती है जो अनुक्रमिक रूप से पदों को संचित (accumulate) करती है। लेखक इसे पहले से संचित मैट्रिसेस $R_{a-1}$ और $P_{a-1}$ वाले एक मैट्रिक्स-वेक्टर उत्पाद (समीकरण 2) का उपयोग करके एक प्रत्यक्ष मूल्यांकन रणनीति से बदल देता है।

जटिलता (Complexity): दोनों विधियों के लिए समान संख्या में गुणा ( $\Theta(K(a-1))$ ) की आवश्यकता होती है।
अनुकूलन (Optimization): नई रणनीति को आधुनिक मल्टी-प्रोसेसर हार्डवेयर पर बेहतर तरीके से समानांतर (parallelize) करने के लिए डिज़ाइन किया गया है, जो पद-दर-पद संचय की अनुक्रमिक निर्भरताओं से बचती है।

$Q$ (Y लोडिंग्स) की बेहतर गणना:
$q_a$ की मूल गणना (एल्गोरिदम 2, लाइन 8) में $\Theta(KM)$ जटिलता वाला एक वेक्टर-मैट्रिक्स उत्पाद शामिल है। लेखक ने गणितीय समानताएं खोजी हैं जो दर्शाती हैं कि $q_a$ को पहले के चरणों (विशेष रूप से IKPLS एल्गोरिदम के स्टेप 2 में इगन-डीकंपोजिशन या वेक्टर ऑपरेशन्स से) में पहले से ही गणना किए गए परिमाणों से प्राप्त किया जा सकता है।

प्रयोज्यता (Applicability): यह सुधार तब लागू होता है जब $M=1$ (PLS1) हो या जब $2 \le M < K$ (PLS2 जहाँ रिस्पॉन्स मैट्रिक्स प्रेडिक्टर मैट्रिक्स से कम कॉलम का होता है) हो। यह तब लागू नहीं होता जब $2 \le M$ और $K \le M$ हो।
जटिलता: लागू होने वाले मामलों के लिए, जटिलता $\Theta(KM)$ से घटकर $\Theta(M)$ हो जाती है। यह $\Theta(K)$ के कारक द्वारा कमी को दर्शाता है।
प्रमाण: थ्योरम 1 सिद्ध करता है कि नई गणना (एल्गोरिदम 3) मूल IKPLS एल्गोरिदम के समान ही $q_a$ मान प्रदान करती है, जिससे यह सुनिश्चित होता है कि बाद के डिफ्लेशन चरण और अंतिम मॉडल पैरामीटर ( $W, P, Q, R, T$ ) बिल्कुल समान रहते हैं।

मुख्य योगदान

एल्गोरिद्मिक पुनर्गठन: शोध पत्र $R$ के लिए एक प्रत्यक्ष मूल्यांकन रणनीति प्रदान करता है, जो कि ऑपरेशन काउंट में एसिम्प्टोटिक रूप से समान होने के बावजूद, समानांतर निष्पादन (parallel execution) के लिए बेहतर है।
जटिलता में कमी: यह $Q$ के लिए एक नवीन व्युत्पत्ति प्रस्तुत करता है जो विशिष्ट सामान्य मामलों (PLS1 और "वाइड" PLS2) के लिए कम्प्यूटेशनल जटिलता को $\Theta(KM)$ से घटाकर $\Theta(M)$ कर देता है। लेखक की जानकारी के अनुसार, यह समानता पहली बार पहचानी गई है।
शुद्धता प्रमाण: प्रस्ताव (Propositions) 1–4 और थ्योरम 1 कठोरता से प्रदर्शित करते हैं कि बेहतर चरण मूल IKPLS एल्गोरिदम के बिल्कुल समान परिणाम देते हैं।
कार्यान्वयन: दोनों सुधारों को मुफ्त, ओपन-सोर्स पायथन पैकेज ikpls में लागू किया गया है, जो सैंपल-वेटेड PLS और फास्ट क्रॉस-वैलिडेशन का भी समर्थन करता है।

परिणाम
विभिन्न डेटासेट आकार ( $N$ ), प्रेडिक्टर काउंट ( $K$ ), रिस्पॉन्स काउंट ( $M$ ), और कंपोनेंट काउंट ( $A$ ) के तहत NumPy (CPU) और JAX (GPU) का उपयोग करके बेंचमार्क किए गए।

पृथक चरण (Isolated Steps):
- बेहतर $R$ गणना ने टर्म-दर-टर्म संचय की तुलना में दो क्रमों (orders of magnitude) तक की गति वृद्धि (speedups) दिखाई (जैसे, GPU पर 147x), जिसमें लाभ $A$ के बढ़ने के साथ बढ़ता जाता है।
- बेहतर $Q$ गणना ने $M=1$ या $M < K$ होने पर $K$ के अनुपात में गति वृद्धि दिखाई। उदाहरण के लिए, CPU पर, जब $K=10^4$ और $M=1$ था, तो गति वृद्धि 346x तक पहुँच गई। जब $M \ge K$ था, तो प्रदर्शन मूल एल्गोरिदम के समान रहा।
पूर्ण फिट (Full Fits):
- संपूर्ण मॉडल फिट के लिए, सुधारों ने CPU पर लगभग 2x और GPU पर 6x की गति वृद्धि प्रदान की।
- पूर्ण फिट में $R$ सुधार ने गति वृद्धि में बड़ा हिस्सा दिया, भले ही $Q$ सुधार की एसिम्प्टोटिक जटिलता कम थी, क्योंकि $R$ चरण प्रत्येक कंपोनेंट के लिए निष्पादित होता है और समानांतरकरण (parallelization) से काफी लाभान्वित होता है।
- जैसे-जैसे $N$ बढ़ता है (क्योंकि अन्य फिट हावी हो जाते हैं) या जब $M \ge K$ होता है (जहाँ $Q$ सुधार लागू नहीं होता), सापेक्ष गति वृद्धि कम हो जाती है।

महत्व
शोध पत्र का दावा है कि ये सुधार IKPLS को केमोमेट्रिशियंस के लिए एक और भी मजबूत विकल्प बनाते हैं जिन्हें सटीकता और गति दोनों की आवश्यकता होती है।

व्यावहारिक प्रभाव: ये सुधार "ड्रॉप-इन" प्रतिस्थापन हैं जो समान परिणाम देते हैं, जिससे मौजूदा कार्यान्वयन में तत्काल अपनाना संभव है।
ऐतिहासिक संदर्भ: $R$ सुधार एक ऐसी रणनीति को मान्य करता है जिसका उपयोग बिना प्रमाण के pls नामक R पैकेज में पहले से ही किया जा रहा था। $Q$ सुधार 2006 से pls के सोर्स कोड में पूछे गए एक प्रश्न का उत्तर देता है, जो PLS2 में लोडिंग्स की आनुपातिकता के बारे में है, जो एक औपचारिक प्रमाण प्रदान करता है और समाधान को PLS1 के मामले में विस्तारित करता है।
हार्डवेयर दक्षता: परिणाम आधुनिक हार्डवेयर क्षमताओं (समानांतरता/parallelism) के साथ संरेखित एल्गोरिदम डिजाइन के महत्व को उजागर करते हैं, जो मल्टी-कोर CPU और GPU दोनों पर महत्वपूर्ण लाभ प्रदर्शित करते हैं।

इसी तरह के और पेपर