🤖 machine learning

PLS in the Mirror of Self-Attention

यह शोध पत्र आंशिक न्यूनतम वर्ग (Partial Least Squares - PLS) को एक रैखिकीकृत स्व-ध्यान (self-attention) तंत्र के रूप में प्रस्तुत करने का प्रस्ताव करता है ताकि न्यूरल नेटवर्क प्रतिमान के भीतर इसका अध्ययन किया जा सके, जो यह सुझाव देता है कि PLS की आया कमी (dimensionality reduction) यह दर्शाती है कि स्व-ध्यान स्वाभाविक रूप से बेहतर सीखने के लिए आया सामान्यीकरण (dimensionality normalization) को समाहित करता है।

मूल लेखक: Jiangsheng (Jason), You

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Jiangsheng (Jason), You

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल कहानी समझना सिखाने की कोशिश कर रहे हैं। आपके पास जानकारी के दो बड़े ढेर हैं: सुरागों का एक ढेर (जिसे हम X कहेंगे) और परिणामों या उत्तरों का एक ढेर (जिसे हम Y कहेंगे)। आपका लक्ष्य यह पता लगाना है कि सुराग कैसे उत्तरों तक ले जाते हैं।

यह शोध पत्र, जिसे जियांगशेंग (जेसन) यू द्वारा लिखा गया है, एक पुराने सांख्यिकीय उपकरण जिसे पार्शियल लीस्ट स्क्वायर्स (PLS) कहा जाता है, उसे एक आधुनिक, उच्च-तकनीकी मस्तिष्क तंत्र—सेल्फ-अटेंशन (Self-Attention) (वही जो AI चैटबॉट्स में उपयोग किया जाता है)—के साथ तुलना करके देखने का एक चतुर तरीका सुझाता है।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. पुराना तरीका: एक "मैचिंग गेम" के रूप में PLS

पारंपरिक विधि (PLS) में, कल्पना करें कि आपके पास सुरागों (X) से भरा एक अस्त-व्यस्त कमरा है और उत्तरों (Y) का एक अलग ढेर है।

समस्या: सुराग अक्सर आपस में उलझे हुए होते हैं या एक ही जानकारी को दोहराते हैं (इसे "कोलीनियैरिटी" कहा जाता है)।
समाधान: PLS एक विशेष "फ़िल्टर" या "लेंस" (गणितीय रूप से मैट्रिक्स P और Q कहा जाता है) खोजने की कोशिश करता है जिसके माध्यम से आप देख सकें।
लक्ष्य: जब आप इन लेंसों के माध्यम से देखते हैं, तो फ़िल्टर किए गए सुराग (T) और फ़िल्टर किए गए उत्तर (U) यथासंभव सटीक रूप से मेल खाने चाहिए। गणित इन दोनों फ़िल्टर किए गए ढेरों के बीच "गले मिलने" (कोवेरिएंस/covariance) को अधिकतम करने की कोशिश करता है।
परिणाम: एक बार लेंस मिल जाने के बाद, आप फ़िल्टर किए गए सुरागों को देखकर ही उत्तरों की भविष्यवाणी कर सकते हैं। यह उस विशिष्ट कोण को खोजने जैसा है जहाँ एक छाया वस्तु के आकार से पूरी तरह मेल खाती है।

2. नया तरीका: एक "स्मार्ट स्पॉटलाइट" के रूप में सेल्फ-अटेंशन

अब देखें कि आधुनिक AI (ट्रांसफॉर्मर्स) कैसे काम करता है। यह सेल्फ-अटेंशन (Self-Attention) नामक तंत्र का उपयोग करता है।

प्रक्रिया: AI इनपुट सुरागों को लेता है और उनके तीन संस्करण बनाता है: एक क्वेरी (Query) (हम क्या खोज रहे हैं?), एक की (Key) (हमारे पास क्या है?), और एक वैल्यू (Value) (वास्तविक डेटा)।
जादू: यह सुरागों पर एक "स्पॉटलाइट" डालता है। यह पूछता है, "यह सुराग दूसरे सुराग से कितना संबंधित है?" यह संबंधों का एक मानचित्र बनाता है और फिर उस मानचित्र का उपयोग करके डेटा को आपस में मिलाता है।
शोध पत्र का अंतर्दृष्टि: लेखक देखते हैं कि इस "स्पॉटलाइट" (सेल्फ-अटेंशन) के पीछे का गणित "लेंसों" (PLS) के पीछे के गणित के समान दिखता है।
- PLS में, आप डेटा को सर्वोत्तम मिलान खोजने के लिए प्रोजेक्ट करते हैं।
- सेल्फ-अटेंशन में, आप डेटा को सर्वोत्तम संबंध खोजने के लिए प्रोजेक्ट करते हैं।
- शोध पत्र सुझाव देता है कि PLS अनिवार्य रूप से सेल्फ-अटेंशन का एक "लीनियराइज्ड" (सरलीकृत, सीधी रेखा वाला) संस्करण है।

3. बड़ा खुलासा: स्क्रिप्ट को पलटना

आमतौर पर, लोग PLS को छिपे हुए पैटर्न खोजने के तरीके के रूप में देखते हैं। लेकिन यह शोध पत्र स्क्रिप्ट को पलट देता है।

नया दृष्टिकोण: केवल सुरागों और उत्तरों के बीच "सर्वोत्तम मिलान" खोजने के बजाय, लेखक सुझाव देते हैं कि हमें PLS को शुरू से ही एक रिग्रेशन समस्या (भविदन की समस्या) के रूप में देखना चाहिए।
उपमा: इसे रेडियो ट्यून करने जैसा समझें।
- पुराना दृष्टिकोण: "आइए वह फ्रीक्वेंसी खोजें जहाँ स्टेटिक (शोर) और संगीत सबसे अधिक ओवरलैप होते हैं।"
- नया दृष्टिकोण (पेपर का दावा): "आइए बस रेडियो को इस तरह ट्यून करें कि संगीत ठीक उसी गाने की तरह सुनाई दे जिसे हम सुनना चाहते हैं, और स्टेटिक (शोर) कम से कम हो।"
गणित को इस तरह से फिर से लिखकर, लेखक दिखाते हैं कि PLS को उसी "ग्रेडिएंट डिसेंट" (एक चरण-दर-चरण सीखने की प्रक्रिया) विधियों का उपयोग करके हल किया जा सकता है जिनका उपयोग न्यूरल नेटवर्क करते हैं।

4. यह क्यों मायने रखता है? (शोध पत्र के अनुसार)

पत्र के बारे में दो मुख्य बातें हैं कि यह संबंध हमें क्या बताता है:

PLS एक न्यूरल नेटवर्क है: इसे सेल्फ-अटेंशन के एक सरलीकृत संस्करण के रूप में देखकर, हम इसे उन शक्तिशाली उपकरणों का उपयोग करके अध्ययन कर सकते हैं जो हमारे पास पहले से ही AI को प्रशिक्षित करने के लिए मौजूद हैं।
सेल्फ-अटेंशन एक फ़िल्टर है: यदि PLS भविष्यवाणियां करने के लिए डेटा के आकार को कम करने (डायमेंशनलिटी रिडक्शन) में अच्छा है, तो सेल्फ-अटेंशन (जो PLS जैसा दिखता है) भी डेटा को नॉर्मलाइज करने या साफ करने का एक छिपा हुआ काम कर रहा होगा ताकि सीखना आसान हो सके। यह केवल संबंधों को नहीं देख रहा है; यह डेटा को व्यवस्थित भी कर रहा है।

सारांश

यह शोध पत्र एक गणितीय "अहा!" क्षण है। यह कहता है: "हे, परिणामों की भविष्यवाणी करने का पुराना तरीका (PLS) वास्तव में आधुनिक AI में उपयोग किए जाने वाले फैंसी 'अटेंशन' तंत्र का एक सरल, सीधा संस्करण है।"

यह महसूस करके, हम समझ सकते हैं कि जब AI "अटेंशन" का उपयोग करता है, तो वह गुप्त रूप से उसी तरह की डेटा सफाई और संगठन कर रहा होता है जो सांख्यिकीविद दशकों से PLS के साथ कर रहे हैं। शोध पत्र PLS के लिए गणित को लिखने का एक नया तरीका प्रस्तावित करता है ताकि यह न्यूरल नेटवर्क की दुनिया में पूरी तरह फिट हो सके, और इसे केवल एक पैटर्न खोजने वाले उपकरण के बजाय एक प्रत्यक्ष भविष्यवाणी उपकरण के रूप में देखता है।

तकनीकी सारांश: सेल्फ-अटेंशन के दर्पण में PLS

समस्या विवरण (Problem Statement)

यह शोध पत्र (paper) एक सैद्धांतिक विच्छेद (theoretical disconnect) को संबोधित करता है जो क्लासिकल सांख्यिकीय पद्धति Partial Least Squares (PLS)—जो मल्टीवेरिएट डेटा में उच्च कोलीनियैरिटी (collinearity) को संभालने के लिए उपयोग की जाती है—और आधुनिक न्यूरल नेटवर्क प्रतिमान (paradigm), विशेष रूप से ट्रांसफॉर्मर आर्किटेक्चर के बीच है। जबकि PLS पारंपरिक रूप से प्रेडिक्टर्स ( $X$ ) और रिस्पॉन्स ( $Y$ ) के लेटेंट प्रोजेक्शन्स के बीच क्रॉस-कोवेरिएंस के एक कन्सट्रेंड मैक्सिमाइजेशन (constrained maximization) के रूप में परिभाषित है, लेखक इसे सेल्फ-अटेंशन मैकेनिज्म की भाषा के भीतर पुनर्गठित करने का प्रयास करते हैं। मुख्य समस्या यह प्रदर्शित करना है कि PLS को सेल्फ-अटेंशन के एक रैखिकीकृत (linearized) रूप के रूप में देखा जा सकता है, जिससे PLS को डीप लर्निंग के दृष्टिकोण से अध्ययन करने की अनुमति मिलती है, और साथ ही यह सुझाव भी मिलता है कि PLS में निहित डाइमेंशनलिटी रिडक्शन (dimensionality reduction) यह समझने में अंतर्दृष्टि प्रदान कर सकता है कि सेल्फ-अटेंशन बेहतर लर्निंग के लिए आयामों (dimensions) को कैसे सामान्य (normalize) करता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र PLS और ट्रांसफॉर्मर आर्किटेक्चर के बीच की खाई को पाटने के लिए एक गणितीय पुनर्गठन दृष्टिकोण (mathematical reformulation approach) का उपयोग करता है:

रिग्रेशन के रूप में PLS का पुनर्गठन:
पारंपरिक रूप से, PLS को प्रोजेक्टेड मैट्रिसेस $T$ और $U$ के बीच क्रॉस-कोवेरिएंस के ट्रेस को अधिकतम करने के रूप में परिभाषित किया जाता है (समीकरण 2)। लेखक एक वैकल्पिक कॉस्ट फंक्शन (समीकरण 13) प्रस्तावित करते हैं जो PLS को एक रिग्रेशन समस्या के रूप में फ्रेम करता है, जो रूपांतरित प्रेडिक्टर्स और रूपांतरित रिस्पॉन्स के बीच स्क्वेर्ड एरर (squared error) को कम करता है:
$\text{argmin}_{P,D,Q} \sum_{(X,Y) \in S} |XPD - YQ|^2$
जहाँ ऑर्थोगोनैलिटी कंस्ट्रेंट्स ( $P^T P = I, Q^T Q = I$ ) लागू हैं। यहाँ, $XP $प्रेडिक्टर्स का प्रोजेक्शन है, और$ TDQ^T$ रिस्पॉन्स की भविष्यवाणी करने के लिए रूपांतरण है।
रिकंस्ट्रक्शन एरर का एकीकरण:
लेटेंट वेरिएबल एक्सट्रैक्शन और रिग्रेशन सटीकता के बीच संतुलन बनाने के लिए, लेखक एक सामान्यीकृत लॉस फंक्शन (समीकरण 14) पेश करते हैं जिसमें $X$ और $Y$ दोनों के लिए पैरामीटराइज्ड रिकंस्ट्रक्शन एरर्स शामिल हैं:
$L(P, Q, D; \alpha, \beta) = \frac{1}{2} \left[ |XPD - YQ|^2 + \alpha |XPP^T - X|^2 + \beta |YQQ^T - Y|^2 \right]$
यह फॉर्मूलेशन ग्रेडिएंट डिसेंट (gradient descent) विधियों का उपयोग करके PLS पैरामीटर्स के अनुकूलन (optimization) की अनुमति देता है, जो न्यूरल नेटवर्क को प्रशिक्षित करने के समान है।
सेल्फ-अटेंशन से मैपिंग:
पेपर PLS अपघटन (decomposition) और ट्रांसफॉर्मर में सेल्फ-अटेंशन मैकेनिज्म के बीच एक संरचनात्मक समानता दर्शाता है।

PLS: $X$ और $Y$ को कोवेरिएंस को अधिकतम करने के लिए प्रोजेक्शन $T=XP $और$ U=YQ$ में विभाजित करता है।
सेल्फ-अटेंशन: इनपुट $X$ को वेट मैट्रिसेस ( $W_Q, W_K, W_V$ ) के माध्यम से क्वेरी ( $Q$ ), की ( $K$ ), और वैल्यू ( $V$ ) स्पेस में प्रोजेक्ट करता है और $\text{softmax}(QK^T/\sqrt{l})V$ के माध्यम से अटेंशन की गणना करता है।
संबंध: लेखक यह तर्क देते हैं कि PLS प्रोजेक्शन मैट्रिसेस ( $P, Q$ ) अटेंशन मैकेनिज्म में वेट मैट्रिसेस के अनुरूप हैं। विशेष रूप से, PLS में रिग्रेशन स्टेप (लेटेंट कंपोनेंट्स के माध्यम से $Y$ की भविष्यवाणी करना) को ट्रांसफॉर्मर के डिकोडर ब्लॉक के संरचनात्मक रूप से समकक्ष दिखाया गया है, जहाँ सोर्स फीचर्स ( $X_f$ ) और टारगेट फीचर्स ( $Y$ ) अटेंशन के माध्यम से परस्पर क्रिया करते हैं।

मुख्य योगदान (Key Contributions)

रैखिकीकृत सेल्फ-अटेंशन व्याख्या (Linearized Self-Attention Interpretation): पेपर एक अवलोकन प्रदान करता है जो PLS को एक रैखिकीकृत सेल्फ-अटेंशन मैकेनिज्म के रूप में प्रस्तुत करता है। यह पुनर्गठन PLS को न्यूरल नेटवर्क प्रतिमान के भीतर विश्लेषण करने की अनुमति देता है, यह सुझाव देते हुए कि PLS में "लोडिंग मैट्रिसेस" अटेंशन लेयर्स में वेट मैट्रिसेस के समान कार्य करते हैं।
रिग्रेशन-आधारित PLS फॉर्मूलेशन: क्रॉस-कोवेरिएंस मैक्सिमाइजेशन से स्पष्ट स्क्वेर्ड-एरर मिनिमाइजेशन (समीकरण 13) की ओर शिफ्ट होकर, पेपर एक अधिक लचीला फॉर्मूलेशन प्रदान करता है, जो संभावित रूप से नॉन-ऑर्थोगोनल ट्रांसफॉर्मेशन और नॉनलीन एक्टिवेशन को समायोजित कर सकता है, और यह सीधे ग्रेडिएंट डिसेंट के माध्यम से हल किया जा सकता है।
डाइमेंशनलिटी नॉर्मलाइजेशन परिकल्पना (Dimensionality Normalization Hypothesis): लेखक सुझाव देते हैं कि PLS में निहित डाइमेंशनलिटी रिडक्शन और प्रेडिक्टर सिलेक्शन यह संकेत दे सकते हैं कि सेल्फ-अटेंशन मैकेनिज्म में डाइमेंशनलिटी नॉर्मलाइजेशन का एक स्तर शामिल है जो बेहतर लर्निंग में योगदान देता है, जो दोनों पद्धतियों के बीच एक समानांतर खींचता है।

परिणाम और दावे (Results and Claims)

पेपर कोई अनुभवजन्य प्रायोगिक परिणाम, डेटासेट या प्रदर्शन बेंचमार्क प्रस्तुत नहीं करता है। इसके बजाय, "परिणाम" सैद्धांतिक अवलोकन और गणितीय तुल्यताएं हैं:

गणितीय तुल्यता (Mathematical Equivalence): लेखक प्रदर्शित करते हैं कि स्क्वेर्ड एरर $|WX - Y|^2$ को कम करना गणितीय रूप से डॉट प्रोडक्ट $(WX) \cdot Y$ को अधिकतम करने के बराबर है, जिससे रिग्रेशन-आधारित PLS फॉर्मूलेशन (समीकरण 13) और कोवेरिएंस-आधारित फॉर्मूलेशन (समीकरण 2) के बीच संबंध स्थापित होता है।
संरचनात्मक संरेखण (Structural Alignment): पेपर का दावा है कि ट्रांसफॉर्मर में एक डिकोडर ब्लॉक, जो सोर्स और टारगेट अटेंशन को मिक्स करता है, प्रतीकात्मक रूप से PLS के रिग्रेशन स्टेप (समीकरण 5) के समकक्ष है।
ऑप्टिमाइजेशन पाथ (Optimization Path): दावा किया गया है कि पुनर्गठित लॉस फंक्शन (समीकरण 14) ग्रेडिएंट डिसेंट के माध्यम से हल किया जा सकता है, जो पारंपरिक PLS में उपयोग किए जाने वाले इटरेटिव एल्गोरिदम (जैसे NIPALS) के विपरीत है, जिससे PLS मानक डीप लर्निंग ऑप्टिमाइजेशन तकनीकों के साथ संरेखित हो जाता है।

महत्व और दायरा (Significance and Scope)

यह पेपर स्वयं को एक व्यापक अध्ययन के बजाय एक "दिलचस्प अवलोकन" प्रदान करने वाले एक "नोट" के रूप में प्रस्तुत करता है। इसका महत्व एक शास्त्रीय सांख्यिकीय तकनीक (PLS) के आधुनिक डीप लर्निंग आर्किटेक्चर (ट्रांसफॉर्मर) के साथ वैचारिक एकीकरण (conceptual unification) में निहित है।

लेखक विनम्रतापूर्वक दावा करते हैं कि यह परिप्रेक्ष्य PLS को "न्यूरल नेटवर्क प्रतिमान के भीतर अध्ययन" करने की अनुमति देता है और सुझाव देते हैं कि PLS के गुण (डाइमेंशनलिटी रिडक्शन) सेल्फ-अटेंशन के कामकाज के बारे में अंतर्दृष्टि प्रदान कर सकते हैं। पेपर स्पष्ट रूप से नए अनुप्रयोगों या भविष्य के निहितार्थों को आविष्कार करने से बचता है, और केवल दोनों फ्रेमवर्क के बीच गणितीय मैपिंग पर ध्यान केंद्रित करता है। यह एक सैद्धांतिक सेतु के रूप में कार्य करता है, यह प्रस्तावित करता है कि PLS में पाया जाने वाला डाइमेंशनलिटी नॉर्मलाइजेशन एक ऐसी विशेषता है जो संभवतः सेल्फ-अटेंशन मैकेनिज्म में मौजूद है, जिससे मल्टीवेरिएट डेटा को प्रोसेस करने के तरीके को समझने के लिए एक नया लेंस मिलता है।