💻 computer science

Riemannian Optimization for Hadamard Products of Low-Rank Matrices

यह शोध पत्र एक रिमानियन अनुकूलन ढांचे (Riemannian optimization framework) का प्रस्ताव करता है जिसमें एक नवीन ब्लॉक-डायगोनल मेट्रिक और एक ट्यूनिंग-मुक्त गॉस-न्यूटन एल्गोरिदम है ताकि उनके अंतर्निहित स्केलिंग सिमिट्रीज़ (scaling symmetries) को संबोधित करते हुए हैडमर्ड उत्पादों के तहत लो-रैंक मैट्रिसेस को कुशलतापूर्वक सीखा जा सके।

मूल लेखक: Pratik Jawanpuria, Ankish Chandresh, Bamdev Mishra

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pratik Jawanpuria, Ankish Chandresh, Bamdev Mishra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: दो व्यक्तियों का नृत्य

कल्पना कीजिए कि आप केवल दो सरल, कम-रिज़ॉल्यूशन वाले रेखाचित्रों (sketches) का उपयोग करके एक जटिल पेंटिंग (एक बड़ा डेटा मैट्रिक्स) को फिर से बनाने की कोशिश कर रहे हैं।

रेखाचित्र A व्यापक, सामान्य आकृतियों को पकड़ता है।
रेखाचित्र B सूक्ष्म, विस्तृत बनावट (textures) को पकड़ता है।

यह शोध पत्र तर्क देता है कि पेंटिंग को फिर से बनाने का सबसे अच्छा तरीका इन रेखाचित्रों को एक के ऊपर एक रखना नहीं है। इसके बजाय, आपको उन्हें पिक्सेल दर पिक्सेल एक साथ गुणा करना चाहिए (इसे "हादामार्ड उत्पाद" या Hadamard product कहा जाता है)। यह मॉडल को बहुत कुशल बनाता है, जिससे यह मानक विधि की तुलना में कम "ब्रशस्ट्रोक" (पैरामीटर्स) का उपयोग करता है।

हालाँकि, इसमें एक पेच है। क्योंकि आप दो रेखाचित्रों को गुणा कर रहे हैं, रेखाचित्र A की चमक और रेखाचित्र B की कंट्रास्ट को समायोजित करने के कई तरीके हैं जिनसे बिल्कुल वही अंतिम पेंटिंग प्राप्त होती है। यह ऐसा ही है जैसे कहना, "मैं रेखाचित्र A की रोशनी बढ़ाकर पेंटिंग को चमकीला बना सकता हूँ," या "मैं रेखाचित्र B की रोशनी कम करके इसे चमकीला बना सकता हूँ।" इन समायोजनों के अनंत संयोजन हैं जो समान परिणाम देते हैं।

यह कंप्यूटरों के लिए मॉडल सीखने के लिए एक भ्रमित करने वाला परिदृश्य बनाता है। मानक कंप्यूटर विधियाँ इन "अनंत लूपों" में खो जाती हैं, जिससे समय और ऊर्जा बर्बाद होती है।

समस्या: कोहरे में खो जाना

लेखक बताते हैं कि मौजूदा विधियाँ (जैसे अल्टरनेटिंग ग्रेडिएंट डिसेंट या ब्लॉक कोऑर्डिनेट डिसेंट) इस विशिष्ट प्रकार की समस्या के साथ संघर्ष करती हैं:

मानक विधियाँ इस समस्या को एक सपाट, सीधी सड़क पर चलने की तरह मानती हैं। लेकिन वास्तविक परिदृश्य घुमावदार और ऊबड़-खाबड़ है। वे बहुत छोटे कदम उठाते हैं या गलत दिशा में चलते हैं क्योंकि वे इलाके के आकार को नहीं समझते हैं।
विशेषज्ञ विधियाँ बहुत अच्छा काम करती हैं यदि लक्ष्य केवल सरल त्रुटियों (जैसे "स्क्वेर्ड एरर") को कम करना हो, लेकिन यदि आप अधिक जटिल लक्ष्यों (जैसे उपयोगकर्ता रेटिंग की भविष्यवाणी करना या अव्यवस्थित डेटा को संभालना) का उपयोग करना चाहते हैं, तो वे पूरी तरह से विफल हो जाती हैं। वे एक ऐसी कार की तरह हैं जो केवल रेसट्रैक पर चलती है लेकिन कच्ची सड़क पर रुक जाती है।

समाधान: एक स्मार्ट मानचित्र (रीमानियन ऑप्टिमाइज़ेशन)

लेखक रीमानियन ऑप्टिमाइज़ेशन का उपयोग करके इस समस्या को नेविगेट करने का एक नया तरीका प्रस्तावित करते हैं।

समस्या के स्थान को कागज की एक सपाट शीट के रूप में नहीं, बल्कि एक घुमावदार, मुड़ी हुई सतह (मैनिफोल्ड) के रूप में सोचें।

"मुड़ा हुआ" स्वभाव: जैसा कि पहले "अनंत लूपों" (सिमेट्री) का उल्लेख किया गया है, कई अलग-अलग बिंदु वास्तव में एक ही पेंटिंग का प्रतिनिधित्व करते हैं।
क्वोटिएंट मैनिफोल्ड (Quotient Manifold): लेखक एक "क्वोटिएंट मैनिफोल्ड" बनाते हैं। कल्पना कीजिए कि आप उस मुड़ी हुई सतह को लेते हैं और उन सभी बिंदुओं को आपस में जोड़ देते हैं जो एक ही पेंटिंग का प्रतिनिधित्व करते हैं। अब, आपके पास एक साफ, सरल मानचित्र है जहाँ प्रत्येक बिंदु अद्वितीय है। आप "अनंत लूपों" में नहीं खो सकते क्योंकि लूपों को जोड़कर बंद कर दिया गया है।

गुप्त हथियार: एक कस्टम कंपास (द मेट्रिक)

इस घुमावदार सतह पर कुशलता से चलने के लिए, आपको एक विशेष कंपास की आवश्यकता है। गणित में, इसे रीमानियन मेट्रिक कहा जाता है।

लेखकों ने एक नया, कस्टम कंपास बनाया है।

पुराना कंपास: मानक विधियाँ एक जेनेरिक कंपास का उपयोग करती हैं जो यह मानती है कि ज़मीन सपाट है। यह घुमावों से भ्रमित हो जाता है।
नया कंपास: लेखकों का कंपास "ब्लॉक-डायगोनल" है। कल्पना कीजिए कि एक ऐसा कंपास है जिसमें आपके रेखाचित्रों के हर एक रो (row) और कॉलम (column) के लिए अलग-अलग, स्वतंत्र सेंसर हैं। यह जानता है कि रेखाचित्र के एक हिस्से की "बनावट" दूसरे हिस्से के "आकार" को कैसे प्रभावित करती है।
जादू: यह कंपास स्केल-इनवेरिएंट (scale-invariant) है। यदि आप रेखाचित्र A को दोगुना चमकीला और रेखाचित्र B को आधा धुंधला करने का निर्णय लेते हैं, तो कंपास को इससे कोई फर्क नहीं पड़ता। वह जानता है कि आपने पेंटिंग को नहीं बदला है, इसलिए वह भ्रमित नहीं होता। यह मनमाने स्केलिंग के "शोर" को अनदेखा करता है और केवल डेटा के वास्तविक आकार पर ध्यान केंद्रित करता है।

एल्गोरिदम: द ट्यूनिंग-फ्री हाइकर

इस नए मानचित्र और कंपास का उपयोग करके, लेखकों ने RGD (रीमानियन ग्रेडिएंट डिसेंट) नामक एक हाइकिंग एल्गोरिदम बनाया है।

डायल घुमाना नहीं: अधिकांश हाइकिंग एल्गोरिदम में आपको मैन्युअल रूप से "स्टेप साइज" डायल (हाइपरपैरामीटर) को समायोजित करने की आवश्यकता होती है। यदि आप इसे बहुत अधिक घुमाते हैं, तो आप लक्ष्य से आगे निकल जाते हैं; यदि बहुत कम घुमाते हैं, तो आप बहुत धीरे चलते हैं। यह नया एल्गोरिदम "गॉस-न्यूटन" ट्रिक का उपयोग करके स्वचालित रूप से सही स्टेप साइज की गणना करता है। यह एक ऐसे हाइकर की तरह है जो ढलान के आधार पर स्वाभाविक रूप से जानता है कि उसे कितना बड़ा कदम रखना है, जिसके लिए किसी मैनुअल समायोजन की आवश्यकता नहीं है।
गति: यह अविश्वसनीय रूप से तेज़ है। यह डेटा की मात्रा के साथ रैखिक रूप से स्केल करता है, जिसका अर्थ है कि यदि आप पेंटिंग का आकार दोगुना करते हैं, तो इसे पेंट करने में केवल दोगुना समय लगेगा, चार या दस गुना नहीं।

परिणाम: दौड़ जीतना

लेखकों ने वास्तविक दुनिया के डेटा (जैसे मूवीलेंस से मूवी रेटिंग और नेटवर्क मैप्स) पर अपने हाइकर का पुराने तरीकों के साथ परीक्षण किया।

सटीकता: मूवीलेंस डेटासेट (मूवी रेटिंग की भविष्यवाणी करना) पर, उनकी विधि ने परीक्षण की गई सभी कॉन्फ़िगरेशन में सबसे कम त्रुटि दर (सर्वश्रेष्ठ सटीकता) प्राप्त की। उन्होंने विशेषज्ञ "केवल-रेसट्रैक-वाला" तरीकों से बेहतर समाधान खोजे।
मजबूती (Robustness): जब उन्होंने कृत्रिम रूप से शुरुआती स्थितियों को बिगाड़ दिया (एक रेखाचित्र को बहुत चमकीला और दूसरे को बहुत धुंधला बना दिया), तो उनकी विधि ने उस गड़बड़ी को अनदेखा किया और हर बार सही उत्तर पाया। पुरानी विधियाँ भ्रमित हो गईं और खराब प्रदर्शन किया।
बहुमुखी प्रतिभा: विशेषज्ञ विधियों के विपरीत जो केवल सरल गणितीय समस्याओं पर काम करती हैं, यह नई विधि किसी भी सुचारू लक्ष्य (smooth goal) के लिए काम करती है, जो इसे इस प्रकार के डेटा के लिए एक सार्वभौमिक उपकरण बनाती है।

सारांश

यह शोध पत्र कंप्यूटर को यह सिखाने का एक स्मार्ट तरीका पेश करता है कि "गुणात्मक" (multiplicative) संरचना वाले डेटा से कैसे सीखा जाए। यह महसूस करते हुए कि समस्या एक घुमावदार, मुड़ी हुई सतह पर स्थित है और एक कस्टम कंपास बनाकर जो अप्रासंगिक स्केलिंग ट्रिक्स को अनदेखा करता है, उन्होंने एक ऐसा एल्गोरिदम बनाया है जो पिछले तरीकों की तुलना में तेज़, अधिक सटीक और कम मानव ट्यूनिंग की आवश्यकता वाला है। यह आँखों पर पट्टी बांधकर चलने वाले व्यक्ति से एक ऐसे हाइकर में अपग्रेड करने जैसा है जिसके पास एक परफेक्ट, खुद-समायोजित होने वाला GPS है।

तकनीकी सारांश: हैडमार्ड उत्पादों के लिए रीमानियन अनुकूलन (Riemannian Optimization)

समस्या का निरूपण (Problem Formulation)
यह शोधपत्र दो निम्न-रैंक (low-rank) मैट्रिसेस के तत्ववार (elementwise/Hadamard) उत्पाद का उपयोग करके डेटा को मॉडल करने की चुनौती को संबोधित करता है। लक्ष्य मैट्रिक्स $W \in \mathbb{R}^{m \times n}$ को इस प्रकार मॉडल किया जाता है:
$W = (GH^\top) \circ (UV^\top)$
जहाँ $G, U \in \mathbb{R}^{m \times r_1, r_2}$ और $H, V \in \mathbb{R}^{n \times r_1, r_2}$ हैं। जबकि यह निरूपण एक मानक रैंक- $r_1r_2$ गुणनखंड (factorization) की तुलना में अधिक पैरामीटर दक्षता (parameter efficiency) प्रदान करता है (जिसमें $(m+n)r_1r_2$ पैरामीटर्स के बजाय $(m+n)(r_1+r_2)$ पैरामीटर्स की आवश्यकता होती है), यह एक जटिल अनुकूलन परिदृश्य (optimization landscape) पेश करता है। विशेष रूप से, यह मॉडल सामान्य जनरल लीनियर (GL) रिपैरामीट्राइजेशन इनवेरिएंस (reparameterization invariance) से परे भी सममिति (symmetry) प्रदर्शित करता है। उत्पाद $W$ , दोनों गुणनखंड युग्मों $(G, H)$ और $(U, V)$ के बीच जुड़े हुए पंक्ति और स्तंभ स्केलिंग (row and column scalings) के तहत अपरिवर्तित रहता है। ये अतिरिक्त स्वतंत्रता की डिग्री (degrees of freedom) एक चुनौतीपूर्ण ज्यामिति बनाती है जिसे मानक यूक्लिडियन ग्रेडिएंट डिसेंट विधियाँ कुशलतापूर्वक नेविगेट करने में संघर्ष करती हैं।

मौजूदा सॉल्वर सीमाओं का सामना करते हैं: अल्टरनेटिंग ग्रेडिएंट डिसेंट (AGD) विशिष्ट ज्यामिति और स्केलिंग सममिति की अनदेखी करता है, जबकि ब्लॉक कोऑर्डिनेट डिसेंट (BCD) लीस्ट-स्क्वायर्स लॉस के लिए अत्यधिक प्रभावी है लेकिन गैर-द्विघाती (non-quadratic) लॉस (जैसे लॉजिस्टिक लिंक प्रेडिक्शन या क्रॉस-एन्ट्रॉपी) के लिए क्लोज्ड-फॉर्म समाधानों का अभाव है, जो रोबस्ट सांख्यिकी (robust statistics) और अन्य डोमेन में इसकी प्रयोज्यता को सीमित करता है।

कार्यप्रणाली (Methodology)
लेखक इस सीखने की समस्या को एक रीमानियन कोटिएंट मैनिफोल्ड (Riemannian quotient manifold) पर अनुकूलन कार्य के रूप में तैयार करने का प्रस्ताव करते हैं। यह दृष्टिकोण हैडमार्ड उत्पाद की स्वाभाविक इनवेरियन्स (invariances) को स्पष्ट रूप से ध्यान में रखता है।

मैनिफोल्ड ज्यामिति (Manifold Geometry): लेखक पूर्ण-कॉलम-रैंक मैट्रिसेस के स्पेस को इस समूह क्रिया (group action) के आधार पर फैक्टर आउट करके कोटिएंट मैनिफोल्ड $\mathcal{M}$ को परिभाषित करते हैं, जिसमें शामिल हैं:
- प्रत्येक गुणनखंड युग्म के लिए मानक GL रिपैरामीट्राइजेशन इनवेरियेंस।
- नवीन क्रॉस-हैडमार्ड स्केलिंग सममिति (cross-Hadamard scaling symmetries), जहाँ व्युत्क्रमणीय विकर्ण मैट्रिसेस (invertible diagonal matrices) दो गुणनखंड युग्मों के बीच पंक्तियों और स्तंभों को विपरीत रूप से स्केल करते हैं।
  मैनिफोल्ड का निर्माण पूर्ण-कॉलम-रैंक मैट्रिसेस के स्थान से किया गया है।
नवीन रीमानियन मेट्रिक (Novel Riemannian Metric): एक महत्वपूर्ण योगदान फ्रोबेनियस इनर प्रोडक्ट के पुलबैक (pullback) से प्राप्त ब्लॉक-डायगोनल रीमानियन मेट्रिक ( $g_x$ ) का व्युत्पत्ति है।
- पूर्ण पुलबैक मेट्रिक सभी चार फैक्टर ब्लॉक्स को जोड़ता है, जिससे एक सघन (dense) और गणनात्मक रूप से महंगा लीनियर सिस्टम बनता है।
- प्रस्तावित मेट्रिक केवल पुलबैक के डायगोनल ब्लॉक्स को रखता है, क्रॉस-टर्म्स को हटा देता है।
- मेट्रिक प्रत्येक पंक्ति/स्तंभ के लिए वेट मैट्रिसेस ( $S$ -ब्लॉक्स) के माध्यम से परिभाषित किया जाता है। उदाहरण के लिए, $G$ की $i$ -वीं पंक्ति के लिए वेट $S^G_i = H^\top \text{Diag}(Y^2_{i,:}) H$ है, जहाँ $Y = UV^\top$ है।
- इनवेरियन्स (Invariance): यह सिद्ध किया गया है कि मेट्रिक GL रिपैरामीट्राइजेशन और क्रॉस-हैडमार्ड स्केलिंग सममिति दोनों के प्रति अपरिवर्तनीय है। यह सुनिश्चित करता है कि ऑप्टिमाइज़र कारकों के बीच मनमाने आकार विभाजन (arbitrary magnitude splits) के प्रति असंवेदनशील है।
- BCD से संबंध: प्रस्तावित मेट्रिक में वेट मैट्रिसेस ठीक वही हैं जो BCD अपडेट के लिए उपयोग किए जाने वाले नॉर्मल-इक्वेशन मैट्रिसेस हैं। अतः, रीमानियन ग्रेडिएंट को सभी पंक्तियों पर एक साथ सभी स्मूथ लॉस फंक्शनों के लिए "सॉफ्ट" BCD स्टेप करने के रूप में व्याख्यायित किया जा सकता है।
ऑप्टिमाइज़ेशन एल्गोरिदम (RGD): लेखक एक रीमानियन ग्रेडिएंट डिसेंट (RGD) एल्गोरिदम विकसित करते हैं:
- ग्रेडिएंट गणना: रीमानियन ग्रेडिएंट को $S$ -ब्लॉक्स का उपयोग करके स्वतंत्र $r \times r$ लीनियर सिस्टम को हल करके कंप्यूट किया जाता है।
- स्टेप साइज: एक ट्यूनिंग-मुक्त गॉस-न्यूटन कॉची स्टेप साइज (Gauss–Newton Cauchy step size) व्युत्पन्न किया गया है। यह स्टेप साइज समरूपता समूह के तहत अपरिवर्तनीय है और इसमें किसी हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं है।
- रिट्रैक्शन (Retraction): मैनिफोल्ड पर अपडेट को वापस मैप करने के लिए एक एडिटिव रिट्रैक्शन का उपयोग किया जाता है।
- जटिलता (Complexity): प्रति-इटरेशन लागत देखे गए एंट्रियों की संख्या $N$ के साथ रैखिक रूप से ($O(Nr) $) और रैंक के साथ बहुपद रूप से ($ O((m+n)r^4)$) स्केल करती है, जो इसे बड़े डेटासेट के लिए कुशल बनाती है।

प्रमुख योगदान (Key Contributions)

ज्यामितीय लक्षण वर्णन (Geometric Characterization): हैडमार्ड उत्पादों के लिए कोटिएंट मैनिफोल्ड संरचना का औपचारिक विवरण, जो GL और क्रॉस-हैडमार्ड स्केलिंग सममिति दोनों की पहचान करता है।
स्केल-इनवेरिएंट मेट्रिक (Scale-Invariant Metric): एक नवीन ब्लॉक-डायगोनल रीमानियन मेट्रिक का प्रस्ताव जो पूर्ण समरूपता समूह का सम्मान करता है और अनुकूलन को स्वतंत्र पंक्ति/स्तंभ उप-समस्याओं में अलग करता है।
एल्गोरिदम विकास: एक RGD एल्गोरिदम का व्युत्पत्ति जो ट्यूनिंग-मुक्त गॉस-न्यूटन स्टेप साइज प्रदान करता है और किसी भी स्मूथ लॉस फंक्शन का समर्थन करता है, जो BCD के विपरीत है जो लीस्ट-स्क्वायर्स तक ही सीमित है।
अनुभवजन्य सत्यापन (Empirical Validation): लीस्ट-स्क्वायर्स कार्यों पर BCD के प्रदर्शन के बराबर प्रदर्शन और गैर-द्विघाती उद्देश्यों पर बेहतर प्रदर्शन करके RGD का मूल्यांकन।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने सिंथेटिक और वास्तविक दुनिया के डेटासेट पर RGD का मूल्यांकन किया:

सिंथेटिक स्ट्रेस टेस्ट: $2,000 \times 1,000$ $2, 000 \times 1, 000$ सिंथेटिक टारगेट पर, RGD ने प्रदर्शित किया:
- स्केल इनवेरियन्स: रिकवरी एरर विभिन्न डायगोनल स्केल सेपरेशन ( $\kappa_{scale}$ ) के बावजूद स्थिर रहा, जो मेट्रिक के इनवेरिएंस गुण को अनुभवजन्य रूप से सत्यापित करता है। इसके विपरीत, AGD स्केलिंग के प्रति संवेदनशील था।
- कंडीशनिंग: RGD विभिन्न फैक्टर कंडीशन नंबर्स के तहत BCD के समान प्रदर्शन करता है, जो AGD से काफी बेहतर है।
- नॉइज़ रोबस्टनेस: RGD, BCD की तरह ही नॉइज़ फ्लोर तक पहुँचा, जबकि AGD पीछे रह गया।
वास्तविक दुनिया के डेटासेट:
- फुल मैट्रिक्स एप्रोक्सिमेशन: Camera, Football, और Les Misérables डेटासेट्स पर, RGD ने रिलेटिव एरर में BCD का बारीकी से अनुसरण किया, जो पुष्टि करता है कि मेट्रिक द्विघाती लॉस के लिए BCD-तुल्य प्रीकंडीशनिंग प्रदान करता है।
- MovieLens-1M: एक मैट्रिक्स कम्पलीशन कार्य में, एक निश्चित पैरामीटर बजट ( $r_1+r_2=6$ ) के साथ, RGD ने सभी परीक्षण किए गए हैडमार्ड रैंक कॉन्फ़िगरेशन में सबसे कम Held-out RMSE प्राप्त किया। विशेष रूप से, संतुलित कॉन्फ़िगरेशन $(3,3)$ ने लगभग वैनिला $(1,5)$ से बेहतर प्रदर्शन किया, जो सुझाव देता है कि हैडमार्ड इंटरैक्शन क्षमता ( $r_1r_2$ ) सटीकता में योगदान देती है। RGD लगातार AGD से बेहतर रहा और वास्तविक हैडमार्ड कॉन्फ़िगरेशन में BCD से भी कम RMSE प्राप्त किया।

महत्व और दावे (Significance and Claims)
यह शोधपत्र दावा करता है कि यह लीस्ट-स्क्वायर्स समस्याओं के लिए BCD की दक्षता और सामान्य स्मूथ लॉस के लिए ग्रेडिएंट-आधारित विधियों के लचीलेपन के बीच के अंतर को पाटता है। समस्या को एक रीमानियन कोटिएंट मैनिफोल्ड पर ऊपर उठाकर, लेखक एक सिद्धांतपूर्ण ढांचा प्रदान करते हैं जो हैडमार्ड उत्पादों की जटिल सममिति को संभालता है। प्रस्तावित RGD एल्गोरिदम एक ट्यूनिंग-मुक्त, स्केल-इनवेरिएंट अनुकूलन विधि प्रदान करता है जो डेटा आकार के साथ रैखिक रूप से स्केल करती है। लेखक दावा करते हैं कि यह ढांचा $k$ निम्न-रैंक मैट्रिसेस के उत्पादों तक स्वाभाविक रूप से विस्तारित होता है और अन्य रीमानियन सॉल्वरों (जैसे कंजुगेट ग्रेडिएंट्स, ट्रस्ट-रीजन मेथड्स) के साथ संगत है, जो मल्टीप्लिकेटिव लो-रैंक मॉडलिंग के लिए मौजूदा सॉल्वरों के एक मजबूत विकल्प के रूप में कार्य करता है।