🤖 machine learning

Training Without Orthogonalization, Inference With SVD: A Gradient Analysis of Rotation Representations

यह शोध पत्र यह प्रदर्शित करते हुए कि प्रशिक्षण के दौरान SVD ऑर्थोगोनलाइजेशन (orthogonalization) गंभीर, कंडीशन-नंबर-निर्भर ग्रेडिएंट विरूपण और दिशा त्रुटियाँ उत्पन्न करता है, जबकि इसे हटाने से इन समझौतों से बचा जा सकता है और 6D ग्राम-श्मिट विधियाँ असममित ग्रेडिएंट संकेतों से ग्रस्त होती हैं, सीधे 9D रिग्रेशन के साथ रोटेशन नेटवर्क को प्रशिक्षित करने और केवल अनुमान (inference) के समय SVD प्रोजेक्शन लागू करने के लिए एक सैद्धांतिक आधार प्रदान करता है।

मूल लेखक: Chris Choy

प्रकाशित 2026-04-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chris Choy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को 3D रोटेशन (जैसे कि एक कैमरा कैसे घूमता है या एक इंसान का हाथ कैसे हिलता है) समझना सिखा रहे हैं। इसे करने के लिए, रोबोट को एक "रोटेशन मैट्रिक्स" आउटपुट करना होगा—जो संख्याओं का एक विशिष्ट 3x3 ग्रिड है जो एक सटीक मोड़ का वर्णन करता है।

समस्या यह है कि इस ग्रिड के सख्त नियम हैं: इसे "ऑर्थोगोनल" (orthogonal) होना चाहिए (यानी रेखाएं पूरी तरह से लंबवत होनी चाहिए, जैसे एक सटीक घन के कोने होते हैं)। यदि रोबोट एक थोड़ा टेढ़ा-मेढ़ा ग्रिड गेस करता है, तो वह गणितीय रूप से अमान्य होगा।

लंबे समय तक, शोधकर्ताओं ने इसे ठीक करने की कोशिश की, लेकिन हर बार जब रोबोट गलती करता था, तो वे उसके गेस को "सीधा" करने के लिए मजबूर करते थे। उन्होंने अपने गेस को तुरंत एक सटीक घन में बदलने के लिए SVD (सिंगुलर वैल्यू डिकंपोजिशन) नामक एक गणितीय उपकरण का उपयोग किया।

यह पेपर तर्क देता है कि यह "तत्काल सुधारने" की प्रक्रिया वास्तव में रोबोट के सीखने में बाधा डाल रही है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके पेपर के निष्कर्षों का विवरण दिया गया है:

1. "अति-उत्साही संपादक" की उपमा (क्यों SVD ट्रेनिंग को नुकसान पहुँचाता है)

कल्पना कीजिए कि आप एक कहानी लिख रहे हैं, और आपका संपादक (SVD एल्गोरिदम) आपको हर वाक्य के बाद रोकता है ताकि आपके अगले वाक्य को लिखने से पहले उसे व्याकरण की दृष्टि से त्रुटिहीन अंग्रेजी में फिर से लिखा जा सके।

समस्या: क्योंकि संपादक इतना आक्रामक है, वे आपके मूल इरादे को बदल देते हैं। यदि आपने लिखा "The cat sat" (बिल्ली बैठी), और संपादक ने इसे बदलकर "The cat sat slightly" (बिल्ली थोड़ी बैठी) कर दिया, तो वे इसे "The cat sat perfectly" (बिल्ली पूरी तरह बैठी) में बदल सकते हैं।
ग्रेडिएंट (Gradient) का मुद्दा: मशीन लर्निंग में, "ग्रेडिएंट" वह संकेत है जो रोबोट को बताता है कि बेहतर होने के लिए उसे अपने गेस में कैसे बदलाव करना चाहिए। जब आप ट्रेनिंग के दौरान SVD का उपयोग करते हैं, तो संपादक इस संकेत को विकृत कर देता है।
- "विस्फोट" (The Explosion): यदि रोबको का गेस बहुत खराब है (बहुत टेढ़ा-मेढ़ा है), तो संपादक घबरा जाता है और चिल्लाने लगता है, जिससे रोबोट को एक विशाल, अराजक संकेत मिलता है। यह ऐसा है जैसे संपादक चिल्ला रहा हो "तुम गलत हो!" इतना ज़ोर से कि रोबोट यह नहीं सुन पाता कि उसे कैसे ठीक होना है।
- "अंधा मोड़" (The Blind Spot): संपादक को केवल ग्रिड को परफेक्ट दिखाने की चिंता है। वे उस हिस्से को अनदेखा कर देते हैं जो रोबोट को बताते हैं, "हे, आप लक्ष्य से बहुत दूर हैं।" यह ऐसा है जैसे संपादक केवल स्पेलिंग चेक कर रहा हो, लेकिन इस बात को पूरी तरह अनदेखा कर दे कि आप गलत विषय पर लिख रहे हैं।

पेपर की खोज: लेखकों ने इस "संपादक" का गहरा गणितीय विश्लेषण किया। उन्होंने पाया कि संपादक का संकेत विकृत और असमान है। कभी-कभी यह शोर (noise) को बढ़ा देता है, तो कभी महत्वपूर्ण जानकारी को मिटा देता है। यह एक ऐसी कार चलाने जैसा है जिसका स्टीयरिंग व्हील किसी अराजक बल द्वारा बेतरतीब ढंग से घुमाया जा रहा हो।

2. "दो-चरणीय नृत्य" (समाधान)

पेपर एक बहुत ही सरल रणनीति प्रस्तावित करता है: अभ्यास के दौरान संपादन करना बंद करें।

ट्रेनिंग (अभ्यास): रोबोट को एक "स्यूडो-रोटेशन" (pseudo-rotation) आउटपुट करने दें। यह एक टेढ़ा-मेढ़ा, अस्त-व्यस्त, अपूर्ण ग्रिड हो सकता है। रोबोट इस अस्त-व्यस्त ग्रिड की सीधे लक्ष्य से तुलना करके सीखता है।
- यह क्यों काम करता है: संकेत अब साफ है। यदि रोबोट 10 डिग्री से भटक गया है, तो उसे 10 डिग्री करीब आने के लिए एक स्पष्ट, आनुपातिक संकेत मिलता है। कोई चिल्लाहट नहीं, कोई विरूपण नहीं। रोबोट समस्या के आकार को पूरी तरह से समझ लेता है।
इन्फरेंस (प्रदर्शन/परफॉरमेंस): केवल तब, जब रोबोट ने सीखना समाप्त कर लिया हो और वह टेस्ट देने या वास्तविक रोबोट को नियंत्रित करने के लिए तैयार हो, तब हम "संपादक" (SVD) को लागू करते हैं।
- यह क्यों काम करता है: इस बिंदु पर, रोबोट पहले से ही बहुत अच्छा है। उसका गेस लगभग एक परफेक्ट क्यूब है। संपादक बस उसे एक अंतिम पॉलिश देता है ताकि वह कानूनी रूप से सटीक आकार में आ जाए। चूंकि रोबोट पहले से ही करीब है, संपादक घबराता नहीं है और न ही संकेत को विकृत करता है।

3. "9D बनाम 6D" की बहस (अधिक संख्याएँ क्यों बेहतर हैं)

एक और बहस थी: क्या रोबोट को 6 नंबर (6D प्रतिनिधित्व) गेस करने चाहिए या 9 नंबर (9D प्रतिनिधित्व)?

6D दृष्टिकोण (ग्राम-श्मिट): यह एक घर बनाने जैसा है जहाँ पहले एक ईंट रखी जाती है, फिर दूसरी, और फिर पहली दो ईंटों के आधार पर तीसरी की गणना की जाती है।
- खामी: यदि आप पहली ईंट में गलती करते हैं, तो पूरा घर टेढ़ा हो जाता है, और त्रुटि आगे बढ़ती जाती है। संकेत "असममित" (asymmetric) हो जाता है—पहली ईंट को सारा ध्यान मिलता है, लेकिन बाद की ईंटें भ्रमित संकेतों के साथ संघर्ष करती हैं।
9D दृष्टिकोण: यह सभी 9 ईंटों को स्वतंत्र रूप से रखने जैसा है।
- लाभ: हर ईंट को एक स्पष्ट, समान संकेत मिलता है। यदि एक गलत है, तो आप अन्य को गड़बड़ाए बिना उस विशिष्ट ईंट को ठीक कर सकते हैं। पेपर गणितीय रूप से सिद्ध करता है कि यह "9D डायरेक्ट रिग्रेशन" सीखने का सबसे स्थिर तरीका है।

4. "दोनों दुनियाओं का सर्वश्रेष्ठ" निष्कर्ष

पेपर इन दोनों अंतर्दृष्टियों को एक विजेता रणनीति में जोड़ता है:

ट्रेनिंग के लिए 9D डायरेक्ट रिग्रेशन का उपयोग करें (रोबोट को सभी 9 नंबर स्वतंत्र रूप से गेस करने दें, उन्हें परफेक्ट होने के लिए मजबूर किए बिना)। यह सबसे साफ और ईमानदार लर्निंग सिग्नल देता है।
इन्फरेंस के लिए SVD का उपयोग करें (केवल अंत में "परफेक्ट स्नैप" लागू करें)। यह सुनिश्चित करता है कि अंतिम आउटपुट गणितीय रूप से मान्य है और आश्चर्यजनक रूप से, यह अन्य तरीकों की तुलना में अंतिम त्रुटि को लगभग 3 गुना कम कर देता है।

सारांश

इसे साइकिल चलाना सीखने जैसा समझें।

पुराना तरीका (SVD-ट्रेनिंग): आप एक ऐसे हेलमेट पहनते हैं जो आपके सीखने के दौरान आपके संतुलन को तुरंत ठीक करता है। यह इतना आक्रामक है कि यह आपके दिमाग को भ्रमित कर देता है कि किस दिशा में झुकना है। आप संतुलन का असली अहसास कभी नहीं सीख पाते।
नया तरीका (SVD-इन्फरेंस): आप एक डगमगाती, असंतुलित साइकिल पर साइकिल चलाना सीखते हैं। आप डगमगाहट को महसूस करते हैं और स्वाभाविक रूप से उसे ठीक करना सीखते हैं। एक बार जब आप प्रो बन जाते हैं, तो आप रेस के लिए एक पूरी तरह से संतुलित साइकिल पर स्विच कर लेते हैं।

पेपर यह सिद्ध करता है कि डगमगाती साइकिल पर सीखना (ऑर्थोगोनलाइजेशन के बिना ट्रेनिंग) और अंत में परफेक्ट साइकिल पर स्विच करना (इन्फरेंस के साथ SVD) ही रोटेशन में महारत हासिल करने का सबसे तेज़ और सबसे सटीक तरीका है।

यहाँ क्रिस चॉय के शोध पत्र "Training Without Orthogonalization, Inference With SVD: A Gradient Analysis of Rotation Representations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप लर्निंग के लिए 3D रोटेशन ($SO(3) $) को दर्शाना चुनौतीपूर्ण है क्योंकि$ SO(3)$ एक 3-आयामी मैनिफोल्ड (manifold) है जो $\mathbb{R}^{3\times3}$ में एम्बेडेड है और इसमें ऑर्थोगोनैलिटी बाधाएं ( $R^\top R = I, \det(R)=1$ ) होती हैं।

संघर्ष (The Conflict): हालिया अनुभवजन्य कार्य (Gu et al., 2024) ने दिखाया कि प्रशिक्षण के दौरान ऑर्थोगोनैलाइजेशन (orthogonalization) को हटाने और इसे केवल अनुमान (inference) के समय लागू करने (SVD का उपयोग करके) से, प्रशिक्षण के दौरान ऑर्थोगोनैलाइजेशन (SVD या ग्राम-श्मिट) लागू करने की तुलना में बेहतर परिणाम मिलते हैं।
अंतराल (The Gap): जबकि अनुभवजन्य साक्ष्य "डायरेक्ट 9D रिग्रेशन + इन्फरेंस में SVD" के पक्ष में हैं, उनके सैद्धांतिक कारण अपूर्ण थे। विशेष रूप से:
1. SVD ऑर्थोगोनैलाइजेशन प्रशिक्षण ग्रेडिएंट्स को विशेष रूप से कैसे नुकसान पहुँचाता है?
2. इन्फरेंस के समय Gram-Schmidt (GS) के बजाय SVD क्यों बेहतर है?
3. अन-ऑर्थोगोनलाइज्ड रिजीम (unorthogonalized regime) में 6D (GS-आधारित) रिग्रेशन की तुलना में 9D रिग्रेशन क्यों श्रेष्ठ है?

2. कार्यप्रणाली (Methodology)

लेखक रोटेशन रिप्रेजेंटेशन के बैकवर्ड पास (backward pass) के एक कठोर जैकबियन विश्लेषण (Jacobian analysis) को प्रस्तुत करते हैं। वे $3\times3$ मैट्रिसेस और $SO(3)$ प्रोजेक्शन के लिए अपने व्युत्पन्न (derivation) को विशिष्ट बनाते हैं।

SVD विश्लेषण: वे मैपिंग $M \to R = UV^\top$ (जहाँ $M = U\Sigma V^\top$ ) के जैकबियन के सटीक स्पेक्ट्रम को व्युत्पन्न करते हैं। वे इस जैकबियन के सिंगुलर वैल्यूज, कंडीशन नंबर और रैंक का विश्लेषण करते हैं।
ग्राम-श्मिट विश्लेषण: वे 6D रिप्रेजेंटेशन (दो कॉलम जिन्हें GS द्वारा रिकवर किया जाता है) के जैकबियन का विश्लेषण करते हैं ताकि ग्रेडिएंट कपलिंग और विषमता (asymmetry) को समझा जा सके।
स्थिरता विश्लेषण (Stability Analysis): वे मानक SVD बैकप्रोपैगेशन बनाम स्टेबलाइज्ड वेरिएंट्स (टेयलर एक्सपेंशन एप्रोक्सिमेशन) और डायरेक्ट रिग्रेशन की तुलना करते हैं।
अभिसरण विश्लेषण (Convergence Analysis): वे फ्रोबेनियस (Frobenius) और जियोडेसिक (Geodesic) लॉस के तहत डायरेक्ट रिग्रेशन बनाम SVD-Train के लिए ग्रेडिएंट डिसेंट कन्वर्जेंस रेट को मॉडल करते हैं।

3. मुख्य योगदान और सैद्धांतिक परिणाम (Key Contributions & Theoretical Results)

A. SVD ग्रेडिएंट पैथोलॉजी (The Convergence Paradox)

पेपर SVD जैकबियन ( $J_{SVD}$ ) के सटीक स्पेक्ट्रम को व्युत्पन्न करता है:

रैंक (Rank): जैकबियन का रैंक 3 है (जो $SO(3)$ के आयाम से मेल खाता है), जिसका अर्थ है कि 9 में से 6 ग्रेडिएंट आयाम शून्य पर प्रोजेक्ट किए जाते हैं।
सिंगुलर वैल्यूज (Singular Values): तीन गैर-शून्य सिंगुलर वैल्यूज $\sigma_{ij} = \frac{2}{s_i + s_j}$ हैं (जहाँ $i < j$ ), जहाँ $s_i$ , प्रेडिक्टेड मैट्रिक्स $M$ के सिंगुलर वैल्यूज हैं।
कंडीशन नंबर (Condition Number): $\kappa(J_{SVD}) = \frac{s_1 + s_2}{s_2 + s_3}$ ।
निहितार्थ (Implication):
- ग्रेडिएंट एक्सप्लोजन (Gradient Explosion): जब नेटवर्क $SO(3) $से दूर होता है (प्रारंभिक प्रशिक्षण के दौरान), तो$ s_3 \approx 0 $होता है। इसके कारण कंडीशन नंबर बढ़ जाता है ($ \kappa(J_{SVD}) \sim O(1/s_3)$) और स्पेक्ट्रल नॉर्म विस्फोट कर जाता है।
- ग्रेडिएंट डिस्टॉर्शन (Gradient Distortion): ग्रेडिएंट सिग्नल एनिसोट्रोपिक (anisotropic) है; $(2,3)$ सिंगुलर वेक्टर प्लेन में होने वाले बदलावों को $(1,2)$ प्लेन की तुलना में अधिक एम्प्लीफाई किया जाता है।
- सूचना की हानि (Information Loss): SVD बैकप्रोपैगेशन ग्रेडिएंट ऊर्जा के 2/3 हिस्से को त्याग देता है (मैनिफोल्ड के नॉर्मल घटक को)। ऑप्टिमाइज़र को मैट्रिक्स को ऑर्थोगोनल बनाने के लिए कोई सिग्नल नहीं मिलता, जबकि डायरेक्ट रिग्रेशन इस सिग्नल को बनाए रखता है।
- स्थिरीकरण विफलता (Stabilization Failure): यहाँ तक कि अत्याधुनिक स्टेबलाइजेशन तकनीकें (क्लैम्पिंग सिंगुलर वैल्यूज) भी महत्वपूर्ण ग्रेडिएंट दिशा त्रुटियों को पेश किए बिना इस पैथोलॉजी को समाप्त नहीं कर सकतीं।

B. ग्राम-श्मिट (6D) ग्रेडिएंट एसिमेट्री (Gram-Schmidt (6D) Gradient Asymmetry)

लेखक सिद्ध करते हैं कि 6D ग्राम-श्मिट जैकबियन का स्पेक्ट्रम एसिमेट्रिक (asymmetric) है:

एक-दिशीय कपलिंग (One-Directional Coupling): पहले कॉलम के पैरामीटर्स ( $t'_1$ ) को तीनों आउटपुट रोटेशन कॉलम्स से ग्रेडिएंट सिग्नल प्राप्त होते हैं। हालांकि, दूसरे कॉलम के पैरामीटर्स ( $t'_2$ ) पहले कॉलम की त्रुटियों के प्रति "अंधे" होते हैं ( $\partial r'_1 / \partial t'_2 = 0$ )।
कंडीशनिंग (Conditioning): जैसे-जैसे $t'_1$ और $t'_2$ समानांतर (parallel) होते जाते हैं, कंडीशन नंबर डाइवर्ज होता जाता है।
परिणाम: यह विषमता असमान लर्निंग सिग्नल की ओर ले जाती है और इन्फरेंस के दौरान कॉलम 1 से कॉलम 3 तक प्रोजेक्शन एरर को बढ़ाती है।

C. 9D + SVD-इन्फरेंस की इष्टतमता (Optimality of 9D + SVD-Inference)

प्रशिक्षण (Training): डायरेक्ट 9D रिग्रेशन (रॉ मैट्रिक्स एंट्रीज प्रेडिक्ट करना) का जैकबियन $I_9$ (Identity) है। इसका कंडीशन नंबर $\kappa=1$ है, फुल-रैंक ग्रेडिएंट्स हैं, और कोई क्रॉस-कपलिंग नहीं है। यह सभी सिंगुलैरिटीज़ से बचता है।
अनुमान (Inference): SVD, $SO(3)$ पर लीस्ट स्क्वायर्स ऑप्टिमल प्रोजेक्टर (Least Squares Optimal Projector) है।
- आइसोट्रोपिक गौसियन नॉइज़ के तहत, SVD प्रोजेक्शन रॉ मैट्रिक्स की तुलना में अपेक्षित स्क्वेर्ड एरर को 3 गुना कम कर देता है (केवल 3 टेंगेंशियल आयामों को रखते हुए, 6 नॉर्मल आयामों को हटाते हुए)।
- SVD कोऑर्डिनेट-इंडिपेंडेंट (रोटेशन के तहत इक्विवेरिएंट) है, जबकि ग्राम-श्मिट नहीं है।

4. परिणाम (Results)

सैद्धांतिक औचित्य (Theoretical Justification): पेपर गणितीय रूप से सिद्ध करता है कि "9D के साथ ट्रेन करें, SVD-इन्फरेंस के साथ" वाला प्रतिमान (paradigm) क्यों काम करता है:
1. प्रशिक्षण: SVD-Train की $O(1/\delta)$ ग्रेडिएंट एक्सप्लोजन और रैंक डेफिशिएंसी और 6D-GS की एसिमेट्री से बचता है।
2. अनुमान: रिकंस्ट्रक्शन एरर को कम करने के लिए एक ऑप्टिमल प्रोजेक्टर के रूप में SVD के लाभों का उपयोग करता है।
अभिसरण दर (Convergence Rates):
- डायरेक्ट रिग्रेशन: स्टेट से स्वतंत्र दर के साथ लीनियरली कन्वर्ज होता है।
- SVD-Train: $SO(3) $के करीब होने पर भी$ \sim 2\times $धीमा कन्वर्ज होता है (रैंक-3 प्रोजेक्शन के कारण) और$ SO(3)$ से दूर होने पर इल-कंडीशनिंग के कारण काफी धीमा होता है।
जियोडेसिक लॉस (Geodesic Loss): पेपर दिखाता है कि SVD-Train के साथ जियोडेसिक लॉस का उपयोग करने से सिंगुलैरिटीज (दोनों $1/\sin\theta$ लॉस से और $1/(s_2+s_3)$ SVD से) बढ़ जाती हैं, जिससे यह रॉ मैट्रिसेस पर फ्रोबेनियस लॉस की तुलना में स्पष्ट रूप से खराब हो जाता है।

5. महत्व (Significance)

अनुभवजन्य रहस्यों का समाधान: यह कार्य 'Pseudo Rotation Matrices (PRoM)' और समान विधियों की अनुभवजन्य सफलता के लिए एक कठोर गणितीय आधार प्रदान करता है, जो "यह काम करता है" से आगे बढ़कर "यह ठीक इसी तरह क्यों काम करता है" तक जाता है।
डिज़ाइन सिद्धांत (Design Principle): यह रोटेशन एस्टीमेशन के लिए एक स्पष्ट डिज़ाइन सिद्धांत स्थापित करता है: प्रशिक्षण और अनुमान को अलग करें। स्थिर, आइसोट्रोपिक ग्रेडिएंट सुनिश्चित करने के लिए अनकन्स्ट्रेंड, फुल-रैंक रिग्रेशन (9D) के साथ ट्रेन करें, और केवल इन्फरेंस के समय एक वैध रोटेशन की आवश्यकता होने पर इष्टतम ज्यामितीय प्रोजेक्शन (SVD) लागू करें।
व्यापक प्रभाव: SVD ग्रेडिएंट पैथोलॉजी का विश्लेषण (विशेष रूप से $1/(s_i+s_j)$ स्केलिंग) किसी भी डिफरेंशिएबल पाइपलाइन पर लागू होता है जिसमें SVD शामिल है, जो यह सुझाव देता है कि इसी तरह की "इन्फरेंस में प्रोजेक्शन के साथ बिना प्रोजेक्शन के ट्रेन करें" रणनीतियाँ अन्य मैनिफोल्ड लर्निंग कार्यों को भी लाभान्वित कर सकती हैं।

संक्षेप में, पेपर यह प्रदर्शित करता है कि प्रशिक्षण के दौरान ऑर्थोगोनैलिटी लेयर्स ग्रेडिएंट डिस्टॉर्शन और सूचना की हानि लाती हैं। इष्टतम रणनीति यह है कि प्रशिक्षण के दौरान रोटेशन मैट्रिक्स को एक मानक 9D रिग्रेशन टारगेट के रूप में माना जाए और इन्फरेंस के समय केवल ज्यामितीय रूप से इष्टतम SVD प्रोजेक्शन लागू किया जाए।