📊 statistics

Robust Automatic Differentiation of Square-Root Kalman Filters via Gramian Differentials

यह शोधपत्र इनपुट ग्रैमियन (Gramian) पर फ़िल्टर आउटपुट की सुचारू निर्भरता के आधार पर एक सुदृढ़, क्लोज्ड-फॉर्म चेन रूल (chain rule) व्युत्पन्न करके स्क्वायर-रूट कलमन फ़िल्टर्स के विभेदन (differentiation) में संख्यात्मक अस्थिरता और गैर-विशिष्टता (non-uniqueness) की समस्याओं का समाधान करता है, जिससे रैंक-डिफिशिएंट मैट्रिसेस (rank-deficient matrices) के लिए भी सटीक ग्रेडिएंट गणना सक्षम होती है।

मूल लेखक: Adrien Corenflos

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adrien Corenflos

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: एक रोबोट जो अनुमान लगाकर और जाँच करके सीखता है

कल्पना कीजिए कि आप एक रोबोट को धुंध भरे शहर में रास्ता खोजने के लिए सिखा रहे हैं। रोबोट के पास एक "दिमाग" (एक गणितीय मॉडल) है जो अनुमान लगाता है कि वह कहाँ है और शहर कैसे काम करता है। बेहतर बनने के लिए, रोबिम को अपने आंतरिक सेटिंग्स (पैरामीटर्स) को इस आधार पर समायोजित करने की आवश्यकता होती है कि उसके अनुमान कितने गलत थे।

इसे कुशलतापूर्वक करने के लिए, रोबोट एक उपकरण का उपयोग करता है जिसे कलमन फ़िल्टर (Kalman Filter) कहा जाता है। इस फ़िल्टर को एक बहुत ही सावधान मुनीम (accountant) के रूप में समझें जो रोबोट की अनिश्चितता का हिसाब रखता है। यह त्रुटियों का एक "लेज़र" (बहीखाता) रखता है।

हालाँकि, मानक लेखांकन बहीखाते अव्यवस्थित हो सकते हैं। यदि संख्याएँ बहुत छोटी या बहुत बड़ी हो जाती हैं, तो गणित टूट जाता है, और रोबोट अपना रास्ता भटक जाता है। इसे ठीक करने के लिए, इंजीनियर स्क्वायर-रूट कलमन फ़िल्टर (Square-Root Kalman Filter) का उपयोग करते हैं। कच्चे नंबरों को ट्रैक करने के बजाय, यह उन नंबरों के "वर्गमूल" (square roots) को ट्रैक करता है (जैसे क्षेत्रफल के बजाय वर्ग की भुजा की लंबाई को ट्रैक करना)। यह गणित को स्थिर रखता है और रोबोट को क्रैश होने से बचाता है।

समस्या: एक "अधुलभ्य" पहेली

इस फ़िल्टर का मुख्य कार्य एक गणितीय ऑपरेशन है जिसे ट्रायंगुलराइजेशन (Triangularization) (विशेष रूप से, एक QR अपघटन) कहा जाता है। कल्पना कीजिए कि आपके पास ब्लॉकों का एक अव्यवस्थित ढेर (एक मैट्रिक्स) है, और आपको उन्हें एक आदर्श, सुंदर पिरामिड (एक त्रिकोणीय मैट्रिक्स) में व्यवस्थित करना है।

पेपर इस समस्या की पहचान करता है कि इस सुंदर पिरामिड का उपयोग करके रोबोट को सिखाने में दो प्रमुख सिरदर्द हैं:

"बहुत अधिक विकल्प" वाली समस्या: कभी-कभी, ब्लॉकों का ढेर पिरामिड की ऊंचाई से अधिक चौड़ा होता है। ऐसे में ब्लॉकों को एक आदर्श पिरामिड में व्यवस्थित करने के अनंत तरीके हैं। यदि आप रोबोट से पूछते हैं, "यदि मैं इस ब्लॉक को थोड़ा सा हिला दूँ, तो पिरामिड कैसे बदलेगा?" तो रोबोट भ्रमित हो जाता है क्योंकि केवल एक उत्तर नहीं है। यह ऐसा है जैसे पूछना, "यदि मैं अनंत खाली स्थान वाले कमरे में फर्नीचर का एक टुकड़ा हिलाता हूँ, तो वह कहाँ समाप्त होगा?" उत्तर अनिर्धारित है।
"टूटे हुए गणित" की समस्या: कभी-कभी, ब्लॉकों का ढेर अधूरा होता है (यह "रैंक-डेफिशिएंट" होता है)। ब्लॉकों के आकार के आधार पर परिवर्तन की गणना करने का मानक तरीका इसमें विफल हो जाता है। यदि कोई ब्लॉक गायब है (आकार शून्य है), तो आप शून्य से विभाजित कर रहे हैं, और गणित फट जाता है।

इन दोनों समस्याओं के कारण, मानक कंप्यूटर उपकरण (ऑटोमैटिक डिफरेंशिएशन) विफल हो जाते हैं। वे ग्रेडिएंट (सेटिंग्स को सुधारने के लिए दिशा) की गणना करने की कोशिश करते हैं और क्रैश हो जाते हैं, जिससे "NaN" (नंबर नहीं) प्राप्त होता है।

समाधान: पिरामिड को देखना बंद करें, छाया को देखें

लेखक, एड्रियन कोरनफ़्लोस (Adrien Corenflos) ने कुछ शानदार महसूस किया।

कल्पना कीजिए कि पिरामिड (एक त्रिकोणीय मैट्रिक्स) एक मूर्ति है। रोबोट को वास्तव में मूर्ति के आकार की परवाह नहीं है; उसे केवल उस छाया की परवाह है जो मूर्ति दीवार पर डालती है ("ग्रामियन")।

अंतर्दृष्टि (Insight): भले ही पिरामिड बनाने के अनंत तरीके हों (जिससे पिरामिड खुद "ऊबड़-खाबड़" और मापने में कठिन हो जाता है), लेकिन वह छाया जो वह डालता है, हमेशा सुचारू (smooth) और अद्वितीय होती है।
उपमा: एक छाया कठपुतली शो (shadow puppet show) के बारे में सोचें। आप कठपुतली के हाथ को हज़ार अलग-अलग तरीकों से हिला सकते हैं (पिरामिड को बदलना), लेकिन जब तक दीवार पर छाया समान रहती है, कहानी (रोबोट की लर्निंग) नहीं बदलती।

पेपर रोबोट को सिखाने का एक नया तरीका प्रस्तावित करता है: पिरामिड के बदलने की गणना न करें। छाया के बदलने की गणना करें।

यह नया तरीका कैसे काम करता है

लेखक ने ग्रामियन डिफरेंशियल (Gramian Differentials) नामक एक नया गणितीय शॉर्टकट बनाया है।

पिरामिड को अनदेखा करें: बिखरे हुए और अस्थिर पिरामिड का अंतर (differentiate) करने के बजाय, यह तरीका सीधे इनपुट ब्लॉकों और छाया के बीच के संबंध को देखता है।
दो-भाग वाला समाधान:
- भाग A (मुख्य भाग): यह गणना करता है कि छाया उन ब्लॉकों के आधार पर कैसे बदलती है जो आपस में फिट बैठते हैं। इसके लिए एक विशेष "स्यूडो-इनवर्स" (pseudo-inverse) टूल का उपयोग किया जाता है (एक गणितीय सुरक्षा जाल) जो ब्लॉकों के गायब होने पर भी काम करता है।
- भाग B (एज केस): यह उन ब्लॉकों के हिस्सों के लिए एक छोटा सुधार जोड़ता है जो खाली स्थान में बाहर निकले हुए हैं ("नल स्पेस" या null space)। यह सुनिश्चित करता है कि भले ही इनपुट अजीब या टूटा हुआ हो, छाया की गणना एकदम सटीक बनी रहे।

यह क्यों महत्वपूर्ण है

स्थिरता (Stability): रोबोट अब बिखरे हुए, अधूरे या "रैंक-डेफिशिएंट" डेटा से बिना गणित फटे सीख सकता है।
गति (Speed): नया फॉर्मूला एक "क्लोज्ड-फॉर्म" समाधान है। यह एक सीधे मानचित्र होने जैसा है, बजाय इसके कि मंजिल खोजने के लिए हर संभावित रास्ते पर पैदल चला जाए।
अनुकूलता (Compatibility): क्योंकि गणित अब सुचारू और रैखिक (linear) है, यह आधुनिक AI उपकरणों (जैसे JAX और PyTorch) के साथ पूरी तरह से काम करता है। इसका मतलब है कि इंजीनियर अब जटिल स्टेट-स्पेस मॉडल (जो वित्त, रोबोटिक्स और मौसम विज्ञान में उपयोग किए जाते हैं) को बहुत आसानी से प्रशिक्षित कर सकते हैं।

निचोड़ (The Bottom Line)

यह पेपर इंजीनियरिंग के दशकों पुराने सिरदर्द को हल करता है। यह कहता है: "टूटे हुए पिरामिड को ठीक करने की कोशिश करना बंद करें। बस उसके द्वारा डाली गई छाया को देखें, क्योंकि छाया हमेशा पूर्ण होती है, और रोबोट को सीखने के लिए केवल उसी की आवश्यकता होती है।"

यह रोबोट और AI सिस्टम को "टूटे हुए" या "अधूरे" डेटा से सीखने की अनुमति देता है, जिससे वे वास्तविक दुनिया में अधिक मजबूत और विश्वसनीय बनते हैं।

यहाँ एड्रियन कोरिनफ्लोस के शोध पत्र "Robust Automatic Differentiation of Square-Root Kalman Filters via Gramian Differentials" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्क्वायर-रूट कलमन फिल्टर्स (Square-root Kalman filters) अपनी संख्यात्मक स्थिरता (numerical stability) के लिए व्यापक रूप से उपयोग किए जाते हैं, जो अवस्था सहप्रसरण (state covariances, $P_t$ ) को चोलेस्की-फैक्टर (Cholesky-factor) $S_t$ के रूप में प्रसारित करते हैं जहाँ $P_t = S_t S_t^\top$ होता है। यह उन्हें ऑटोमैटिक डिफरेंशियल (AD) का उपयोग करके स्टेट-स्पेस मॉडल्स (SSMs) में पैरामीटर लर्निंग के लिए आदर्श उम्मीदवार बनाता है।

हालाँकि, इन फिल्टर्स के मुख्य ऑपरेशन—ट्रायंगुलरज़ेशन ऑपरेटर $T(M)$ —के माध्यम से डिफरेंशिएशन करना, जो एक लोअर-ट्रायंगुलर $L$ की गणना करता है ताकि $LL^\top = MM^\top$ हो (आमतौर पर QR डिकंपोज़िशन के माध्यम से), मानक AD फ्रेमवर्क में दो गंभीर विफलता मोड प्रस्तुत करता है:

ऑर्थोगोनल फैक्टर की गैर-विशिष्टता (Non-uniqueness of the Orthogonal Factor): जब इनपुट मैट्रिक्स $M$ "चौड़ा" ( $m > n$ ) होता है, तो QR डिकंपोज़िशन ( $M^\top = QR$ ) में ऑर्थोगोनल फैक्टर $Q$ अद्वितीय नहीं होता है। यह वैध विकल्पों का एक निरंतर परिवार (continuous family) प्रदान करता है। फलस्वरूप, मानचित्र $M \mapsto L$ मानक अर्थों में डिफरेंशिएबल नहीं है, जिससे अनिश्चित या अस्थिर ग्रेडिएंट उत्पन्न होते हैं।
रैंक-डेफिशिएंट मामलों में सिंगुलैरिटी (Singularity in Rank-Deficient Cases): QR डिकंपोज़िशन के मानक जैकोबियन फॉर्मूलों में ट्रायंगुलर फैक्टर का व्युत्क्रम ( $R^{-1}$ ) शामिल होता है। यदि इनपुट मैट्रिक्स $M$ रैंक-डेफिशिएंट है (जो कि तब सामान्य है जब प्रोसेस नॉइज़ $U$ या ऑब्जर्वेशन नॉइज़ $V$ सिंगुलर हो, या जब स्टेट कोवेरियेंस डिजेनरेट हो जाए), तो यह व्युत्क्रम अपसारी (diverge) हो जाता है, जिससे ग्रेडिएंट गणना विफल हो जाती है।

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन दृष्टिकोण प्रस्तावित करते हैं जो सीधे QR डिकंपोज़िशन के डिफरेंशिएशन को पूरी तरह से दरकिनार कर देता है। इसके बजाय, यह विधि इस अवलोकन का लाभ उठाती है कि सभी प्रासंगिक फ़िल्टर आउटपुट (लॉग-मार्जिनल लाइकलीहुड, फिल्टर्ड मीन्स और कोवेरियन्स) ट्रायंगुलर फैक्टर $L$ पर केवल ग्रामियन $\Sigma = LL^\top = MM^\top$ के माध्यम से निर्भर करते हैं।

चूँकि मानचित्र $M \mapsto MM^\top$ एक स्मूथ पॉलिनॉमियल मैप है, इसलिए कंपोजिट लॉस फंक्शन स्मूथ रहता है, भले ही ट्रायंगुलरज़ेशन $T(M)$ स्मूथ न हो। कार्यप्रणाली इस प्रकार है:

ग्रामियन डिफरेंशियल आइडेंटिटी (Gramian Differential Identity): $L$ के अद्वितीय डिफरेंशियल को खोजने के बजाय, यह विधि एक सरोगेट टेंगेंट (surrogate tangent) $dL$ खोजती है जो ग्रामियन आइडेंटिटी के डिफरेंशियल को संतुष्ट करता है:
$dL L^\top + L dL^\top = dM M^\top + M dM^\top$
कोई भी $dL$ जो इस समीकरण को संतुष्ट करता है, वह ग्रामियन पर निर्भर किसी भी लॉस फंक्शन के लिए सटीक जैकोबियन-वेक्टर प्रोडक्ट (JVP) प्रदान करेगा।
दो-घटक अपघटन (Two-Component Decomposition): $M$ के किसी भी रैंक के लिए एक सुव्यवस्थित $dL $बनाने के लिए, यह विधि ऑर्थोगोनल प्रोजेक्टर$ P = LL^\dagger $(जहाँ$ L^\dagger$ मूर-पेनरोज़ इनवर्स है) का उपयोग करके समस्या को दो भागों में विभाजित करती है:
1. कॉलम-स्पेस घटक ( $dL_{col}$ ): यह $L$ के कॉलम स्पेस के भीतर होने वाले परिवर्तनों (perturbations) को संभालता है। यह $K = L^\dagger dM Q$ को शामिल करते हुए एक लोअर-ट्रायंगुलर अपडेट के लिए QR संरचना का उपयोग करता है।
2. नल-स्पेस घटक ( $dL_{null}$ ): यह $L$ के कॉलम स्पेस के बाहर होने वाले परिवर्तनों को संभालता है। इसे $dL_{null} = (I - LL^\dagger) dM Q$ के रूप में परिभाषित किया गया है।
क्लोज्ड-फॉर्म समाधान (Closed-Form Solution): कुल सरोगेट टेंगेंट $dL = dL_{col} + dL_{null}$ है। यह फॉर्मूला $M$ के फुल-रैंक और रैंक-डेफिशिएंट दोनों प्रकार के मैट्रिसेस के लिए मान्य है। जब $L$ फुल-रैंक होता है, तो नल-स्पेस टर्म शून्य हो जाता है, जिससे शास्त्रीय परिणाम प्राप्त होते हैं।
रिवर्स-मोड डिफरेंशिएशन (Reverse-Mode Differentiation): यह शोध पत्र सिद्ध करता है कि मानचित्र $dM \mapsto dL$ रैखिक (linear) है। यह इस तथ्य की अनुमति देता है कि फॉरवर्ड-मोड ऑपरेटर के ऑटोमैटिक ट्रांसपोज़ेशन के माध्यम से आवश्यक वेक्टर-जैकोबियन प्रोडक्ट (VJP) प्राप्त किया जा सकता है, जिससे जटिल बैकवर्ड फॉर्मूलों के मैन्युअल व्युत्पन्न की आवश्यकता समाप्त हो जाती है।

3. मुख्य योगदान (Key Contributions)

क्लोज्ड-फॉर्म सरोगेट JVP: ट्रायंगुलरज़ेशन ऑपरेटर के जैकोबियन-वेक्टर प्रोडक्ट के लिए एक मजबूत, क्लोज्ड-फॉर्म सूत्र का व्युत्पन्न, जो फुल-रैंक और रैंक-डेफिशिएंट दोनों इनपुट के लिए कार्य करता है।
ग्रामियन पर्याप्तता प्रमाण (Gramian Sufficiency Proof): एक औपचारिक प्रमाण जो यह दर्शाता है कि सभी मानक कलमन फ़िल्टर आउटपुट (लाइकलीहुड, मीन, कोवेरियन्स) ग्रामियन $MM^\top$ के फलन (function) हैं, यह सुनिश्चित करता है कि सरोगेट टेंगेंट लर्निंग कार्यों के लिए सटीक ग्रेडिएंट प्रदान करता है।
स्वचालित VJP जनरेशन: व्युत्पन्न ऑपरेटर की रैखिकता की स्थापना, जो ऑटोमैटिक ट्रांसपोज़ेशन के माध्यम से आधुनिक AD फ्रेमवर्क (जैसे JAX और PyTorch) में निर्बाध एकीकरण को सक्षम बनाती है, जिससे मैन्युअल बैकवर्ड पास के कार्यान्वयन की आवश्यकता नहीं रहती।
ओपन-सोर्स कार्यान्वयन: JAX के अनुकूल एक वर्किंग इम्प्लीमेंटेशन का प्रावधान।

4. परिणाम (Results)

अनुभवजन्य सत्यापन (Empirical Validation): विधि का परीक्षण विभिन्न नॉइज़ कोवेरियेंस रैंक (फुल-रैंक और रैंक-वन के बीच इंटरपोलेटिंग) के साथ एक लीनियर गॉसियन स्टेट-स्पेस मॉडल (LGSSM) पर किया गया।
तुलना:
- नेइव QR अप्रोच (Naive QR Approach): रैंक डेफिशिएंसी और गैर-विशिष्टता के मुद्दों के कारण पूरी तरह से विफल रही, जिसमें अमान्य मान प्राप्त हुए या विचलन (divergence) हुआ।
- प्रस्तावित विधि: पूरे नॉइज़ रैंक रेंज में लॉग-मार्जिनल लाइकलीहुड के लिए सुसंगत और सही ग्रेडिएंट सफलतापूर्वक कंप्यूट करने में सक्षम रही।
दृश्य पुष्टि (Visual Confirmation): शोध पत्र में दिया गया चित्र 1 लॉग-मार्जिनल लाइकलीहुड वक्र और AD-कंप्यूटेड टेंगेंट्स (एरो) के पूर्ण संरेखण को दिखाता है, जो डिजेनरेट मामलों में भी ग्रेडिएंट की गणितीय शुद्धता की पुष्टि करता है।

5. महत्व (Significance)

यह कार्य स्क्वायर-रूट कलमन फिल्टर्स का उपयोग करके स्टेट-स्पेस मॉडल्स को प्रशिक्षित करने में आने वाली एक मौलिक बाधा को हल करता है। रैंक-डेफिशिएंट और गैर-विशिष्ट ट्रायंगुलरज़ेशन ऑपरेशन्स के माध्यम से ग्रेडिएंट्स को कंप्यूट करने के लिए एक गणितीय रूप से कठोर और संख्यात्मक रूप से स्थिर तरीका प्रदान करके, यह सक्षम बनाता है:

मजबूत लर्निंग (Robust Learning): सिंगुलर नॉइज़ कोवेरियन्स या डिजेनरेट स्टेट्स के साथ SSMs को प्रशिक्षित करना, जो वास्तविक दुनिया के अनुप्रयोगों में सामान्य हैं लेकिन पहले एड-हॉक सुधारों की आवश्यकता थी या असंभव थे।
एंड-टू-एंड डिफरेंशिएबिलिटी (End-to-End Differentiability): संख्यात्मक स्थिरता से समझौता किए बिना आधुनिक डीप लर्निंग पाइपलाइनों (जैसे JAX, PyTorch) में स्क्वायर-रूट फिल्टर्स के उपयोग को सुगम बनाना।
सामान्य प्रयोज्यता (General Applicability): "ग्रामियन डिफरेंशियल" अवधारणा उन गैर-स्मूथ मैट्रिक्स फैक्टराइजेशन के लिए एक नया प्रतिमान (paradigm) प्रदान करती है जहाँ लॉस केवल परिणामी ग्रामियन पर निर्भर करता है।