🤖 machine learning

Outlier-robust Autocovariance Least Square Estimation via Iteratively Reweighted Least Square

यह शोध पत्र ALS-IRLS का प्रस्ताव करता है, जो एक नवीन आउटलायर-रोबस्ट एल्गोरिदम है जो पारंपरिक तरीकों की तुलना में मापन आउटलायर्स की उपस्थिति में शोर सहप्रसरण (noise covariance) अनुमान और अवस्था फ़िल्टरिंग की सटीकता में महत्वपूर्ण सुधार करने के लिए एक इनोवेशन-लेवल एडेप्टिव थ्रेशोल्डिंग तंत्र को एक IRLS-आधारित हबर कॉस्ट फंक्शन के साथ एकीकृत करता है।

मूल लेखक: Jiahong Li, Fang Deng

प्रकाशित 2026-03-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiahong Li, Fang Deng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को धुंधले और शोर वाले कमरे में चलना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, रोबोट एक "कलमन फ़िल्टर" (Kalman Filter) का उपयोग करता है, जो एक स्मार्ट अंदाज़ा लगाने वाले की तरह है। यह भविष्यवाणी करता है कि रोबोट अगला कदम कहाँ होगा, फिर अपने सेंसरों से जाँच करता है कि वह वास्तव में कहाँ है, और फिर इन दोनों जानकारियों को मिलाकर सबसे सटीक अंदाज़ा लगाता है।

हालाँकि, इस अंदाज़े को पूरी तरह से काम करने के लिए, इसे दो चीज़ों को जानना आवश्यक है:

रोबोट अपने आप कितना डगमगाता है (प्रोसेस नॉइज़/Process Noise)।
सेंसर कितना झूठ बोलते हैं या उनमें कितनी गड़बड़ी होती है (मेज़रमेंट नॉइज़/Measurement Noise)।

वास्तविक दुनिया में, हमारे पास ये संख्याएँ बिल्कुल सटीक नहीं होतीं। इसलिए, हमें रोबोट की गतिविधियों को देखकर इनका अनुमान लगाना पड़ता है। यहीं पर ऑटोकोवेरिएंस लीस्ट स्क्वायर्स (ALS) विधि काम आती है। यह एक जासूस की तरह है जो शोर के स्तरों को समझने के लिए सेंसर डेटा के इतिहास पर नज़र रखता है।

समस्या: "खराब सेब" का प्रभाव (The "Bad Apple" Effect)

पुराना जासूस (मानक ALS) "खराब सेबों" के प्रति बहुत संवेदनशील है। कल्पना कीजिए कि आप लोगों के एक समूह की औसत ऊँचाई की गणना करने की कोशिश कर रहे हैं। यदि एक व्यक्ति बहुत विशाल है (जो सेंसर की गड़बड़ी या अचानक आए उछाल के कारण एक आउटलायर/Outlier है), तो पुराना जासूस भ्रमित हो जाता है। वह सोचता है, "वाह, हर कोई बहुत विशाल ही होगा!" और वह एक बहुत बड़ा, गलत औसत निकाल देता है।

हमारे रोबोट के उदाहरण में, सेंसर की एक एकल गड़बड़ी जासूस को यह सोचने पर मजबूर कर देती है कि सेंसर अविश्वसनीय हैं। इसके बाद, वह रोबोट को अपनी गति की भविष्यवाणियों को अनदेखा करने और सेंसरों पर आँख मूँदकर भरोसा करने के लिए कहता है, जिससे रोबोट लड़खड़ा कर गिर जाता है।

समाधान: "स्मार्ट फ़िल्टर" (ALS-IRLS)

यह शोध पत्र एक नया, सुपर-स्मार्ट जासूस पेश करता है जिसे ALS-IRLS कहा जाता है। यह खराब सेबों से निपटने के लिए एक "दो-स्तरीय" रणनीति का उपयोग करता है, जैसे क्लब के बाहर खड़ा एक बाउंसर और अंदर खड़ा एक सुरक्षा गार्ड।

टियर 1: बाउंसर (इनोवेशन-लेवल थ्रेशोल्डिंग)

जासूस द्वारा नंबरों की गणना शुरू करने से पहले ही, वह "स्मार्ट चश्मा" पहन लेता है।

रूपक (Metaphor): कल्पना कीजिए कि रोबोट चल रहा है, और उसका हर कदम एक "भविकीति" है। सेंसर उसे बताता है कि वह कहाँ है। भविष्यवाणी और सेंसर के बीच का अंतर "इनोवेशन" (आश्चर्य) है।
कार्रवाई: यदि रोबोट भविष्यवाणी करता है कि वह फर्श पर है, लेकिन सेंसर अचानक कहता है कि वह छत पर है, तो "बाउंसर" कहता है, "यह असंभव है! यह एक गड़बड़ी है!" और वह उस विशिष्ट डेटा पॉइंट को तुरंत कमरे से बाहर निकाल देता है।
परिणाम: जासूस उस डेटा को कभी देख ही नहीं पाता। वह केवल सामान्य और स्वस्थ डेटा को देखता है।

टियर 2: सुरक्षा गार्ड (इटरेटिवली रीवेटेड लीस्ट स्क्वायर्स - Iteratively Reweighted Least Squares)

कभी-कभी, एक खराब सेब बाउंसर से बचकर अंदर घुस जाता है, या डेटा का कोई हिस्सा बस "संदिग्ध" होता है लेकिन स्पष्ट रूप से टूटा हुआ नहीं होता।

रूपक: कल्पना कीजिए कि जासूस अब एक पहेली सुलझाने की कोशिश कर रहा है। अधिकांश टुकड़े पूरी तरह से फिट बैठते हैं। लेकिन एक टुकड़ा थोड़ा टेढ़ा-मेढ़ा दिखता है।
कार्रवाई: उस टेढ़े टुकड़े को जबरदस्ती फिट करने के बजाय (जिससे पूरा चित्र बिगड़ सकता है), सुरक्षा गार्ड कहता है, "हम उस टुकड़े का उपयोग करेंगे, लेकिन हम उसे बहुत हल्के से पकड़ेंगे ताकि वह पूरे पहेली के आकार को बिगाड़ न दे।"
जादू: जासूस यह काम इटरेटिवली (बार-बार) करता है। वह पहेली को हल करता है, देखता है कि कौन से टुकड़े अभी भी चीज़ों को आकार से बाहर खींच रहे हैं, और फिर उन्हें और भी हल्का कर देता है। वह इसे तब तक दोहराता है जब तक कि चित्र एकदम सही न हो जाए। यही "इटरेटिवली रीवेटेड लीस्ट स्क्वायर्स" (IRLS) वाला हिस्सा है।

यह क्यों महत्वपूर्ण है

इस शोध पत्र ने इस नए तरीके का परीक्षण पुराने तरीके और कुछ अन्य "रोबस्ट" (मजबूत) तरीकों के विरुद्ध किया। यहाँ बताया गया है कि क्या हुआ:

सटीकता (Accuracy): पुराना तरीका बहुत बड़े अंतर से चूक गया था (जैसे कि 5 फुट के व्यक्ति को 50 फुट लंबा बताना)। नया तरीका लगभग सटीक था, जिसने त्रुटि को 100 गुना कम कर दिया।
"ओरेकल" लक्ष्य (The "Oracle" Goal): विज्ञान में, एक "ओरेकल" (एक जादुई सत्ता जो शोर के वास्तविक स्तरों को पूरी तरह से जानती है) होता है। नया तरीका रोबोट के प्रदर्शन को इस जादुई ओरेकल के 9% के भीतर ले आया।
प्रतिस्पर्धा में बेहतर: अन्य तरीकों ने गड़बड़ियों को संभालने के लिए रोबोट के सोचने के तरीके को बदलने (जटिल गणित का उपयोग करके) की कोशिश की। लेकिन इस शोध पत्र ने दिखाया कि यदि आप पहले डेटा को ठीक कर देते हैं (गड़बड़ियों को हटाकर), तो रोबोट साधारण, मानक सोच का उपयोग करके भी अद्भुत प्रदर्शन कर सकता है।

निचोड़ (The Bottom Line)

पुराने तरीके को ऐसे समझें जैसे आप केक बनाने की कोशिश कर रहे हैं और कोई लगातार बैटर (घोल) में पत्थर फेंक रहा है। अंत में आपको पत्थर भरा हुआ मिश्रण मिलता है।

नया ALS-IRLS तरीका एक ऐसे शेफ की तरह है जो:

सामग्री का निरीक्षण करता है और पत्थरों के कटोरे में गिरने से पहले ही उन्हें बाहर निकाल देता है।
धीरे-धीरे मिलाता है, यह सुनिश्चित करता है कि यदि कोई छोटा कंकड़ फिसल भी गया है, तो भी वह बनावट को खराब न करे।

परिणाम? एक बेहतरीन केक (एक सुचारू रूप से चलने वाला रोबोट) यहाँ तक कि एक बहुत ही अस्त-व्यस्त और शोर वाले किचन में भी। यह साबित करता है कि अपने डेटा को साफ करना अक्सर गंदे डेटा के साथ तालमेल बिठाने के लिए एक स्मार्ट एल्गोरिदम बनाने से कहीं अधिक शक्तिशाली होता है।

यहाँ जियाहोंग ली और फेंग डेंग के शोध पत्र "Outlier-robust Autocovariance Least Square Estimation via Iteratively Reweighted Least Square" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लीनियर टाइम-इनवेरिएंट (LTI) सिस्टम के लिए कलमन फिल्टर (KF) में प्रोसेस नॉइज़ कोवेरियेंस ( $Q$ ) और मेजरमेंट नॉइज़ कोवेरियेंस ( $R$ ) के अनुमान की महत्वपूर्ण चुनौती को संबोधित करता है, जब सिस्टम मेजरमेंट आउटलेयर्स (measurement outliers) के अधीन होता है।

संदर्भ: मानक कलमन फिल्टर गाऊसी शोर (Gaussian noise) मानते हैं। हालांकि, व्यवहार में, सेंसर अक्सर दोषों या बाहरी हस्तक्षेप से ग्रस्त होते हैं, जिससे "हैवी-टेल्ड" (heavy-tailed) शोर वितरण (आउटलेयर्स) उत्पन्न होते हैं।
मौजूदा विधियों की सीमाएँ:
- ऑटोकोवेरियेंस लीस्ट स्क्वायर्स (ALS): एक लोकप्रिय, गणनात्मक रूप से कुशल विधि जो विशिष्ट शोर मॉडल के बिना $Q$ और $R$ का अनुमान लगाती है। हालांकि, यह लीस्ट मीन स्क्वायर्स (LMS) मानदंड ( $\ell_2$ -norm) पर निर्भर करती है, जो आउटलेयर्स के प्रति अत्यधिक संवेदनशील है। एक एकल दूषित डेटा बिंदु ऑटोकोवेरियेंस अनुमानों को गंभीर रूप से बायस (bias) कर सकता है, जिससे फ़िल्टर डायवर्जेंस (divergence) हो सकता है।
- आउटलेयर-रोबस्ट KFs (ORKF): मौजूदा रोबस्ट फिल्टर (जैसे, स्टूडेंट-टी KF, मैक्सिमम कोरेंट्रॉपी KF) अक्सर निश्चित, मिसस्पेसिफाइड (misspecified) नॉइज़ कोवेरियेंस पर निर्भर करते हैं या जटिल पैरामेट्रिक/नॉन-पैरामेट्रिक वितरणों पर निर्भर करते हैं जो वास्तविक समय में गणनात्मक रूप से महंगे और ट्यून करने में कठिन होते हैं।
लक्षत: एक ऐसी विधि विकसित करना जो आउटलेयर्स से दूषित डेटा से शोर कोवेरियेंस ( $Q, R$ ) को सटीक रूप से रिकवर कर सके, जिससे कलमन फ़िल्टर शोर वाले वातावरण में भी अपने इष्टतम प्रदर्शन (Oracle bound) के करीब कार्य करने में सक्षम हो सके।

2. कार्यप्रणाली: ALS-IRLS

लेखक ALS-IRLS प्रस्तावित करते हैं, जो एक नवीन एल्गोरिदम है जो मानक ALS पद्धति में इटरेटिवली रीवेटेड लीस्ट स्क्वायर्स (Iteratively Reweighted Least Squares - IRLS) फ्रेमवर्क को एकीकृत करता है। यह दृष्टिकोण एक दो-स्तरीय सुदृढ़ीकरण (two-tier robustification) रणनीति का उपयोग करता है:

टियर 1: इनोवेशन-लेवल एडेप्टिव थ्रेशोल्डिंग (Innovation-Level Adaptive Thresholding)

ऑटोकोवेरियेंस मैट्रिक्स की गणना करने से पहले, एल्गोरिदम कच्चे इनोवेशन सीक्वेंस ( $e_k = z_k - H\hat{x}_{k|k-1}$ ) को फ़िल्टर करता है।

तंत्र: यह एम्पेरिकल ऑटोकोवेरियेंस वेक्टर ( $\hat{b}$ ) की गणना के लिए उपयोग किए जाने वाले डेटासेट में आउटलेयर्स को निर्धारित करने के लिए मीडियन एब्सोल्यूट डेविएशन (MAD) पर आधारित एक रोबस्ट स्केल अनुमान का उपयोग करता है ( $\gamma_{thr} = 3.5 \hat{\sigma}_e$ )।
कार्रवाई: इस थ्रेशोल्ड से अधिक किसी भी इनोवेशन को आउटलेयर के रूप में चिह्नित किया जाता है और उसे उस डेटासेट से हटा दिया जाता है जिसका उपयोग ऑटोकोवेरियेंस गणना के लिए किया जाता है।
लाभ: यह "हार्ड" रिमूवल उन अत्यधिक दूषित डेटा बिंदुओं को समाप्त करता है जो अन्यथा लीस्ट-स्क्वायर्स समाधान पर हावी हो सकते थे।

टियर 2: हबर कॉस्ट फंक्शन के साथ IRLS (IRLS with Huber Cost Function)

रिग्रेशन समस्या $A\theta = b$ (जहाँ $\theta$ में वेक्टराइज्ड $Q$ और $R$ शामिल हैं) बनाने के बाद, एल्गोरिदम अवशेष (residual) आउटलेयर्स को संभालने के लिए IRLS लागू करता है।

फॉर्मूलेशन: मानक LMS मानदंड को एक हबर कॉस्ट फंक्शन ( $\rho(\cdot)$ ) के साथ बदल दिया जाता है, जो छोटे अवशेषों के लिए क्वाड्रेटिक (quadratic) व्यवहार करता है और बड़े अवशेषों के लिए लीनियर (linear) व्यवहार करता है।
इटरेटिव प्रक्रिया:
1. वेट्स $W$ को आइडेंटिटी के रूप में इनिशियलाइज़ करें।
2. वेटेड लीस्ट स्क्वायर्स समस्या को हल करें: $\theta^{(t+1)} = (A^T W^{(t)} A)^{-1} A^T W^{(t)} b$ ।
3. अवशेषों के आधार पर वेट्स अपडेट करें: यदि $|r_i| \le \delta$ तो $w_i = 1$ , और यदि $|r_i| > \delta$ तो $w_i = \delta/|r_i|$ (जहाँ $\delta$ हबर थ्रेशोल्ड है)।
4. अभिसरण (convergence) तक दोहराएं।
कन्स्ट्रेंट हैंडलिंग: एल्गोरिदम प्रत्येक बाहरी इटरेशन के बाद अनुमानित $Q$ और $R$ मैट्रिसेस पर पॉजिटिव सेमी-डेफिनिट (PSD) बाधाओं को लागू करने के लिए नेगेटिव आइजनवैल्यू को ज़ीरो पर प्रोजेक्ट करता है।

3. मुख्य योगदान

ALS का पुनर्गठन: लेखक आउटलेयर-रोबस्ट रिग्रेशन और ALS के बीच एक सैद्धांतिक संबंध स्थापित करते हैं, जो शोर कोवेरियेंस अनुमान की समस्या को एक रोबस्ट रिग्रेशन समस्या में बदल देता है जिसे IRLS के माध्यम से हल किया जा सकता है।
दो-स्तरीय सुदृढ़ीकरण: MAD-आधारित हार्ड थ्रेशोल्डिंग (इनोवेशन स्तर पर) और हबर-आधारित सॉफ्ट रीवेटिंग (ऑटोकोवेरियेंस रिग्रेशन स्तर पर) का अनूठा संयोजन एक उच्च ब्रेकडाउन पॉइंट (50% तक) प्रदान करता है जबकि गणनात्मक दक्षता बनाए रखता है।
अभिसरण और जटिलता: पेपर मानक स्थितियों के तहत एक अद्वितीय ग्लोबल मिनिमाइज़र के लिए ALS-IRLS अनुक्रम के अभिसरण का प्रमाण प्रदान करता है। यह गणनात्मक जटिलता का भी विश्लेषण करता है, जो दिखाता है कि यह मानक ALS के समान ही स्केल करता है लेकिन IRLS इटरेशन के लिए एक मल्टीप्लायर के साथ।
बेहतर प्रदर्शन: विधि दर्शाती है कि शोर मॉडलों के जटिल रोबस्ट फ़िल्टर संरचनाओं का उपयोग करने की तुलना में सटीक कोवेरियेंस अनुमान डाउनस्ट्रीम प्रदर्शन के लिए अधिक महत्वपूर्ण है।

4. सिमुलेशन परिणाम

लेखकों ने $\epsilon$ -कंटैमिनेशन (15% आउटलेयर दर, परिमाण 8 $\times$ मानक विचलन) के साथ एक थर्ड-ऑर्डर LTI सिस्टम पर ALS-IRLS का मूल्यांकन किया।

कोवेरियेंस अनुमान सटीकता:
- मानक ALS: आउटलेयर बायस के कारण $Q$ को ~10.7 $\times$ और $R$ को ~36.7 $\times$ ओवरएस्टिमेट करके पूरी तरह विफल रहा।
- ALS-IRLS: लगभग पूर्ण रिकवरी प्राप्त की। $Q$ और $R$ दोनों के लिए रूट मीन स्क्वायर एरर (RMSE) मानक ALS की तुलना में दो से अधिक ऑर्डर ऑफ मैग्नीट्यूड कम हो गया।
- मजबूती (Robustness): आउटलेयर दर 0% से बढ़कर 30% होने पर भी प्रदर्शन स्थिर रहा।
डाउनस्ट्रीम स्टेट एस्टिमेशन:
- ALS-IRLS अनुमानों का उपयोग करने वाला कलमन फ़िल्टर एक स्टेट एस्टिमेशन RMSE 1.97 प्राप्त करता है, जो ओरेकल लोअर बाउंड (1.80, वास्तविक कोवेरियेंस का उपयोग करके) के 9% के भीतर है।
- तुलना: इसने मौजूदा रोबस्ट फिल्टरों (स्टूडेंट-टी KF और MCKF) को काफी पीछे छोड़ दिया, जो मिसस्पेसिफाइड फिक्स्ड कोवेरियेंस से ग्रस्त थे। प्रस्तावित विधि ने इन बेंचमार्क की तुलना में स्टेट एस्टिमेशन एरर को 2.3 $\times$ से 3.5 $\times$ के कारक से कम कर दिया।

5. महत्व

पैराडाइम शिफ्ट: यह पेपर तर्क देता है कि अज्ञात शोर सांख्यिकी वाले सिस्टम के लिए, केवल रोबस्ट फ़िल्टर अपडेट स्टेप्स पर निर्भर रहने के बजाय सटीक ऑनलाइन कोवेरियेंस रिकवरी अधिक प्रभावी है। सही कोवेरियेंस के साथ एक मानक KF, गलत शोर मॉडल वाले रोबस्ट KF से बेहतर प्रदर्शन करता है।
व्यावहारिकता: एल्गोरिदम मूल ALS पद्धति की गणनात्मक सरलता को बनाए रखता है, जिससे यह उन वास्तविक समय अनुप्रयोगों के लिए उपयुक्त हो जाता है जहाँ जटिल बेयसियन या नॉन-पैरामेट्रिक विधियाँ बहुत भारी होती हैं।
विश्वसनीयता: मेजरमेंट स्तर पर आउटलेयर रिजेक्शन को रिग्रेशन स्तर से अलग करके, यह विधि सुनिश्चित करती है कि कलमन फ़िल्टर गंभीर सेंसर दोषों या पर्यावरणीय विसंगतियों की उपस्थिति में भी स्थिर और इष्टतम बना रहे।

निष्कर्षतः, ALS-IRLS शोर कोवेरियेंस अनुमान के लिए एक कठोर, कुशल और अत्यधिक रोबस्ट समाधान प्रदान करता है, जो कलमन फ़िल्टरिंग में सैद्धांतिक इष्टतमता और व्यावहारिक मजबूती के बीच के अंतर को प्रभावी ढंग से पाटता है।