📊 statistics

Extrapolating from Regularised Solutions for Solving Ill-Conditioned Linear Systems in Machine Learning

यह शोध पत्र **autonugget** प्रस्तुत करता है, जो एक JAX-संगत पायथन पैकेज है जो रिचर्डसन एक्सट्रपलेशनेशन (Richardson extrapolation) के माध्यम से कई टिखोनोव-नियमित समाधानों (Tikhonov-regularized solutions) को जोड़कर मशीन लर्निंग प्रोटोटाइपिंग के लिए इल-कंडीशन्ड (ill-conditioned) रैखिक प्रणालियों को हल करने की सटीकता और स्थिरता में सुधार करता है, जिससे कठिन नगेट चयन (nugget selection) की आवश्यकता समाप्त हो जाती है और पूर्णतः डिफरेंशिएबल एंड-टू-एंड प्रशिक्षण सक्षम होता है।

मूल लेखक: Disha Hegde, Jon Cockayne, Chris. J. Oates

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Disha Hegde, Jon Cockayne, Chris. J. Oates

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पहेली को हल करने की कोशिश कर रहे हैं जहाँ पहेली के टुकड़े संख्याएँ हैं। मशीन लर्निंग की दुनिया में, इसका अक्सर मतलब एक विशिष्ट प्रकार की गणितीय समस्या को हल करना होता है जिसे "लीनियर सिस्टम" (linear system) कहा जाता है। आमतौर पर, ये पहेलियाँ कठिन होती हैं, लेकिन कभी-कभी ये इल्ल-कंडीशन्ड (ill-conditioned) होती हैं।

एक इल्ल-कंडीशन्ड सिस्टम को ताश के पत्तों के उस घर की तरह समझें जो ढहने ही वाला है। यदि आप इसे मानक उपकरणों (standard tools) से छूने या हल करने की कोशिश करते हैं, तो मामूली सी हलचल भी पूरे ढांचे को गिरा सकती है, जिससे आपको पूरी तरह से गलत उत्तर मिलता है।

पुराना तरीका: "नगेट" (Nugget) फिक्स

ताश के इस घर को गिरने से रोकने के लिए, गणितज्ञों ने पारंपरिक रूप से टिखोनोव रेगुलराइजेशन (Tikhonov regularization) नामक एक ट्रिक का उपयोग किया है। कल्पना कीजिए कि आप एक डगमगाती हुई मेज को स्थिर करने की कोशिश कर रहे हैं। आप मेज के एक पैर के नीचे एक छोटा, भारी सिक्का (एक "नगेट") खिसकाते हैं ताकि उसे स्थिर बनाया जा सके।

गणित की भाषा में, यह "सिक्का" एक छोटी सी संख्या है जिसे समस्या को स्थिर बनाने के लिए जोड़ा जाता है। हालाँकि, इस विधि के साथ तीन बड़ी मुश्किलें हैं:

गोल्डिलॉक्स समस्या (The Goldilocks Problem): आपको नहीं पता कि सिक्के का आकार कितना होना चाहिए। यदि यह बहुत छोटा है, तो मेज अभी भी डगमगाएगी। यदि यह बहुत बड़ा है, तो आपने मेज के आकार को बहुत अधिक बदल दिया है, और आपका उत्तर अब एक अलग तरीके से पक्षपाती (biased) हो गया है।
"ब्लैक बॉक्स" समस्या: आधुनिक मशीन लर्निंग में अक्सर परीक्षण और त्रुटि (trial and error) के माध्यम से सीखने, यानी अपने बटनों (knobs) को स्वचालित रूप से समायोजित करने की आवश्यकता होती है। लेकिन यदि आप एक ऐसा नियम उपयोग करते हैं जो कहता है, "यदि मेज डगमगाती है तो एक सिक्का जोड़ें," तो कंप्यूटर यह नहीं समझ पाएगा कि वह अपने बटनों को कैसे समायोजित करे क्योंकि यह नियम सीखने के लिए आवश्यक गणितीय श्रृंखला (math chain) को तोड़ देता है।
बर्बाद प्रयास: सही सिक्के का आकार खोजने के लिए, कंप्यूटर अक्सर कई अलग-अलग आकार आज़माता है, परिणामों को फेंक देता है, और केवल अंतिम वाले को रखता है। यह दस अलग-अलग सूपों को यह पता लगाने के लिए चखने जैसा है कि नमक की सही मात्रा क्या है, लेकिन अंत में केवल दसवाँ चम्मच ही परोसा जाता है।

नया समाधान: "ऑटोनागेट" (Autonugget)

लेखकों ने एक नया टूल बनाया है जिसे autonugget कहा जाता है। वे इन डगमगाती पहेलियों को हल करने का एक तरीका चाहते थे जो स्वचालित, स्थिर हो और जिसमें प्रयास बर्बाद न हो।

यह कैसे काम करता है, इसके लिए एक सरल उपमा देखें:

"एक्सट्रपलेशन" (Extrapolation) की ट्रिक
सिक्के के सटीक आकार का अनुमान लगाने के बजाय, ऑटोनैगेट कुछ अलग-अलग सिक्के के आकार आज़माता है जो निश्चित रूप से मेज को स्थिर करने के लिए पर्याप्त बड़े हैं।

कल्पना कीजिए कि आपके पास एक डगमगाती हुई मेज है। आप पैर के नीचे एक छोटा सिक्का रखते हैं, और वह थोड़ा डगमगाती है। आप एक मध्यम सिक्का रखते हैं, और वह थोड़ी स्थिर हो जाती है। आप एक बड़ा सिक्का रखते हैं, और वह बहुत स्थिर हो जाती है।
कंप्यूटर मापता है कि छोटे, मध्यम और बड़े सिक्कों के साथ मेज कैसा व्यवहार करती है।
फिर, यह रिचर्डसन एक्सट्रपलेशन (Richardson Extrapolation) नामक एक गणितीय तकनीक का उपयोग करता है। इसे उन तीन बिंदुओं के माध्यम से एक चिकनी वक्र (smooth curve) खींचने और उस रेखा को पीछे की ओर ले जाने के रूप में सोचें ताकि यह देखा जा सके कि क्या होगा यदि सिक्के का आकार शून्य होता।

इन स्थिर समाधानों के रुझान (trend) को देखकर, कंप्यूटर उच्च सटीकता के साथ उस अस्थिर, शून्य-सिक्के वाले परिदृश्य के लिए उत्तर की "भविकीवाणी" कर सकता है।

यह क्यों महत्वपूर्ण है

लेखक दावा करते हैं कि autonugget पुराने तरीके की तीन समस्याओं को हल करता है:

कोई अनुमान नहीं: यह बिना किसी संख्या को चुने, स्वचालित रूप से सही संतुलन का पता लगा लेता है।
मशीन लर्निंग के अनुकूल: क्योंकि इसका गणित सुचारू और अनुमानित है, यह आधुनिक "एंड-टू-एंड" (end-to-end) ट्रेनिंग के साथ अच्छी तरह से काम करता है, जिससे कंप्यूटर अपने पैरामीटर्स को स्वचालित रूप से सीखने और समायोजित करने में सक्षम होता है।
कोई बर्बादी नहीं: यह बेहतर अंतिम उत्तर बनाने के लिए आजमाए गए सभी अलग-अलग सिक्के के आकारों के परिणामों का उपयोग करता है, न कि अतिरिक्त डेटा को फेंक देता है।

परिणाम

लेखकों ने विभिन्न कठिन गणितीय समस्याओं पर मानक तरीकों (जैसे कि सामान्य सॉफ़्टवेयर लाइब्रेरी में बने तरीके) के विरुद्ध अपने टूल का परीक्षण किया। उन्होंने पाया कि:

सटीकता (Accuracy): ऑटोनैगेट ने मानक तरीकों की तुलना में बहुत अधिक सटीक उत्तर दिए, विशेष रूप से जब समस्याएँ बहुत अधिक "डगमगाती" (ill-conditioned) थीं।
गति (Speed): यह रैपिड प्रोटोटाइपिंग (नए विचारों का तेजी से परीक्षण करना) के लिए पर्याप्त तेज़ था।
ट्रेनिंग: जब इसे एक मशीन लर्निंग कार्य (विशेष रूप से एक गॉसियन प्रोसेस को ऑप्टिमाइज़ करने में, जो डेटा को मॉडल करने का एक तरीका है) में उपयोग किया गया, तो ऑटोनैगेट ने कंप्यूटर को सही समाधान खोजने में मदद की, जबकि अन्य तरीके अटक गए या गलत उत्तर ढूंढ लिया।

संक्षेप में, autonugget एक स्मार्ट, स्वचालित टूल है जो कुछ सुरक्षित संस्करणों का परीक्षण करके और गणितीय रूप से सटीक उत्तर की भविष्यवाणी करके जटिल गणितीय समस्याओं को स्थिर करता है, जिससे मशीन लर्निंग मॉडल बनाना और प्रशिक्षित करना आसान और तेज़ हो जाता है।

तकनीकी सारांश: मशीन लर्निंग में इल-कंडीशन्ड (Ill-conditioned) रैखिक प्रणालियों को हल करने के लिए रेगुलराइज्ड समाधानों से एक्सट्रपलेशन (Extrapolating) करना

समस्या विवरण

आधुनिक मशीन लर्निंग में, तीव्र प्रोटोटाइपिंग के लिए अक्सर उन रैखिक प्रणालियों को हल करने की आवश्यकता होती है जो $Ax = b $के रूप में होती हैं, जहाँ$ A$ एक सिमेट्रिक पॉजिटिव डेफिनिट (SPD) मैट्रिक्स है। जबकि मानक डायरेक्ट मेथड्स (जैसे LU फैक्टराइजेशन) सुव्यवस्थित (well-conditioned) प्रणालियों के लिए कुशल होते हैं, वे तब विफल या अस्थिर हो जाते हैं जब $A$ इल-कंडीशन्ड होता है। इस समस्या को कम करने का मानक दृष्टिकोण टिखोनोव रेगुलराइजेशन (Tikhonov regularisation) है, जो $(A + \sigma I)^{-1}b$ को हल करता है, जिसमें $\sigma > 0$ एक "नगेट" (nugget) पैरामीटर है।

हालाँकि, यह शोध पत्र प्रोटोटाइपिंग के लिए टिखोनोव रेगुलराइजेशन के उपयोग में तीन महत्वपूर्ण सीमाओं की पहचान करता है:

नगेट चयन की कठिनाई: स्थिर संख्यात्मक गणना के लिए आवश्यक महत्वपूर्ण न्यूनतम मान $\sigma^\star$ अज्ञात है और $A$ तथा $b$ के विशिष्ट प्रविष्टियों (entries) के प्रति संवेदनशील है। $\sigma$ को बहुत छोटा चुनने से संख्यात्मक अस्थिरता आती है; इसे बहुत बड़ा चुनने से बायस (bias) उत्पन्न होता है।
एंड-टू-एंड ट्रेनिंग के साथ असंगति: डेटा-अनुकूली प्रक्रियाएं (जैसे, कंडीशन नंबर थ्रेशोल्ड के आधार पर $\sigma$ का चयन करना) अक्सर ऐसी कंडीशनल लॉजिक का उपयोग करती हैं जो ऑटोमैटिक डिफरेंशिएशन (AD) को तोड़ देती हैं, जिससे $A$ और $b$ के भीतर निहित मापदंडों के ग्रेडिएंट-आधारित अनुकूलन को रोकना पड़ता है।
डेटा अक्षमता: अनुकूली प्रक्रियाएं उपयुक्त $\sigma$ खोजने के लिए कई रैखिक समाधान (linear solves) करती हैं लेकिन सभी मध्यवर्ती परिणामों को त्याग देती हैं, और केवल अंतिम समाधान ही वापस करती हैं। इसे गणनात्मक रूप से अपव्ययपूर्ण माना गया है।

कार्यप्रणाली: autonugget फ्रेमवर्क

लेखक autonugget प्रस्तावित करते हैं, जो एक पायथन पैकेज है जिसे इल-कंडीशन्ड रैखिक प्रणालियों के लिए स्थिर, स्वचालित और डिफरेंशिएबल समाधान प्रदान करने के लिए डिज़ाइन किया गया है। मुख्य कार्यप्रणाली कई रेगुलराइज्ड समाधानों को संयोजित करने के लिए रिचर्डसन एक्सट्रपलेशन (Richardson extrapolation) पर निर्भर करती है।

1. एक्सट्रपलेशन एस्टिमेटर (Extrapolation Estimator)

यह विधि मानती है कि $\sigma \ge \sigma^\star$ के लिए, रेगुलराइज्ड समाधान $x_\sigma = (A + \sigma I)^{-1}b$ का संख्यात्मक सन्निकटन $\hat{x}_\sigma$ विश्वसनीय है। एल्गोरिदम:

एक संदर्भ सेट $\Sigma_{ref}$ और एक स्केलिंग फैक्टर $h$ के आधार पर नगेट्स का एक सेट $\Sigma = \{h\sigma_i\}_{i=1}^n$ चुनता है।
प्रत्येक नगेट के लिए समाधान $\hat{x}_{h\sigma_i}$ की गणना करता है।
डेटा पॉइंट्स $(\sigma_i, \hat{x}_{\sigma_i})$ पर कोऑर्डिनेट-वाइज एक बहुपद $f_n$ फिट करता है।
वास्तविक समाधान $x$ का अनुमान लगाने के लिए इस बहुपद को $\sigma = 0$ पर एक्सट्रपलेट करता है।

2. त्रुटि और स्थिरता का संतुलन

लेखक मशीन प्रिसिजन (finite precision arithmetic) में एक अनुकूलतम स्केलिंग फैक्टर $h$ निर्धारित करने के लिए एक सैद्धांतिक विश्लेषण प्रदान करते हैं। कुल त्रुटि को निम्नानुसार विभाजित किया गया है:

एक्सट्रपलेशन त्रुटि (Extrapolation Error): जैसे-जैसे $h \to 0$ (छोटे नगेट्स) और $n$ बिंदुओं की संख्या बढ़ती है, यह घटती है।
संख्यात्मक त्रुटि (Numerical Error): जैसे-जैसे $h \to 0$ होता है, यह बढ़ती है क्योंकि कंडीशन नंबर $\kappa(A + h\sigma_{min}I)$ बढ़ता है, जिससे मशीन प्रिसिजन त्रुटियां बढ़ जाती हैं।

लेखक $h$ चुनने के लिए एक बाउंड (समीकरण 8) निकालते हैं ताकि इन दो त्रुटि स्रोतों को संतुलित किया जा सके। लगभग सिंगुलर मैट्रिसेस के लिए, अनुकूलतम $h$ , $\epsilon_{MP}^{1/(n+1)}$ के रूप में स्केल होता है, जहाँ $\epsilon_{MP}$ मशीन प्रिसिजन है। इसका तात्पर्य यह है कि अधिक डेटा पॉइंट्स ( $n$ ) का उपयोग करने से बड़े नगेट्स का उपयोग करना संभव होता है और साथ ही स्थिरता भी बनी रहती है, जिससे अतिरिक्त संख्यात्मक स्थिरता प्राप्त होती है।

3. ऑटोमैटिक डिफरेंशिएशन (Automatic Differentiation)

एक विशिष्ट विशेषता यह है कि autonugget, JAX के साथ संगत है। $\nabla_\theta x_\theta$ की गणना करने के लिए, जहाँ $A$ और $b$ , पैरामीटर्स $\theta$ पर निर्भर करते हैं, यह पैकेज निम्नलिखित पहचान (identity) के आधार पर एक कस्टम फॉरवर्ड डिफरेंशिएशन नियम लागू करता है:
$\nabla_\theta x_\theta = -A^{-1}_\theta (\nabla_\theta A_\theta) A^{-1}_\theta b_\theta + A^{-1}_\theta (\nabla_\theta b_\theta)$
इसके लिए तीन रैखिक समाधानों (linear solves) की आवश्यकता होती है। महत्वपूर्ण रूप से, autonugget प्रत्येक तीन प्रणालियों के लिए स्वतंत्र रूप से उपयुक्त नगेट्स का चयन करता है, यह सुनिश्चित करते हुए कि डिफरेंशिएशन प्रक्रिया स्थिर रहे, भले ही मध्यवर्ती प्रणालियाँ इल-कंडीशन्ड हों।

मुख्य योगदान

autonugget पैकेज: इल-कंडीशन्ड रैखिक प्रणालियों को मैन्युअल ट्यूनिंग के बिना हल करने के लिए एक हल्का, JAX-संगत पायथन टूल।
एक्सट्रपलेशन रणनीति: एक विधि जो कई रैखिक समाधानों का उपयोग केवल पैरामीटर चयन के लिए ही नहीं, बल्कि रिचर्डसन एक्सट्रपलेशन के माध्यम से अन-रेगुलराइज्ड समाधान ( $\sigma \to 0$ ) के उच्च-सटीकता वाले अनुमान के निर्माण के लिए करती है।
सैद्धांतिक त्रुटि सीमाएं (Theoretical Error Bounds): त्रुटि सीमाओं का व्युत्पन्न जो एक्सट्रपलेशन सटीकता और संख्यात्मक अस्थिरता के बीच स्पष्ट रूप से संतुलन बनाते हैं, जिससे नगेट स्केलिंग फैक्टर $h$ चुनने के लिए एक सिद्धांत-आधारित तरीका मिलता है।
डिफरेंशिएबल सॉल्वर: एक कस्टम कार्यान्वयन जो इल-कंडीशन्ड प्रणालियों वाले मशीन लर्निंग मॉडल्स की एंड-टू-एंड ट्रेनिंग को सक्षम बनाता है, जो मानक अनुकूली सॉल्वर की AD असंगतता को दूर करता है।

अनुभवजन्य परिणाम (Empirical Results)

शोध पत्र विभिन्न कंडीशन नंबर्स वाले ग्राम मैट्रिसेस (Gram matrices) के स्पेक्ट्रम में autonugget का कई बेसलाइन्स (मानक LU, फिक्स्ड-नगेट LU, कंडीशन-नंबर-एडेप्टिव LU, कंजुगेट ग्रेडिएंट, SVD, और ट्रंकेटेड SVD) के विरुद्ध मूल्यांकन करता है।

सॉल्वर सटीकता: autonugget मानक LU और SVD विधियों की तुलना में लगातार बेहतर प्रदर्शन करता है, विशेष रूप से गंभीर रूप से इल-कंडीशन्ड सिस्टम (बड़े कर्नेल लेंथ-स्केल्स) के लिए। यह एडेप्टिव बेसलाइन्स (LU-adapt) से भी बेहतर है, जो दर्शाता है कि एक्सट्रपलेशन स्टेप साधारण नगेट चयन से परे सटीकता लाभ प्रदान करता है।
डेरिवेटिव सटीकता: ग्रेडिएंट गणनाओं में, autonugget बेसलाइन्स की तुलना में काफी अधिक सटीक डेरिवेटिव प्रदान करता है। मानक LU अस्थिरता के कारण विफल हो जाता है, जबकि फिक्स्ड-नगेट विधियां बायस (bias) पेश करती हैं। autonugget गंभीर रूप से इल-कंडीशन्ड होने पर भी स्थिरता और सटीकता बनाए रखता है।
गौसियन प्रोसेस रिग्रेशन: एक हाइपरपैरामीटर ऑप्टिमाइजेशन कार्य (कर्नेल लेंथ-स्केल्स का अनुमान लगाना) में, autonugget ऑप्टिमाइज़र को वास्तविक लेंथ-स्केल तक पहुँचने में सक्षम बनाता है। इसके विपरीत, बेसलाइन्स या तो विचलित (diverged) हो गए (LU, SVD), या बायस के कारण गलत मानों पर अभिसरित (converged) हुए (LU-fix), या गैर-स्मूथ लॉस लैंडस्केप्स उत्पन्न किए (LSTSQ, TSVD)।

महत्व और दावे

यह शोध पत्र autonugget को मशीन लर्निंग विकास के "त्वरित प्रोटोटाइपिंग" चरण के लिए एक व्यावहारिक उपकरण के रूप में प्रस्तुत करता है। लेखकों का तर्क है कि हालांकि विशिष्ट समस्या संरचनाओं के लिए परिष्कृत संख्यात्मक विधियाँ मौजूद हैं, फिर भी इल-कंडीशन्ड प्रणालियों के लिए सामान्य-उद्देश्यीय, डिफरेंशिएबल रूटीन में एक अंतर है।

autonugget का महत्व निम्नलिखित में निहित है:

नगेट चयन को सरल बनाना: प्रोटोटाइपिंग चरण के दौरान रेगुलराइजेशन पैरामीटर्स के मैन्युअल या ह्यूरिस्टिक ट्यूनिंग की आवश्यकता को समाप्त करना।
एंड-टू-एंड ट्रेनिंग को सक्षम बनाना: ऐसे परिदृश्यों में ग्रेडिएंट-आधारित अनुकूलन की अनुमति देना जहाँ मानक सॉल्वर विफल हो सकते हैं या कम्प्यूटेशनल ग्राफ को तोड़ सकते हैं।
दक्षता: यह प्रदर्शित करना कि एडेप्टिव विधियों द्वारा आवश्यक "अपव्ययी" कई समाधानों को एक्सट्रपलेशन के माध्यम से अंतिम समाधान की सटीकता में सुधार के लिए कैसे पुन: उपयोग किया जा सकता है।

लेखक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि वर्तमान कार्यान्वयन सिमेट्रिक पॉजिटिव डेफिनिट मैट्रिसेस तक सीमित है और इसमें एक सिंगल डायरेक्ट सॉल्व की तुलना में अधिक कम्प्यूटेशनल लागत (एक्सट्रपलेशन पॉइंट्स $n$ के अनुपात में) आती है। वे सुझाव देते हैं कि भविष्य का कार्य गैर-SPD मैट्रिसेस तक विस्तार कर सकता है, लो-लेवल इम्प्लीमेंटेशन को अनुकूलित कर सकता है, या संभाव्य त्रुटि बार (probabilistic error bars) शामिल कर सकता है।