📊 statistics

Laplace Approximation for Bayesian Tensor Network Kernel Machines

यह शोध पत्र एक बेयसियन टेंसर नेटवर्क कर्नेल मशीन (LA-TNKM) का प्रस्ताव करता है जो सिद्धांतपूर्ण अनिश्चितता अनुमान प्रदान करने के लिए एक रैखिकीकृत लाप्लास सन्निकटन (linearized Laplace approximation) का उपयोग करता है, जो विविध प्रतिगमन बेंचमार्क पर गाऊसी प्रक्रियाओं और बेयसियन न्यूरल नेटवर्क के समान या उनसे बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Albert Saiapin, Kim Batselier

प्रकाशित 2026-04-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Albert Saiapin, Kim Batselier

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI को "आत्मविश्वासी" (या ईमानदार) बनाना

कल्पना कीजिए कि आप एक मौसम विज्ञता (weather forecaster) को काम पर रख रहे हैं।

सामान्य AI आपको बताता है: "कल बारिश होगी।"
"अनिश्चितता-जागरूक" (Uncertainty-Aware) AI आपको बताता है: "कल बारिश होगी, लेकिन मैं केवल 60% ही निश्चित हूँ क्योंकि डेटा थोड़ा अजीब है।"

दूसरा प्रकार बहुत महत्वपूर्ण है। यदि AI अनिश्चित है, तो उसे गलत उत्तर देने के बजाय यह कहना चाहिए कि वह सुनिश्चित नहीं है। यह पेपर LA-TNKM नामक एक नए प्रकार के AI मॉडल को पेश करता है, जो सटीक भविष्यवाणियां करने और यह जानने में भी माहिर है कि उसे कब उत्तर नहीं पता।

समस्या: गति और सुरक्षा के बीच का संतुलन (Trade-Off)

मशीन लर्निंग की दुनिया में, इस "अनिश्चितता" वाली सुपरपावर को पाने के दो मुख्य तरीके हैं:

"स्वर्ण मानक" (Gaussian Processes): इसे एक अत्यंत सूक्ष्म और धीमी गति से चलने वाले लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में सोचें। वे आपको उत्तर देने के लिए लाइब्रेरी की हर एक किताब की जांच करते हैं। वे अविश्वसनीय रूप से सटीक हैं और अपने आत्मविश्वास के बारे में ईमानदार हैं, लेकिन यदि लाइब्रेरी में कुछ हज़ार से अधिक किताबें हों, तो वे घबरा जाते हैं। वे बड़े डेटा के लिए बहुत धीमे हैं।
"गतिमान" (Tensor Network Kernel Machines): यह एक तेज़ कूरियर की तरह है जो किताबों को व्यवस्थित करने के लिए एक चतुर शॉर्टकट का उपयोग करता है। वे विशाल लाइब्रेरी (विशाल डेटासेट) को बहुत तेज़ी से संभाल सकते हैं। हालांकि, क्योंकि वे इस शॉर्टकट का उपयोग करते हैं, वे अपने आत्मविश्वास की जांच करने की क्षमता खो देते हैं। वे बस आपको एक उत्तर दे देते हैं बिना यह कहे कि, "मैं निश्चित नहीं हूँ।"

पेपर का लक्ष्य: लेखकों ने एक ऐसा सिस्टम बनाने की कोशिश की जो कूरियर जितना तेज़ हो लेकिन लाइब्रेरियन जितना ईमानदार भी हो।

समाधान: "लैपलेस एप्रोक्सिमेशन" (स्थानीय मानचित्र)

"गतिमान" की आत्मविश्वास की कमी को ठीक करने के लिए, लेखकों ने लैपलेस एप्रोक्सिमेशन (Laplace Approximation) नामक एक गणितीय ट्रिक का उपयोग किया।

उपमा (Analogy):
कल्पना कीजिए कि आप एक पर्वत शिखर (सबसे अच्छा संभव उत्तर) पर खड़े हैं। अपने आस-पास के इलाके को समझने के लिए, आप पूरी दुनिया का मानचित्र बनाने की कोशिश कर सकते हैं (जो असंभव है)। इसके बजाय, आप बस अपने पैरों के ठीक आसपास की ज़मीन को देखते हैं। आप मान लेते हैं कि वहां ज़मीन समतल (या थोड़ा घुमावदार) है।

पेपर की विधि: वे "शिखर" (सबसे अच्छा अनुमान) को ढूंढते हैं और फिर उसके आसपास की ज़मीन की "वक्रता" (curvature/बनावट) को देखते हैं।
- यदि ज़मीन समतल है, तो मॉडल बहुत आत्मविश्वासी है (उत्तर स्पष्ट है)।
- यदि ज़मीन ऊबड़-खाबड़ और ऊँची-नीची है, तो मॉडल अनिश्चित है (डेटा में छोटे बदलाव भी उत्तर में बड़े बदलाव ला सकते हैं)।

इस स्थानीय "ऊबड़-खाबड़पन" को मापकर, मॉडल यह गणना कर सकता है कि उसे अपने स्वयं के अनुमान पर कितना भरोसा करना चाहिए।

गुप्त नुस्खा: टेंसर नेटवर्क (Tensor Networks)

लेखकों ने केवल किसी भी गणित का उपयोग नहीं किया; उन्होंने टेंसर नेटवर्क का उपयोग किया।

उपमा:
कल्पना कीजिए कि आपके पास एक विशाल, बहु-आयामी रूबिक्स क्यूब (Rubid's Cube) है जो आपके सभी डेटा का प्रतिनिधित्व करता है।

सामान्य AI: पूरे क्यूब को एक साथ हल करने की कोशिश करता है। यह बहुत बड़ा है और इसमें बहुत समय लगता है।
टेंसर नेटवर्क: इस विशाल क्यूब को धागों से जुड़े छोटे, प्रबंधनीय क्यूब्स की एक श्रृंखला में तोड़ देता है। यह छोटे टुकड़ों को हल करता है और फिर उन्हें आपस में जोड़ देता है।

यह मॉडल को बिना क्रैश हुए भारी मात्रा में डेटा (जैसे लाखों रिकॉर्ड) को संभालने की अनुमति देता है। पेपर इस "छोटे क्यूब्स की श्रृंखला" को "स्थानीय मानचित्र" (लैपलेस) की ट्रिक के साथ जोड़ता है ताकि गति और आत्मविश्वास दोनों मिल सकें।

उन्होंने क्या परीक्षण किया (प्रयोग)

लेखकों ने अपने नए मॉडल (LA-TNKM) का वास्तविक दुनिया के डेटा सेट (जैसे घर की कीमतों, ऊर्जा उपयोग, या नाव की गति की भविष्यवाणी करना) पर परीक्षण किया और इसकी तुलना निम्नलिखित से की:

धीमे, सूक्ष्म लाइब्रेरियन (Gaussian Processes) से।
अन्य तेज़ AI मॉडलों से जो आत्मविश्वास का अनुमान लगाने की कोशिश करते हैं (Bayesian Neural Networks)।

परिणाम:

गति बनाम सटीकता: LA-TNKM लाइब्रेरियन की तुलना में बहुत तेज़ था लेकिन सटीकता में उतना ही सटीक था।
ईमानदारी: यह अन्य तेज़ मॉडलों की तुलना में अनिश्चित होने की बात स्वीकार करने में बेहतर था।
"लास्ट कोर" (Last Core) ट्रिक: उन्होंने "ऊबड़-खाबड़पन" की गणना करने के विभिन्न तरीकों को आजमाया। उन्होंने पाया कि श्रृंखला के केवल अंतिम भाग (Last Core) को देखना अक्सर गति और सटीकता का सबसे अच्छा संतुलन था।

निष्कर्ष

पेपर का दावा है कि LA-TNKМ एक नया, व्यावहारिक उपकरण है। यह कंप्यूटरों को विशाल डेटासेट पर तेज़ भविष्यवाणियां करने की अनुमति देता है, जबकि वे यह भी बता सकते हैं कि "मैं इस बारे में निश्चित नहीं हूँ," ठीक वैसे ही जैसे एक मानव विशेषज्ञ करता है। यह उन मॉडलों के बीच के अंतर को पाटता है जो उपयोगी होने के लिए बहुत धीमे हैं और वे जो बहुत तेज़ होने के कारण भरोसेमंद नहीं हैं।

संक्षेप में: उन्होंने एक तेज़ कार बनाई है जिसमें स्पीडोमीटर और फ्यूल गेज भी काम कर रहा है, ताकि आपको पता चल सके कि आप कितनी तेज़ी से जा रहे हैं और कब आपका ईंधन खत्म हो सकता है।

यहाँ अल्बर्ट सायपिन और किम बैट्सलियर के शोध पत्र "Laplace Approximation for Bayesian Tensor Network Kernel Machines" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मशीन लर्निंग सिस्टम को अस्पष्ट इनपुट, आउट-ऑफ-डिस्ट्रीब्यूशन डेटा और शोर वाले फीचर्स को संभालने के लिए मजबूत अनिश्चितता अनुमान (Uncertainty Estimation - UE) की आवश्यकता होती है। जबकि गौसियन प्रोसेस (GPs) अनिश्चितता अनुमान के लिए सिद्धांतगत संभावabilistic ढांचे प्रदान करते हैं, उनकी कम्प्यूटेशनल जटिलता डेटा बिंदुओं की संख्या के साथ घन (cubic - $O(N^3)$ ) रूप से बढ़ती है, जो उन्हें छोटे-से-मध्यम डेटासेट तक सीमित करती है।

इसके विपरीत, टेंसर नेटवर्क कर्नेल मशीन्स (TNKMs) एक स्केलेबल विकल्प प्रदान करते हैं क्योंकि वे मॉडल वेट्स को टेंसर नेटवर्क (विशेष रूप से कैनोनिकल पॉलीआडिक डीकंपोजिशन, या CPD) के रूप में पैरामीटराइज़ करते हैं। यह इनपुट आयाम के सापेक्ष पैरामीटर्स की संख्या को घातीय (exponential) से रैखिक (linear) में बदल देता है। हालाँकि, मानक TNKMs आमतौर पर मैक्सिमम ए पोस्टीरियर (MAP) अनुमान पर निर्भर करते हैं। टेंसर नेटवर्क की गैर-रेखीय (non-linear) और मल्टीलीनियर संरचना उस गौसियन धारणा को तोड़ देती है जो क्लोज्ड-फॉर्म बेयसियन अनुमान के लिए आवश्यक है, जिससे महंगे सैंपलिंग तरीकों (जैसे MCMC) या जटिल वेरिएशनल इन्फरेंस के बिना सिद्धांतगत अनिश्चितता अनुमान प्राप्त करना कठिन हो जाता है।

मुख्य प्रश्न: टेंसर नेटवर्क कर्ल मशीन्स, GPs या बेयसियन न्यूरल नेटवर्क (BNNs) के समान सिद्धांतगत और स्केलेबल अनिश्चितता अनुमान कैसे प्रदान कर सकते हैं?

2. कार्यप्रणाली: LA-TNKM

लेखक LA-TNKM (Laplace Approximation Tensor Network Kernel Machine) का प्रस्ताव करते हैं, जो टेंसर नेटवर्क पर व्यवहार्य बेयसियन इन्फरेंस करने के लिए (रैखिकीकृत/linearized) लाप्लेस एप्रोक्सिमेशन के साथ वेरिएशनल इन्फरेंस को एकीकृत करता है।

मुख्य घटक:

मॉडल फॉर्मुलेशन (Model Formulation):
- मॉडल को $f(x) = \phi(x)^T w$ के रूप में परिभाषित किया गया है, जहाँ फीचर्स $\phi(x)$ में एक टेंसर-प्रोडक्ट संरचना है और वेट्स $w$ को एक CPD टेंसर नेटवर्क के रूप में दर्शाया गया है।
- पैरामीटर्स पर एक गौसियन लाइकलीहुड (Gaussian likelihood) और एक गौसियन प्रायर (Gaussian prior) माना गया है।
लाप्लेस एप्रोक्सिमेशन (Laplace Approximation):
- उच्च-आयामी पोस्टीरियर (posterior) के एकीकरण (integration) के बजाय, लेखक पोस्टीरियर वितरण $p(v|D)$ को MAP अनुमान $v^*$ के इर्द-गिर्द एक गौसियन वितरण के रूप में अनुमानित करते हैं:
  $q(v) = \mathcal{N}(v | v^*, H_{v^*}^{-1})$
- यहाँ, $H_{v^*}$ ऑप्टिमम पर लॉस फंक्शन का हेसियन मैट्रिक्स (Hessian matrix) है।
हेसियन अनुमान (Hessian Approximations):
- टेंसर नेटवर्क के लिए पूर्ण हेसियन की गणना करना मेमोरी-इंटेंसिव है। यह पेपर मेमोरी और सटीकता के बीच संतुलन बनाने के लिए पांच रणनीतियों का व्यवस्थित मूल्यांकन करता है:
- फुल हेसियन (Full Hessian): सटीक लेकिन कम्प्यूटेशनल रूप से महंगा ( $O((DIR)^2)$ )।
- जनरलाइज्ड गौस-न्यूटन (GGN): पॉजिटिव सेमी-डेफिनिट एप्रोक्सिमेशन, जिसका उपयोग अक्सर BNNs में किया जाता है।
- ब्लॉक-डायगोनल (Block-Diagonal): यह CPD कोर्ज़ (cores) के बीच स्वतंत्रता मानता है (BNNs की लेयर्स के समान)।
- डायगोनल (Diagonal): यह मानता है कि सभी वेट्स स्वतंत्र हैं (मीन-फील्ड)।
- लास्ट कोर (Last Core): यह केवल अंतिम CPD कोर पर बेयसियन इन्फरेंस लागू करता है, पिछले कोर्ज़ को फिक्स्ड मानता है। इसे अत्यधिक कुशल ( $O(I^2R^2)$ ) और प्रभावी पाया गया है।
लीनियराइज्ड लाप्लेस एप्रोक्सिमेशन (Linearized Laplace Approximation - LLA):
- लेखक गैर-रेखीय मॉडल और गौसियन पोस्टीरियर के बीच के अंतर को दूर करने के लिए $v^*$ के आसपास मॉडल फंक्शन $f(x, v)$ को लीनियराइज़ (linearize) करते हैं।
- यह प्रेडिक्टिव वितरण को एनालिटिकली कंप्यूट करने की अनुमति देता है, जो नॉन-लीनियराइज्ड लाप्लेस एप्रोक्सिमेशन की तुलना में प्रेडिक्टिव प्रदर्शन (नेगेटिव लॉग-लाइक्लीहुड) में काफी सुधार करता है।
आइजनवैल्यू ट्रंकेशन (Eigenvalue Truncation):
- इल-कंडीशन्ड हेसियन्स (जहाँ आइजनवैल्यूज शून्य या नकारात्मक होते हैं) को संभालने के लिए, लेखक एक ट्रंकेटेड आइजनवैल्यू डीकंपोजिशन लागू करते हैं। प्रेडिक्टिव वेरिएंस को फटने से रोकने के लिए क्रॉस-वैलिडेशन के माध्यम से एक हाइपरपैरामीटर $\hat{t}$ को ट्यून किया जाता है।

3. मुख्य योगदान

नया फ्रेमवर्क (LA-TNKM): पहला बेयसियन टेंसर नेटवर्क कर्नेल मशीन पेश करना जो अनिश्चितता-जागरूक भविष्यवाणियां सक्षम करता है, जबकि मानक MAP-आधारित TNKMs के समान कम्प्यूटेशनल लागत बनाए रखता है।
व्यवस्थित हेसियन विश्लेषण: टेंसर नेटवर्क के संदर्भ में हेसियन एप्रोक्सिमेशन तकनीकों (Full, GGN, Block, Diagonal, Last Core) का व्यापक तुलनात्मक अध्ययन, जो मेमोरी उपयोग और प्रेडिक्टिव प्रदर्शन पर दिशा-निर्देश प्रदान करता है।
लीनियराइजेशन रणनीति: यह प्रदर्शन दिखाना कि प्रेडिक्टिव फंक्शन को लीनियराइज़ करना (LLA) टेंसर नेटवर्क में उच्च-गुणवत्ता वाले अनिश्चितता अनुमान प्राप्त करने के लिए महत्वपूर्ण है, जो BNNs में हालिया निष्कर्षों के अनुरूप है।
अनुभवजन्य सत्यापन (Empirical Validation): विविध रिग्रेशन कार्यों पर नौ UCI रिग्रेशन डेटासेट्स और एक सिंथेटिक क्यूबिक रिग्रेशन टास्क ( $y = x^3 + \epsilon$ ) पर व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन नौ UCI रिग्रेशन डेटासेट्स और एक सिंथेटिक क्यूबिक रिग्रेशन टास्क ( $y = x^3 + \epsilon$ ) पर किया गया।

बेसलाइन के विरुद्ध प्रदर्शन:
- LA-TNKM (विशेष रूप से Last Core एप्रोक्सिमेशन का उपयोग करते हुए) ने 9 में से 4 डेटासेट्स पर लगातार सबसे कम नेगेटिव लॉग-लाइक्लीहुड (NLL) प्राप्त किया और शेष पर प्रतिस्पर्धी रहा।
- इसने मानक BNNs (Bayes-by-Backprop, Variational Dropout) और अन्य टेंसर-आधारित तरीकों (MF-BTN, SP-BTN) को पीछे छोड़ दिया।
- अनिश्चितता कैलिब्रेशन (ECP-95 और रिलेटिव कैलिब्रेशन एरर द्वारा मापा गया) के मामले में, LA-TNKM ने ऐसे अंतराल (intervals) बनाए जो BNNs की तुलना में अधिक शार्प (कम WCPI-95) और बेहतर कैलिब्रेटेड थे, जो गौसियन प्रोसेस के व्यवहार से निकटता से मेल खाते हैं।
सिंथेटिक डेटा निष्कर्ष:
- सिंथेटिक $x^3$ टास्क पर, LA-TNKM ने स्पार्स डेटा वाले क्षेत्रों में अनिश्चितता को सफलतापूर्वक कैप्चर किया, जबकि SP-BTN ने वेरिएंस को ओवरएस्टिमेट (अत्यधिक चौड़े अंतराल) किया और LA-BNN ने एक्सट्रपलेशन के दौरान मॉडल मिसमैच के संकेत दिखाए।
एब्लेशन स्टडीज (Ablation Studies):
- लीनियराइजेशन: लीनियरलाइज्ड लाप्लेस एप्रोक्सिमेशन (LLA) ने NLL के मामले में लगातार मानक लाप्लेस एप्रोक्सिमेशन से बेहतर प्रदर्शन किया।
- हेसियन का चयन: हालांकि "Last Core" एप्रोक्सिमेशन सबसे मेमोरी-एफिशिएंट था और आम तौर पर सबसे अच्छा प्रदर्शन करता था, लेकिन इष्टतम चुनाव डेटा-निर्भर पाया गया। हालांकि, "Last Core" और "Block-Diagonal" ने दक्षता और सटीकता के बीच सबसे अच्छा ट्रेड-ऑफ प्रदान किया।

5. महत्व और निष्कर्ष

यह कार्य टेंसर नेटवर्क की स्केलेबिलिटी और बेयियन इन्फरेंस की मजबूती के बीच के अंतर को पाटता है।

स्केलेबिलिटी: कुशल हेसियन एप्रोक्सिमेशन का उपयोग करके, LA-TNKM, GPs की $O(N^3)$ बाधा से बचता है, जिससे बड़े डेटासेट्स और उच्च-आयामी इनपुट के लिए सिद्धांतगत अनिश्चितता अनुमान संभव हो जाता है।
व्यावहारिकता: यह विधि जटिल सैंपलिंग या वेरिएशनल फैमिली की आवश्यकता के बिना मौजूदा टेंसर नेटवर्क आर्किटेक्चर के लिए एक "प्लग-एंड-प्ले" प्रोबेबिलिस्टिक लेयर प्रदान करती है।
भविष्य का प्रभाव: परिणाम बताते हैं कि कई रिग्रेशन कार्यों के लिए, एक लोकलाइज्ड बेयसियन ट्रीटमेंट (जैसे Last Core) के साथ लीनियरइजेशन को जोड़ना, उच्च-गुणवत्ता वाले अनिश्चितता क्वांटिफिकेशन के लिए अवस्था-पूर्व (state-of-the-art) परिणाम प्राप्त करने के लिए पर्याप्त है, जो GPs और पूर्ण BNNs के लिए एक कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है।

संक्षेप में, LA-TNKM प्रदर्शित करता है कि टेंसर नेटवर्क कर्नेल मशीन्स प्रभावी रूप से बेयसियन हो सकते हैं, जो आधुनिक मशीन लर्निंग में अनिश्चितता अनुमान के लिए एक स्केलेबल, मजबूत और सिद्धांतगत दृष्टिकोण प्रदान करते हैं।