⚡ electrical engineering

Trustworthy Prediction with Gaussian Process Knowledge Scores

यह शोध पत्र गॉसियन प्रोसेस रिग्रेशन के लिए एक व्याख्या योग्य, सीमित ज्ञान स्कोर प्रस्तुत करता है जो यह मात्रा निर्धारित करता है कि अवलोकित डेटा भविष्यवाणी अनिश्चितता को कितना कम करता है, जिससे भविष्यवाणी सटीकता का पूर्वानुमान लगाकर विसंगति पहचान (anomaly detection), एक्सट्रपलेशन और लुप्त डेटा प्रतिस्थापन (missing data imputation) जैसे कार्यों में प्रदर्शन में सुधार होता है।

मूल लेखक: Kurt Butler, Guanchao Feng, Tong Chen, Petar Djuric

प्रकाशित 2026-02-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kurt Butler, Guanchao Feng, Tong Chen, Petar Djuric

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञान (weather forecaster) हैं। आपके पास एक सुपर-स्मार्ट कंप्यूटर मॉडल है जो आपके गृहनगर के वर्षों के डेटा के आधार पर मौसम की भविष्यवाणी करता है।

परिदृश्य A: आप पूछते हैं, "कल मेरे गृहनगर में मौसम कैसा रहेगा?" मॉडल आपको एक आत्मविश्वासपूर्ण उत्तर देता है: "धूप खिली रहेगी, 75°F।" आप इस पर भरोसा करते हैं क्योंकि मॉडल ने इस तरह के हजारों दिन देखे हैं।
परिदृश्य B: आप पूछते हैं, "कल मंगल ग्रह (Mars) पर मौसम कैसा रहेगा?" मॉडल फिर भी आपको एक उत्तर देता है: "धूप खिली रहेगी, 75°F।" लेकिन इस बार, मॉडल केवल "मौसम" की अपनी सामान्य धारणा के आधार पर अनुमान लगा रहा है, क्योंकि उसके पास मंगल ग्रह के बारे में शून्य डेटा है।

अधिकांश AI मॉडलों के साथ समस्या यह है कि वे परिदृश्य A और परिदृश्य B के बीच अंतर नहीं कर पाते। वे मंगल ग्रह के लिए भी पूरे आत्मविश्वास के साथ उत्तर दे देते हैं, भले ही वे पूरी तरह से अनभिज्ञ हों। यदि आप उस भविष्यवाणी के आधार पर महत्वपूर्ण निर्णय ले रहे हैं, तो यह खतरनाक है।

यह शोध पत्र इस समस्या को हल करने के लिए एक सरल लेकिन शक्तिशाली उपकरण पेश करता है जिसे "नॉलेज स्कोर" (Knowledge Score) कहा जाता है।

मुख्य विचार: "कॉन्फिडेंस मीटर" (The Confidence Meter)

लेखकों ने (Gaussian Processes, जो एक प्रकार का उन्नत सांख्यिकीय मॉडल है, के साथ मिलकर) एक स्कोर बनाया है जो एक कॉन्फिडेंस मीटर या "नॉलेज थर्मामीटर" की तरह कार्य करता है।

1.0 का स्कोर (उच्च ज्ञान): मॉडल ने यहाँ बहुत सारा डेटा देखा है। वह जानता है कि क्या उम्मीद करनी है। भविष्यवाणी भरोसेमंद है।
0.0 का स्कोर (कम ज्ञान): मॉडल ऐसी जगह पर है जिसे उसने पहले कभी नहीं देखा है। वह केवल अपनी "प्रायर" (prior) धारणाओं (अपनी अंतरात्मा की आवाज) के आधार पर अनुमान लगा रहा है। भविष्यवाणी अविश्वसनीय है।

इसे एक लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह समझें।

यदि आप लाइब्रेरियन से उनकी अपनी लाइब्रेरी की किसी किताब के बारे में पूछते हैं, तो वे आपको उच्च नॉलेज स्कोर देते हैं। वे जानते हैं कि वह किताब कहाँ है और उसके बारे में क्या है।
यदि आप उनसे किसी ऐसे देश की लाइब्रेरी की किताब के बारे में पूछते हैं जहाँ वे कभी गए ही नहीं, तो वे शायद अनुमान लगाने की कोशिश करेंगे, लेकिन उनका नॉलेज स्कोर कम होगा। उन्हें शायद यह कहना चाहिए, "मुझे वास्तव में इसके बारे में नहीं पता; मैं बस अनुमान लगा रहा हूँ।"

यह कैसे काम करता है ("वेरिएंस रिडक्शन" ट्रिक)

यह शोध पत्र थोड़ा गणित का उपयोग करता है, लेकिन अवधारणा सरल है। यह दो चीजों की तुलना करता है:

मॉडल ने डेटा देखने से पहले क्या सोचा था (उसका सामान्य अनुमान)।
विशिष्ट डेटा बिंदुओं को देखने के बाद मॉडल क्या सोचता है।

यदि आस-पास के डेटा बिंदु मॉडल की सोच को महत्वपूर्ण रूप से बदलते हैं, तो नॉलेज स्कोर उच्च होता है। मॉडल ने कुछ नया सीखा है!
यदि आस-पास के डेटा बिंदु मॉडल की सोच को बिल्कुल नहीं बदलते (क्योंकि मॉडल डेटा से बहुत दूर है), तो नॉलेज स्कोर कम होता है। मॉडल केवल अपने मूल अनुमान पर टिका हुआ है।

पेपर से वास्तविक दुनिया के उदाहरण

लेखकों ने इस "नॉलेज स्कोर" की उपयोगिता दिखाने के लिए तीन अलग-अलग समस्याओं पर इसका परीक्षण किया:

1. "सुरक्षा गार्ड" (अनोमली डिटेक्शन - Anomaly Detection)
कल्पना कीजिए कि एक सुरक्षा गार्ड इमारत में प्रवेश करने वाले लोगों की जाँच कर रहा है।

स्कोर के बिना: गार्ड एक "संदिग्ध व्यक्ति" की पहचान करने की कोशिश करता है, भले ही उस व्यक्ति ने ऐसी संस्कृति की पोशाक पहनी हो जिसे गार्ड ने पहले कभी नहीं देखा। गार्ड गलत हो सकता है।
स्कोर के साथ: गार्ड अपना "नॉलेज स्कोर" चेक करता है। यदि कोई व्यक्ति उस व्यक्ति से बहुत अलग दिखता है जिसे गार्ड ने पहले कभी देखा है (कम स्कोर), तो गार्ड कहता है, "मैं इस व्यक्ति के बारे में निर्णय लेने के लिए पर्याप्त नहीं जानता। मैं इसे 'अपराधी' के बजाय 'अज्ञात' के रूप में चिह्नित करूँगा।" यह गलत अलार्म को रोकता है।

2. "समय यात्री" (एक्सट्रपलेशन - Extrapolation)
कल्पना कीजिए कि पिछले महीने के डेटा के आधार पर अगले वर्ष के बिजली उपयोग की भविष्यवाणी करना।

बिना स्कोर के: मॉडल अगले वर्ष के उपयोग की भविष्यवाणी उसी आत्मविश्वास के साथ करता है जैसे वह कल के उपयोग की भविष्यवाणी करता है। लेकिन जैसे-जैसे आप डेटा से दूर जाते हैं, आपकी भविष्यवाणी खराब होती जाती है।
स्कोर के साथ: स्कोर एक "दूरी चेतावनी" के रूप में कार्य करता है। जैसे-जैसे आप भविष्य की ओर देखते हैं, स्कोर गिरता जाता है। यह आपको बताता है, "हे, अगले महीने के लिए मेरी भविष्यवाणी ठीक है, लेकिन अगले वर्ष के लिए मेरी भविष्यवाणी केवल एक जंगली अनुमान है। इस पर भरोसा न करें!"

3. "पजल फिलर" (मिसिंग डेटा - Missing Data)
कल्पना कीजिए कि एक हार्ट रेट मॉनिटर में खराबी आती है और कुछ सेकंड का डेटा गायब हो जाता है।

बिना स्कोर के: एक कंप्यूटर उस खाली स्थान को एक चिकनी रेखा (smooth line) के साथ भरने की कोशिश करता है। यदि अंतराल छोटा है, तो यह ठीक है। यदि अंतराल बड़ा है (जैसे 10 मिनट), तो कंप्यूटर बस एक तूफान के बीच सीधी रेखा खींच रहा है, जो बेकार है।
स्कोर के साथ: स्कोर कंप्यूटर को बताता है, "यह अंतराल बहुत बड़ा है। मैं बीच में क्या हुआ, इसका विश्वसनीय अनुमान नहीं लगा सकता।" यह कंप्यूटर को नकली डेटा बनाने से रोकता है, जिससे डॉक्टर नकली धड़कनों के आधार पर गलत चिकित्सा निर्णय लेने से बच जाते हैं।

यह क्यों मायने रखता है

AI की दुनिया में, हम अक्सर मॉडलों को "ब्लैक बॉक्स" की तरह मानते हैं जो हमेशा उत्तर जानते हैं। यह पेपर तर्क देता है कि AI को यह पता होना चाहिए कि वह क्या नहीं जानता।

"नॉलेज स्कोर" हमें निम्नलिखित के लिए एक तरीका देता है:

सही भविष्यवाणियों पर भरोसा करें: मॉडल का उपयोग तब करें जब वह आश्वस्त हो।
गलत भविष्यवाणियों को अनदेखा करें: मॉडल का उपयोग करना बंद करें जब वह केवल अनुमान लगा रहा हो।
सुरक्षित सिस्टम बनाएं: चाहे वह मेडिकल डायग्नोसिस हो, सेल्फ-ड्राइविंग कारें हों, या वित्तीय पूर्वानुमान, आपकी AI की सीमाओं को जानना उतना ही महत्वपूर्ण है जितना कि स्वयं AI।

संक्षेप में: यह पेपर AI को एक "विनम्रता" (humble) बटन देता है। यह मॉडल को यह कहने की अनुमति देता है, "मैं इस हिस्से को जानता हूँ, लेकिन मुझे उस हिस्से के बारे में कोई अंदाजा नहीं है," जो पूरे सिस्टम को बहुत अधिक भरोसेमंद बनाता है।

यहाँ "Trustworthy Prediction with Gaussian Process Knowledge Scores" नामक शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मशीन लर्निंग मॉडल, विशेष रूप से रिग्रेशन मॉडल, अक्सर उन क्षेत्रों में भविष्यवाणियाँ करने के लिए तैनात किए जाते हैं जहाँ कोई अवलोकन (observations) मौजूद नहीं होते हैं (जैसे कि एक्सट्रपलेशन, मिसिंग डेटा इम्प्यूटेशन, या ओपन-सेट रिकग्निशन)। वर्तमान दृष्टिकोणों की एक मौलिक सीमा यह है कि वे भविष्यवाणियाँ तो उत्पन्न कर सकते हैं, लेकिन वे अक्सर यह संकेत देने में विफल रहते हैं कि क्या वे भविष्यवाणियाँ प्रशिक्षण डेटा (training data) द्वारा अच्छी तरह से सूचित (well-informed) हैं।

प्रशिक्षण या परीक्षण सेटों पर मानक सटीकता मेट्रिक्स इस महत्वपूर्ण मुद्दे को संबोधित नहीं करते हैं कि एक मॉडल की भविष्य कहने वाली विश्वसनीयता इनपुट स्थान (input location) पर स्थानिक रूप से निर्भर होती है। जैसे-जैसे एक मॉडल प्रशिक्षण डेटा के वितरण (distribution) से दूर जाता है (आउट-ऑफ-डिस्ट्रीब्यूशन या OOD), इसकी आत्मविश्वास (confidence) अक्सर कम हो जाती है, फिर भी मानक संभावabilistic मॉडल अभी भी भ्रामक रूप से उच्च आत्मविश्वास या मनमाने विचरण (arbitrary variance) के साथ आउटपुट दे सकते हैं। यह शोध पत्र एक ऐसे मीट्रिक की आवश्यकता को संबोधित करता है जो यह मात्रा निर्धारित करे कि एक भविष्यवाणी कितनी "विश्वसनीय" (trustworthy) है, इस आधार पर कि प्रशिक्षण डेटा ने मॉडल की अनिश्चितता को कितना कम किया है।

2. कार्यप्रणाली: नॉलेज स्कोर (Methodology: The Knowledge Score)

लेखक गॉसियन प्रोसेस रिग्रेशन (GPR) मॉडल के लिए विशेष रूप से एक नॉलेज स्कोर ( $G$ ) प्रस्तावित करते हैं। यह स्कोर इस बात की मात्रा निर्धारित करता है कि प्रशिक्षण डेटासेट $D$ के अवलोकन ने एक विशिष्ट स्थान $x$ पर भविष्यवाणी की अनिश्चितता (विचरण) को किस हद तक कम किया है।

गणितीय सूत्रीकरण (Mathematical Formulation)

मुख्य अवधारणा विचरण कमी (variance reduction) के अनुपात के रूप में परिभाषित है:
$G(x, D) \triangleq \frac{\text{Var}(F(x)|x) - \text{Var}(F(x)|x, D)}{\text{Var}(F(x)|x)}$

जहाँ:

$\text{Var}(F(x)|x)$ प्रायर विचरण (डेटा देखने से पहले की अनिश्चितता) है।
$\text{Var}(F(x)|x, D)$ पोस्टीरियर विचरण (डेटासेट $D$ पर कंडीशन करने के बाद की अनिश्चितता) है।

GPR के लिए, जहाँ प्रायर एक कर्नेल $k$ के साथ गॉसियन प्रोसेस है, पोस्टीरियर विचरण का एक क्लोज्ड-फॉर्म समाधान होता है। फलस्वरूप, नॉलेज स्कोर सरल होकर निम्नलिखित हो जाता है:
$G(x, D) = \frac{k(x)^\top (K + \sigma^2 I)^{-1} k(x)}{k(0, 0)}$

मुख्य गुण (Key Properties)

सीमाबद्धता (Boundedness): गॉसियन मॉडलों के लिए, $G$ $G$ स्वाभाविक रूप से 0 और 1 के बीच सीमित है।
- $G \approx 1$ : पोस्टीरियर विचरण, प्रायर विचरण से काफी कम है; मॉडल डेटा द्वारा अत्यधिक सूचित है।
- $G \approx 0$ : पोस्टीरियर विचरण, प्रायर के लगभग समान है; मॉडल अनिवार्य रूप से अपने प्रायर धारणाओं पर निर्भर है और उस स्थान पर डेटा से अनभिज्ञ है।
व्याख्यात्मकता (Interpretability): कच्चे विचरण (raw variance) या दूरी मेट्रिक्स के विपरीत, $G$ "ज्ञान" का एक सामान्यीकृत, सहज माप प्रदान करता है।
स्वतंत्रता (Independence): स्कोर केवल इनपुट स्थान $x$ और प्रशिक्षण डेटा $D$ पर निर्भर करता है; इसे गणना करने के लिए आउटपुट $y^*$ के अवलोकन की आवश्यकता नहीं होती है।

3. मुख्य योगदान (Key Contributions)

नॉलेज स्कोर की परिभाषा: यह मात्रा निर्धारित करने के लिए एक गणितीय रूप से आधारित, सीमाबद्ध मीट्रिक का परिचय देना कि एक संभावabilistic मॉडल की भविष्यवाणी प्रशिक्षण डेटा द्वारा कितनी सूचित है।
दो-चरणीय विसंगति पहचान (Two-Stage Anomaly Detection): एक फ्रेमवर्क का प्रस्ताव करना जहाँ नॉलेज स्कोर एक गेटकीपर के रूप में कार्य करता है। यदि $G(x, D) < \rho$ (एक थ्रेशोल्ड) है, तो सिस्टम इनपुट को "अज्ञात" (Unknown) के रूप में वर्गीकृत करता है और सामान्य/विसंगति निर्णय लेने से बचता है। यह मॉडल को OOD क्षेत्रों में उच्च-आत्मविश्वास वाली गलतियाँ करने से रोकता है।
विविध कार्यों में अनुप्रयोग: तीन अलग-अलग परिदृश्यों में स्कोर की उपयोगिता का प्रदर्शन करना:
- विसंगति पहचान (Anomaly Detection): उन क्षेत्रों को फ़िल्टर करना जहाँ मॉडल विसंगतियों को पहचानने के लिए पर्याप्त आत्मविश्वासी नहीं है।
- एक्सट्रपलेशन (Extrapolation): उस टेम्पोरल या स्पेशियल क्षितिज (horizon) को निर्धारित करना जहाँ भविष्यवाणियाँ शुद्ध प्रायर धारणाओं में गिर जाती हैं।
- इंटरपोलेशन (Interpolation): डेटा के लुप्त खंडों (missing segments) की लंबाई पर विश्वसनीय रूप से इम्प्यूट करने के लिए सिद्धांतगत सीमाएँ स्थापित करना।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक डेटा और तीन वास्तविक दुनिया के डेटासेट्स का उपयोग करके दृष्टिकोण को सत्यापित किया:

टॉय डेटा (विसंगति पहचान):
- एक सिंथेटिक 1D रिग्रेशन कार्य में, मॉडल को $x \in [0, 1]$ पर प्रशिक्षित किया गया था।
- परिणाम: जैसे ही $x$ , 1 से आगे बढ़ा, पोस्टीरियर विचरण बढ़ गया, और नॉलेज स्कोर घटकर 0 की ओर चला गया। $G < \rho$ वाले बिंदुओं को फ़िल्टर करके, रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक (ROC) कर्व ने विसंगति पहचान सटीकता में महत्वपूर्ण सुधार दिखाया, जिससे एक्सट्रपलेशन के कारण होने वाले फॉल्स पॉजिटिव प्रभावी रूप से हट गए।
इलेक्ट्रिसिटी लोड डेटा (एक्सट्रपलेशन):
- UCI इलेक्ट्रिसिटी लोड डेटा का उपयोग करते हुए, एक स्थानीय आवधिक कर्नेल (locally periodic kernel) के साथ एक GPR मॉडल को भविष्य की खपत की भविष्यवाणी करने के लिए प्रशिक्षित किया गया था।
- परिणाम: नॉलेज स्कोर ने प्रशिक्षण डेटा से परे समय क्षितिज (time horizon) बढ़ने के साथ भविष्यवाणी की गुणवत्ता में गिरावट को ट्रैक किया। इसने एक स्पष्ट, मात्रात्मक मीट्रिक प्रदान किया कि कब भविष्यवाणी का विचरण इतना अधिक हो जाता है कि वह उपयोगी न रहे, जिससे एक्सट्रपलेशन के लिए "उपयोगी क्षितिज" (useful horizon) प्रभावी रूप से परिभाषित हुआ।
फेटल हार्ट रेट (इंटरपोलेशन):
- कार्डियोटोकोग्राफी (CTG) डेटा के साथ, जिसमें डेटा के खंड गायब थे, मॉडल ने गायब फेटल हार्ट रेट (FHR) मानों को इम्प्यूट करने का प्रयास किया।
- परिणाम: नॉलेज स्कोर ने गायब डेटा खंडों की लंबाई के अनुरूप एक स्पष्ट गिरावट प्रदर्शित की। छोटे अंतराल उच्च स्कोर बनाए रखते हैं (इम्पलेट करने के लिए सुरक्षित), जबकि लंबे अंतराल में स्कोर काफी गिर जाता है। यह डेटा को इम्प्यूट करने या हटाने के निर्णय के लिए मनमाने थ्रेशोल्ड के बजाय एक सिद्धांतगत विकल्प प्रदान करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र विश्वसनीय मशीन लर्निंग के एक महत्वपूर्ण अंतर को संबोधित करता है: मॉडल की अपनी अज्ञानता को पहचानने की क्षमता।

व्यावहारिक प्रभाव: नॉलेज स्कोर सिस्टम को स्वचालित रूप से एक "रिजेक्ट ऑप्शन" (reject option) लागू करने की अनुमति देता है। OOD क्षेत्र में भविष्यवाणी पर अंधा विश्वास करने के बजाय, सिस्टम भविष्यवाणी को अविश्वसनीय के रूप में चिह्नित कर सकता है, जिससे विसंगति पहचान में टाइप I त्रुटियों को कम किया जा सकता है और डेटा इम्प्यूटेशन में त्रुटियों के प्रसार को रोका जा सकता है।
सैद्धांतिक मूल्य: यह अनिश्चितता मात्रा निर्धारण (विचरण) और मॉडल विश्वसनीयता के बीच के अंतर को प्रायर के सापेक्ष अनिश्चितता की कमी को सामान्य (normalize) करके पाटता है।
भावी दिशाएं: लेखक गैर-गॉसियन मॉडलों के लिए अवधारणा का विस्तार करने, सूचना-सैद्धांतिक विकल्पों (जैसे एंट्रॉपी-आधारित स्कोर) की खोज करने और स्कोर एवं कार्य-विशिष्ट प्रदर्शन मेट्रिक्स के बीच अनुभवजन्य संबंध का अध्ययन करने का सुझाव देते हैं।

संक्षेप में, नॉलेज स्कोर GPR भविष्यवाणियों की विश्वसनीयता को मात्रा निर्धारित करने के लिए एक मजबूत, व्याख्यात्मक और सीमाबद्ध तंत्र प्रदान करता है, जिससे स्वास्थ्य सेवा और औद्योगिक निगरानी जैसे महत्वपूर्ण अनुप्रयोगों में सुरक्षित और अधिक प्रभावी तैनाती संभव होती है।