💻 computer science

A Subjective Logic-based method for runtime confidence updates in safety arguments

यह शोध पत्र एक सब्जेक्टिव लॉजिक-आधारित विधि प्रस्तुत करता है जो सुरक्षा प्रदर्शन संकेतकों के निरंतर मूल्यांकन के माध्यम से रनटाइम पर कॉन्फिडेंस लेवल को गतिशील रूप से अपडेट करके स्टैटिक सेफ्टी केसेज को बेहतर बनाता है, जो सटीक बेयसियन इन्फरेंस के बजाय सुरक्षा-प्रासंगिक प्रतिक्रियाशीलता को प्राथमिकता देता है।

मूल लेखक: Benjamin Herd, Jessica Kelly, Clarissa Heinemann, João-Vitor Zacchi

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Benjamin Herd, Jessica Kelly, Clarissa Heinemann, João-Vitor Zacchi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक बहुत ही मजबूत, तार्किक तर्क बनाया है कि एक सेल्फ-ड्राइविंग कार सुरक्षित है। आपने कोड की जांच की है, सेंसर का परीक्षण किया है, और एक रिपोर्ट लिखी है कि, "हमें 95% यकीन है कि यह कार किसी निर्माण शंकु (construction cone) से नहीं टकराएगी।" यह आपका सुरक्षा तर्क (Safety Argument) है।

समस्या यह है कि असली दुनिया अव्यवस्थित होती है। कार को एक अजीब तरह से रखे गए शंकु, खराब रोशनी, या सड़क के एक नए प्रकार के साइन बोर्ड का सामना करना पड़ सकता है, जो आपके मूल परीक्षणों में नहीं था। आपकी मूल रिपोर्ट कल ली गई एक तस्वीर की तरह है; इसे नहीं पता कि अभी क्या हो रहा है।

यह शोध पत्र एक तरीका प्रस्तावित करता है जिससे कार के चलते समय उस सुरक्षा तर्क को "जीवित" और "अप-टू-डेट" रखा जा सके। वे इसे कैसे करते हैं, इसके लिए यहाँ सरल उपमाओं (analogies) का उपयोग किया गया है:

1. "सुरक्षा स्कोरकार्ड" (SPIs)

केवल दुर्घटना होने का इंतज़ार करने के बजाय (जो कि बहुत देर हो जाएगी), लेखक सुरक्षा प्रदर्शन संकेतक (Safety Performance Indicators - SPIs) का उपयोग करने का सुझाव देते हैं। इन्हें अपने तर्क के विशिष्ट हिस्सों से जुड़ा एक सुरक्षा स्कोरकार्ड समझें।

उपमा: कल्पना कीजिए कि आप एक छात्र के निबंध को ग्रेड दे रहे हैं। "डिज़ाइन-टाइम आर्गुमेंट" वह प्रारंभिक ग्रेड है जो आप ड्राफ्ट के आधार पर देते हैं। "SPI" एक लाइव मॉनिटर है जो छात्र को अंतिम संस्करण लिखते समय देखता रहता है।
यह कैसे काम करता है: यदि छात्र एक विशिष्ट प्रकार की गलती करने लगता है (जैसे कि "I" को कैपिटल लिखना भूल जाना), तो मॉनिटर इसे तुरंत फ्लैग कर देता है। कार के उदाहरण में, यदि कैमरा बार-बार शंकु को मिस करता है, तो SPI इसे फ्लैग कर देता है।

2. "कॉन्फिडेंस मीटर" (Subjective Logic)

लेखक आत्मविश्वास को मापने के लिए सब्जेक्टिव लॉजिक (Subjective Logic) नामक एक गणितीय उपकरण का उपयोग करते हैं। केवल यह कहने के बजाय कि "95% सुरक्षित," वे आत्मविश्वास को तीन श्रेणियों में विभाजित करते हैं:

विश्वास (Belief): "मुझे लगता है कि यह सच है।"
अविश्वास (Disbelief): "मुझे लगता है कि यह गलत है।"
अनिश्चितता (Uncertainty): "मेरे पास निर्णय लेने के लिए पर्याप्त जानकारी नहीं है।"

उपमा: कंचों (marbles) के एक जार की कल्पना करें।

नीले कंचे विश्वास का प्रतिनिधित्व करते हैं (यह सुरक्षित है)।
लाल कंचे अविश्वास का प्रतिनिधित्व करते हैं (यह असुरक्षित है)।
पारदर्शी (Clear) कंचे अनिश्चितता का प्रतिनिधित्व करते हैं (मैं पक्का नहीं हूँ)।
एक "सुरक्षित" तर्क में ज्यादातर नीले कंचे होते हैं और बहुत कम पारदर्शी कंचे होते हैं।

3. "दो-नियम अपडेट सिस्टम"

यह मुख्य नवाचार है। लेखकों ने एक विशेष नियम बनाया है कि जब कार चल रही होती है तो कॉन्फिडेंस जार कैसे बदलता है। वे एक ऐसा सिस्टम चाहते थे जो केवल सांख्यिकीय रूप से सटीक होने के बजाय प्रतिक्रियाशील (responsive) (खतरे के प्रति त्वरित प्रतिक्रिया देने वाला) हो।

वे एक साथ दो नियमों का उपयोग करते हैं:

नियम A: धीमा संचयक (कोई उल्लंघन नहीं)
- क्या होता है: यदि कार कुछ समय तक चलती है और कोई भी शंकु मिस नहीं करती है, तो SPI मॉनिटर जार में कुछ नीले कंचे जोड़ता है।
- प्रभाव: आपका आत्मविश्वास धीरे-धीरे बढ़ता है। पारदर्शी कंचे (अनिश्चितता) कम हो जाते हैं क्योंकि आपके पास अधिक डेटा है। यह एक बाल्टी भरने के लिए धीरे-धीरे टपकते पानी की तरह है।
नियम B: तत्काल दंड (उल्लंघन)
- क्या होता है: यदि SPI मॉनिटर एक उल्लंघन देखता है (कार एक शंकु को मिस कर देती है), तो यह केवल एक लाल कंचा नहीं जोड़ता है। यह तुरंत एक लक्षित बदलाव (targeted swap) करता है।
- प्रभाव: यह तुरंत नीले कंचों (विश्वास) को लेता है और उन्हें लाल कंचों (अविश्वास) में बदल देता है। यह एक "सुरक्षा अलार्म" की तरह है जो समस्या का पता चलते ही आपके आत्मविश्वास को तुरंत कम कर देता है।
- यह क्यों मायने रखता है: लेखक कहते हैं, "हमें यहाँ पूर्ण गणित की परवाह नहीं है; हमें सुरक्षा की परवाह है।" यदि एक सुरक्षा नियम टूट जाता है, तो आपको अपना आत्मविश्वास तेजी से गिराने की आवश्यकता होती है, न कि केवल एक धीमी सांख्यिकीय औसत के पकड़ने का इंतज़ार करना चाहिए।

4. वास्तविक दुनिया का परीक्षण (निर्माण क्षेत्र)

यह साबित करने के लिए कि यह काम करता है, लेखकों ने एक निर्माण क्षेत्र में एक सेल्फ-ड्राइविंग कार का सिमुलेशन किया।

सेटअप: उनके पास नारंगी ट्रैफिक शंकुओं को पहचानने के लिए एक कैमरा था।
परीक्षण: उन्होंने एक सिमुलेशन चलाया जहाँ कार कभी-कभी शंकुओं को मिस कर देती थी (परछाईं या अन्य कारों द्वारा दृश्य बाधित होने के कारण)।
परिणाम:
- जब कार सुचारू रूप से चलती है, तो "नीला" आत्मविश्वास बढ़ता है, और "पारदर्शी" अनिश्चितता कम होती जाती है।
- जैसे ही कार एक शंकु को मिस करती है, आत्मविश्वास तेजी से गिर जाता है।
- जैसे ही कार फिर से अच्छी तरह से चलती है, आत्मविश्वास धीरे-धीरे ऊपर चढ़ता है, लेकिन यह कभी भी "पूर्ण" स्तर पर पूरी तरह से वापस नहीं लौटता क्योंकि सिस्टम ने गलती को याद रखा।

सारांश

यह शोध पत्र एक स्थिर सुरक्षा रिपोर्ट को एक जीवित, सांस लेते सुरक्षा तर्क में बदलने की विधि प्रस्तुत करता है।

पुराना तरीका: "हमने इसका परीक्षण किया है, और यह सुरक्षित है।" (स्थिर, बदलता नहीं है)।
नया तरीका: "हमने इसका परीक्षण किया है, और यह सुरक्षित है। और, हम अभी इस पर नज़र रख रहे हैं। यदि यह अच्छा प्रदर्शन करता है, तो हमारा आत्मविश्वास बढ़ेगा। यदि यह एक भी गलती करता है, तो हम तुरंत अपना आत्मविश्वास खो देंगे और हमें पता चल जाएगा कि हमें इसे ठीक करने की आवश्यकता है।"

यह इंजीनियरों और नियामकों को यह देखने की अनुमति देता है कि वे किसी भी क्षण सिस्टम पर कितना भरोसा कर सकते हैं, जो पिछले परीक्षणों के बजाय वास्तविक समय के प्रदर्शन पर आधारित है।

तकनीकी सारांश: सुरक्षा तर्कों में रनटाइम कॉन्फिडेंस अपडेट के लिए एक सब्जेक्टिव लॉजिक-आधारित विधि

समस्या विवरण
मशीन लर्निंग (ML) घटकों के लिए सुरक्षा आश्वासन तर्क (safety assurance arguments), विशेष रूप से स्वायत्त ड्राइविंग जैसे गतिशील वातावरण में, एक महत्वपूर्ण चुनौती का सामना करते हैं: डिज़ाइन-टाइम साक्ष्य पर आधारित स्थिर तर्क समय के साथ अमान्य हो सकते हैं क्योंकि डेटा वितरण (data distribution) बदल सकता है, मॉडल ड्रिफ्ट हो सकता है, या परिचालन संदर्भ विकसित हो सकता है। जबकि UL 4600 जैसे मानक सिस्टम की वैधता की निगरानी करने के लिए सेफ्टी परफॉरमेंस इंडिकेटर्स (SPIs) के उपयोग को अनिवार्य करते हैं, रनटाइम डेटा को शामिल करने वाली मौजूदा विधियों में अक्सर डायनेमिक रूप से कॉन्फिडेंस अपडेट को मापने की सूक्ष्मता (granularity) का अभाव होता है। गुणात्मक दृष्टिकोण आमतौर पर केवल बाइनरी परिणामों (खंडन या कोई परिवर्तन नहीं) की पेशकश करते हैं, जबकि शास्त्रीय बेयसियन अपडेट (Bayesian updates) सटीक पोस्टीरियर समानता (posterior equivalence) के बजाय तत्काल सुरक्षा प्रतिक्रिया को प्राथमिकता देने में सक्षम नहीं हो सकते हैं। एक ऐसा औपचारिक तंत्र आवश्यक है जो निरंतर, विंडो आधारित रनटाइम साक्ष्य को मात्रात्मक आश्वासन तर्कों में एकीकृत कर सके, जिससे विश्वास के क्रमिक संचय और सुरक्षा उल्लंघन होने पर तत्काल दंड (penalties) दोनों को संभव बनाया जा सके।

कार्यप्रणाली
लेखक एक ऐसी विधि प्रस्तावित करते हैं जो रनटाइम SPIs को शामिल करने के लिए सब्जेक्टिव लॉजिक (SL) का उपयोग करके स्थिर, मात्रात्मक आश्वासन तर्कों का विस्तार करती है। कार्यप्रणाली का मुख्य भाग एक विशिष्ट अपडेट नियम है जो दो SL ऑपरेटरों को जोड़ता है: क्युमुलेटिव बिलीफ फ्यूजन (CBF) और रिफ्यूटिंग चैलेंजर (RC)।

तर्क संरचना (Argument Structure): सुरक्षा मामले को एक संरचित तर्क के रूप में मॉडल किया गया है जहाँ प्रत्येक दावा $c$ एक बाइनोमियल ओपिनियन $\omega_c = (b, d, u, a)$ से जुड़ा है, जो विश्वास (belief), अविश्वास (disbelief), अनिश्चितता (uncertainty) और बेस रेट (base rate) को दर्शाता है।
SPI मॉडलिंग: रनटाइम SPIs को $k$ अवलोकनों की एक विंडो पर थ्रेशोल्ड किए गए मापों से प्राप्त बाइनरी प्रेडिकेट्स के रूप में माना जाता है। एक SPI ओपिनियन $\omega_{SPI}$ का निर्माण सफलताओं ( $r$ , कोई उल्लंघन नहीं) और विफलताओं ( $s$ , उल्लंघन) की गिनती करके किया जाता है, जिसे मानक SL समीकरणों का उपयोग करके मैप किया जाता है।
अपडेट नियम: एक नए SPI ओपिनियन $\omega_{SPI}$ $ω_{S P I}$ के दिए जाने पर दावे के ओपिनियन $\omega_c$ $ω_{c}$ के लिए केंद्रीय अपडेट समीकरण है:
$\omega'_c = \neg\omega_{SPI} \boxtimes (\omega_c \oplus \omega_{SPI})$
- आंतरिक ऑपरेशन ( $\oplus$ ): क्युमुलेटिव बिलीफ फ्यूजन SPI विंडो से साक्ष्य को संचित करता है। यदि कोई उल्लंघन नहीं होता है, तो यह विश्वास को बढ़ाता है और अनिश्चितता को कम करता है।
- बाहरी ऑपरेशन ( $\boxtimes$ ): रिफ्यूटिंग चैलेंजर एक तत्काल दंड लागू करता है। SPI ओपिनियन को विनियुक्त (negated) किया जाता है ( $\neg\omega_{SPI}$ ), ताकि SPI उल्लंघन में विश्वास, दावे में अविश्वास में मैप हो जाए। यह ऑपरेटर विश्वास से अविश्वास में द्रव्यमान (mass) को उल्लंघन की गंभीरता के अनुपात में पुनर्वितरित करता है, यह सुनिश्चित करता है कि एक एकल उल्लंघन भी पूर्व संचय की परवाह किए बिना आत्मविश्वास को तुरंत कम कर सके।

यह डिज़ाइन मानक कंजुगेट बीटा-बाइनोमियल बेयसियन अपडेट से स्पष्ट रूप से अलग है। केवल गणनाओं को जोड़ने के बजाय, यह विधि सुरक्षा-प्रासंगिक प्रतिक्रियाशीलता (safety-relevant responsiveness) को प्राथमिकता देती है, यह सुनिश्चित करती है कि उल्लंघन त्वरित सुधारात्मक कॉन्फिडेंस ड्रॉप को ट्रिगर करें जबकि गैर-उल्लंघन धीरे-धीरे विश्वास की रिकवरी की अनुमति देते हैं।

मुख्य योगदान

SL-नेटिव अपडेट मैकेनिज्म: यह पेपर एक स्पष्ट रूप से गैर-बेयसियन अपडेट नियम पेश करता है जो विंडो आधारित रनटाइम SPIs को मात्रात्मक आश्वासन तर्कों में एकीकृत करता है। यह प्रथम-क्रम के कॉन्फिडेंस (विश्वास/अविश्वास के प्रति प्रतिबद्धता) और द्वितीय-क्रम के कॉन्फिडेंस (उस प्रतिबद्धता की सटीकता) के बीच अंतर करने की SL की क्षमता का लाभ उठाता है।
दोहरी-गुणधर्म अपडेट नियम: प्रस्तावित ऑपरेटर संयोजन दो महत्वपूर्ण सुरक्षा गुणों को संतुष्ट करता है: (1) उल्लंघनों की अनुपस्थिति में क्रमिक विश्वास वृद्धि, और (2) उल्लंघनों पर तत्काल, लक्षित दंड।
SPI का औपचारिक एकीकरण: यह विधि अग्रणी SPIs (प्रोएक्टिव इंडिकेटर्स) को आश्वासन तर्क के भीतर विशिष्ट दावों से सीधे जोड़ने का एक औपचारिक तरीका प्रदान करती है, जिससे तर्क की वैधता का निरंतर पुनर्मूल्यांकन संभव होता है।

प्रायोगिक परिणाम
इस विधि का प्रदर्शन एक स्वायत्त वाहन प्रणाली (APIKS प्लेटफॉर्म) के भीतर एक ML-आधारित कंस्ट्रक्शन कोन डिटेक्शन घटक के सिमुलेशन का उपयोग करके किया गया है।

परिदृश्य: YOLOv8-आधारित डिटेक्टर को ग्राउंड ट्रुथ के सापेक्ष फॉल्स नेगेटिव के लिए मॉनिटर किया जाता है। एक SPI को कोन्स के छूटे हुए अनुपात पर एक थ्रेशोल्ड के साथ परिभाषित किया गया है।
अवलोकन:
- जब SPI उल्लंघन हुए (जैसे, अवरोध के कारण), तो दावे का विश्वास तुरंत गिर गया और अविश्वास बढ़ गया।
- बिना उल्लंघन वाले अवधियों में, अनिश्चितता कम हो गई और विश्वास धीरे-धीरे वापस आ गया।
- परिणामी बीटा वितरणों ने दिखाया कि विधि ने पर्याप्त डेटा न होने पर (जैसे, छोटे नाइटटाइम सेगमेंट में) अनिश्चितता बनाए रखते हुए समय के साथ समग्र अनिश्चितता को सफलतापूर्वक कम किया।
- विभिन्न परिदृश्य दर्शाते हैं कि विधि कैसे अलग-अलग साक्ष्य को संभालती है: जब उल्लंघन जमा होते हैं तो द्रव्यमान को अविश्वास की ओर स्थानांतरित करती है, और जब साक्ष्य सुसंगत होता है तो विश्वास की ओर, जबकि अपर्याप्त डेटा के मामले में अनिश्चितता को बरकरार रखती है।

महत्व और दावे
लेखक दावा करते हैं कि यह कार्य AI-आधारित प्रणालियों के लिए निरंतर सुरक्षा आश्वासन (continuous safety assurance) के लिए एक व्यावहारिक, ऑडिट योग्य दृष्टिकोण प्रदान करता है। UL 4600 जैसे मानकों के साथ तालमेल बिठाकर, यह विधि डिज़ाइन-टाइम तर्कों और गतिशील परिचालन वास्तविकताओं के बीच के अंतर को पाटती है।

गवर्नेंस: यह दृष्टिकोण एक पारदर्शी "कॉन्फिडेंस नैरेटिव" प्रदान करता है जो कच्चे रनटाइम संकेतों को स्पष्ट दावा-स्तरीय ओपिनियन से मैप करता है। यह फ्लीट ऑपरेटरों और सुरक्षा प्रबंधकों को मात्रात्मक थ्रेशोल्ड के आधार पर शमन (जैसे, पैरामीटर समायोजन, मानवीय निरीक्षण) को ट्रिगर करने में सहायता करता है।
ऑडिटेबिलिटी: यह रनटाइम साक्ष्य और सुरक्षा मामले के बीच एक औपचारिक लिंक बनाता है, जिससे नियामकों को यह समीक्षा करने की अनुमति मिलती है कि विशिष्ट उल्लंघनों ने विश्वास को कैसे प्रभावित किया।
MLOps एकीकरण: यह विधि आश्वासन कॉन्फिडेंस के क्षरण को इंजीनियरिंग कार्यों, जैसे कि लक्षित रिट्रेनिंग या डेटा अधिग्रहण, से जोड़ती है, जिससे सुरक्षा तर्कों को प्रभावी ढंग से MLOps वर्कफ़्लो से जोड़ा जाता है।

पेपर सीमाओं को स्वीकार करते हुए नोट करता है कि प्रभावशीलता सटीक SPI थ्रेशोल्डिंग पर निर्भर करती है और वर्तमान मॉडल स्वतंत्र, गैर-ओवरलैपिंग विंडो मानता है। भविष्य के कार्य में टेम्पोरल कोरिलेशन (temporal correlations), पुराने साक्ष्य के लिए समय-आधारित डिस्काउंटिंग, और एक एकीकृत तर्क संरचना के भीतर लीडिंग और लैगिंग दोनों SPIs के एकीकरण को संबोधित करने का सुझाव दिया गया है।

1. "सुरक्षा स्कोरकार्ड" (SPIs)

2. "कॉन्फिडेंस मीटर" (Subjective Logic)

3. "दो-नियम अपडेट सिस्टम"

4. वास्तविक दुनिया का परीक्षण (निर्माण क्षेत्र)

सारांश

इसी तरह के और पेपर