Anomaly-Informed Confidence Calibration for Vision-Based Safety Prediction

तकनीकी सारांश: विज़न-आधारित सुरक्षा भविष्यवाणी के लिए विसंगति-सूचित आत्मविश्वास अंशांकन (Anomaly-Informed Confidence Calibration)

समस्या विवरण
स्वायत्त प्रणालियों (जैसे स्वायत्त रेसिंग) जैसे सुरक्षा-महत्वपूर्ण स्वायत्त तंत्रों में विज़न-आधारित नियंत्रकों को तैनात करने के लिए विश्वसनीय आत्मविश्वास अनुमान (confidence estimates) अत्यंत महत्वपूर्ण हैं। आधुनिक भविष्यवक्ता (predictors) अक्सर परीक्षण-समय वितरण बदलावों (test-time distribution shifts) का सामना करते समय खतरनाक अति-आत्मविश्वास प्रदर्शित करते हैं। इस कार्य में पहचाना गया एक प्राथमिक अवरोध "परसेप्शन-डायनेमिक्स गैप" (perception-dynamics gap) है: मानक विसंगति संकेत (जैसे ऑटोएन्कोडर पुनर्निर्माण त्रुटि) केवल अवलोकन स्थान (observation space) में कार्य करते हैं। वे दृश्य भ्रष्टाचार (जैसे अंधेरा, धुंधलापन) का प्रभावी ढंग से पता लगाते हैं लेकिन डायनेमिक्स विसंगतियों (जैसे एक्चुएशन बायस, नियंत्रण विलंबता, अनमॉडल किया गया घर्षण) का पता लगाने में विफल रहते हैं, जहाँ इमेज स्ट्रीम प्रशंसनीय रहती है लेकिन वाहन का प्रक्षेपवक्र (trajectory) चुपचाप विचलित हो जाता है। मौजूदा पोस्ट-हॉक अंशांकन विधियाँ, जैसे कि मानक टेम्परेचर स्केलिंग, एक एकल निश्चित स्केलर पर निर्भर करती हैं और वितरण बदलावों के तहत काफी खराब प्रदर्शन करती हैं। इसके विपरीत, समृद्ध अनिश्चितता मात्रा निर्धारण तकनीकें जैसे कि डीप एन्सेम्बल्स या MC ड्रॉपआउट, उच्च कम्प्यूटेशनल लागत लेती हैं जो वास्तविक समय नियंत्रण के अनुकूल नहीं है और सभी विसंगतियों को अनिश्चितता के एक अखंड स्रोत के रूप में मानती हैं।

कार्यप्रणाली (Methodology)
लेखक एक विसंगति-सूचित ऑनलाइन अंशांकन (Anomaly-Informed Online Calibration) ढांचे का प्रस्ताव करते हैं जो मूल सुरक्षा भविष्यवक्ता को पुन: प्रशिक्षित किए बिना सुरक्षा आत्मविश्वास को समायोजित करता है। यह दृष्टिकोण एक जमीद (frozen) "वर्ल्ड मॉडल" और टेस्ट-टाइम ऑग्मेंटेशन (TTA) से संकेतों को एक हल्के अंशालक (calibrator) में एकीकृत करता है। यह पाइपलाइन चार चरणों से बनी है:

1. विसंगति स्कोर निष्कर्षण (Anomaly Score Extraction): ढांचा एक सीखे गए वर्ल्ड मॉडल (एक VAE जिसमें लेटेंट डायनेमिक्स हैं) से दो पूरक, निरंतर विसंगति स्कोर निकालता है:

   • परसेप्चुअल स्कोर ($\rho_i$): यह एक संदर्भ विंडो (context window) पर VAE डिकोडर के माध्य प्रति-पिक्सेल पुनर्निर्माण त्रुटि से प्राप्त होता है। यह दृश्य वितरण बदलावों को कैप्चर करता है।
   • डायनेमिक्स स्कोर ($\delta_i$): यह स्टेट-ट्रांज़िशन स्पेस में एक 12-आयामी फीचर वेक्टर के महलानोबिस दूरी (Mahalanobis distance) से प्राप्त होता है। इस वेक्टर में मोंटे कार्लो ड्रॉपआउट अनिश्चितता अनुमान, एक्शन पैटर्न सांख्यिकी (जैसे फ्रीज रेट, जर्क), और टेम्पोरल कोरिलेशन शामिल हैं। यह स्कोर उन डायनेमिक्स विसंगतियों को कैप्चर करता है जो छवियों को दृश्य रूप से सामान्य रखते हुए भी संक्रमण डायनेमिक्स में विसंगति पैदा करते हैं। दोनों स्कोर को इन-डिस्ट्रीब्यूशन सांख्यिकी का उपयोग करके $[0, 1]$ तक सामान्यीकृत किया गया है।

2. टेस्ट-टाइम ऑग्मेंटेशन (TTA): दृश्य मजबूती बढ़ाने के लिए, सुरक्षा भविष्यवक्ता $g$ का मूल्यांकन मूल छवि और $M=8$ ऑग्मेंटेड संस्करणों (रैंडम फोटोट्रॉमिक जिटर और गाऊसी शोर) पर किया जाता है। भविष्यवाणियों को स्मूथ बेस प्रेडिक्शन $\bar{p}_{i+k}$ बनाने के लिए औसत निकाला जाता है। यह चरण मामूली दृश्य परिवर्तनों के प्रति संवेदनशीलता को कम करता है।

3. विसंगति-कंडीशन्ड टेम्परेचर स्केलिंग (Anomaly-Conditioned Temperature Scaling): मुख्य नवाचार एक गतिशील टेम्परेचर स्केलिंग तंत्र है जहाँ प्रभावी तापमान $T_{eff}$ विसंगति स्कोर का एक फलन (function) है:
   $$T_{eff} = T_k \cdot \exp(w_\rho \rho_i + w_\delta \delta_i)$$
   यहाँ, $T_k$ प्रति प्रेडिक्शन होराइजन एक बेस टेम्परेचर है, और $w_\rho, w_\delta$ सीखने योग्य भार (learnable weights) हैं। जैसे-जैसे विसंगति के प्रमाण ($\rho_i, \delta_i$) बढ़ते हैं, $T_{eff}$ बढ़ता है, जो अनुमानित संभावना को 0.5 की ओर खींचता है और अति-आत्मविश्वास को कम करता है। जब विसंगतियाँ अनुपस्थित होती हैं, तो यह विधि मानक टेम्परेचर स्केलिंग में बदल जाती है।

4. प्रशिक्षण व्यवस्था (Training Regime): अंशालक को इन-डिस्ट्रीब्यूशन डेटा और सिंथेटिक रूप से ऑग्मेंटेड डेटा के मिश्रण पर प्रशिक्षित किया जाता है (उन भ्रष्टाचार प्रकारों का उपयोग करते हुए जो टेस्ट प्रोटोकॉल से अलग हैं)। आधार सुरक्षा भविष्यवक्ता और वर्ल्ड मॉडल अंशांकन प्रशिक्षण के दौरान स्थिर (frozen) रहते हैं।

प्रमुख योगदान

1. ऑनलाइन अंशांकन ढांचा: एक विधि जो वास्तविक समय में सुरक्षा आत्मविश्वास को समायोजित करने के लिए वर्ल्ड मॉडल से विसंगति साक्ष्य को TTA के साथ जोड़ती है, बिना मूल भविष्यवक्ता को पुन: प्रशिक्षित किए।
2. विच्छेदित विसंगति स्कोरिंग (Disentangled Anomaly Scoring): एक रणनीति जो परसेप्चुअल और डायनेमिक्स स्कोर को अलग करती है, जिससे शुद्ध दृश्य विसंगति संकेतों द्वारा छोड़े गए परसेप्शन-डायनेमिक्स गैप को संबोधित किया जा सके।
3. भौतिक सत्यापन: एक भौतिक DonkeyCar प्लेटफॉर्म पर एक भौतिक सत्यापन जो दर्शाता है कि सिंथेटिक ऑग्मेंटेशन पर प्रशिक्षित अंशांकन गुणात्मक रूप से भिन्न वास्तविक दुनिया के भ्रष्टाचारों में स्थानांतरित (transfer) होता है।

प्रायोगिक परिणाम
विधि का मूल्यांकन चार अनदेखे वास्तविक दुनिया के विसंगति प्रोटोकॉल के तहत एक भौतिक DonkeyCar पर किया गया: अंधेरा (दृश्य), धुंधलापन (दृश्य), एक्चुएशन बायस (डायनेमिक्स), और प्रोसेसिंग विलंबता (डायनेमिक्स)।

• OOD डिटेक्शन: फ्यूज्ड विसंगति स्कोर ने इन-डिस्ट्रीब्यूशन और OOD डेटा के बीच अंतर करने के लिए 0.830 का औसत AUROC प्राप्त किया, जो फीचर नॉर्म (0.658) और प्रेडिक्शन-व्युत्पन्न ह्यूरिस्टिक्स (लगभग 0.54) जैसे बेसलाइन से काफी बेहतर प्रदर्शन करता है। विशेष रूप से, डायनेमिक्स स्कोर ने एक्चुएशन बायस और विलंबता का पता लगाने में पर्याप्त लाभ प्रदान किया, जहाँ इमेज-लेवल विधियाँ संघर्ष करती हैं।
• अंशांकन प्रदर्शन: प्रस्तावित विधि ने औसत अपेक्षित अंशांकन त्रुटि (Expected Calibration Error - ECE) को 0.184 (सर्वश्रेष्ठ बेसलाइन, DAC) से घटाकर 0.116 कर दिया, जो 37% सुधार का प्रतिनिधित्व करता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • परसेप्चुअल स्कोर ($\rho$) ने प्रमुख अंशांकन संकेत प्रदान किया, जिसने TTA में जोड़े जाने पर OOD-औसत ECE को 28% कम कर दिया।
  • डायनेमिक्स स्कोर ($\delta$) ने पूरक मजबूती (complementary robustness) में योगदान दिया, विशेष रूप से क्रॉस-सीड वेरिएंस को कम करने और डायनेमिक्स-विशिष्ट विसंगतियों का पता लगाने में सुधार करने में, हालांकि इसने TTA+$\rho$ में जोड़े जाने पर औसत ECE को महत्वपूर्ण रूप से कम नहीं किया।
  • विधि ने होल्ड-आउट नोमिनल टेस्ट सेट पर 0.121 का औसत ECE प्राप्त करके इन-डिस्ट्रीब्यूशन प्रदर्शन को बनाए रखा।

महत्व और दावे
यह शोध दावा करता है कि सुरक्षा-महत्वपूर्ण रोबोटिक्स में विश्वसनीय आत्मविश्वास अनुमान के लिए सिंगल-स्calar अंशांकन और शुद्ध दृश्य विसंगति पहचान से आगे बढ़ना आवश्यक है। विसंगति साक्ष्य (disentangled anomaly evidence) पर कंडीशनिंग करके और "परसेप्शन-डायनेमिक्स गैप" को स्पष्ट रूप से मॉडल करके, सिस्टम वितरण बदलावों के तहत चुनिंदा रूप से अति-आत्मविश्वास को कम कर सकता है जबकि सामान्य प्रदर्शन बनाए रखता है। यह कार्य प्रदर्शित करता है कि सिंथेटिक ऑग्मेंटेशन वास्तविक दुनिया के भ्रष्टाचारों के लिए एक संरचनात्मक प्रॉक्सी के रूप में कार्य कर सकते हैं, जिससे एक अंशालक जिसे सिंथेटिक डेटा पर प्रशिक्षित किया गया है, बिना मूल सुरक्षा भविष्यवक्ता को पुन: प्रशिक्षित किए, अनदेखे भौतिक विसंगतियों (जैसे हार्डवेयर गिरावट) के लिए सामान्यीकरण करने में सक्षम होता है। लेखक नोट करते हैं कि जबकि विधि मजबूत स्थानांतरणीयता दिखाती है, प्रशिक्षण गंभीरता सीमा (training severity range) से परे विस्तार करना एक सीमा बनी हुई है।