💻 computer science

World Model Failure Classification and Anomaly Detection for Autonomous Inspection

यह शोध पत्र एक हाइब्रिड फ्रेमवर्क प्रस्तुत करता है जो वर्ल्ड मॉडल बैकबोन और कॉन्फॉर्मल प्रेडिक्शन का उपयोग करके स्वायत्त निरीक्षण परिणामों को सफलता, ज्ञात विफलता, या विसंगतियों में वास्तविक समय में, पॉलिसी-अज्ञेय (policy-agnostic) वर्गीकरण करने के लिए किया गया है, जो औद्योगिक स्थलों पर मानव पर्यवेक्षकों की तुलना में तेज़ पहचान और 90% से अधिक सटीकता प्रदर्शित करता है।

मूल लेखक: Michelle Ho, Muhammad Fadhil Ginting, Isaac R. Ward, Andrzej Reinke, Mykel J. Kochenderfer, Ali-akbar Agha-Mohammadi, Shayegan Omidshafiei

प्रकाशित 2026-02-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michelle Ho, Muhammad Fadhil Ginting, Isaac R. Ward, Andrzej Reinke, Mykel J. Kochenderfer, Ali-akbar Agha-Mohammadi, Shayegan Omidshafiei

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक फैक्ट्री के दैनिक गश्त (patrol) के लिए एक रोबोट को काम पर रखा है, जो यह सुनिश्चित करने के लिए सैकड़ों प्रेशर गेज (pressure gauges) की जांच करता है कि सब कुछ सुरक्षित रूप से चल रहा है। यह वह काम है जो पहले इंसानों द्वारा किया जाता था, लेकिन रोबोट सस्ते हैं, थके बिना काम कर सकते हैं, और खतरनाक क्षेत्रों से डरते नहीं हैं।

हालाँकि, रोबोटों की एक कमजोरी होती है: वे भ्रमित हो सकते हैं।

यदि कोई गेज ग्रीस से ढका हुआ है, किसी पाइप के पीछे छिपा है, या यदि सूरज की रोशनी कांच पर चमक रही है, तो रोबोट उसे पढ़ने की कोशिश कर सकता है और गलत नंबर दे सकता है। यदि उसे यह एहसास नहीं होता कि वह भ्रमित है, तो वह रिपोर्ट कर सकता है कि "सब ठीक है" जबकि वास्तव में मशीन फटने ही वाली हो।

यह पेपर एक "स्मार्ट सुपरवाइजर" (Smart Supervisor) सिस्टम पेश करता है जो रोबोट की आँखों (उसके कैमरे) पर नज़र रखता है और वास्तविक समय (real-time) में तय करता है कि रोबोट क्या देख रहा है। यह केवल "अच्छा" या "बुरा" नहीं कहता। यह हर स्थिति को तीन श्रेणियों (buckets) में बांटता है:

सफलता (Success): "मैं गेज को स्पष्ट रूप से देख पा रहा हूँ, और मैं इसे पढ़ सकता हूँ।"
ज्ञात विफलता (Known Failure): "मैं गेज को देख रहा हूँ, लेकिन यह टूटा हुआ है या बाधित है। मुझे इस विशिष्ट समस्या का पता है।"
विसंगति (Anomaly - "अजीब" मामला): "मैं कुछ ऐसा देख रहा हूँ जो मैंने पहले कभी नहीं देखा, जैसे कि कोई अजीब छाया या धुंधलापन। मुझे नहीं पता कि यह क्या है, इसलिए मैं अनुमान नहीं लगाने जा रहा हूँ।"

जादू का तरीका: "वर्ल्ड मॉडल" (The World Model)

रोबोट को कैसे पता चलता है कि वह भ्रमित है? लेखक एक "वर्ल्ड मॉडल" का उपयोग करते हैं।

वर्ल्ड मॉडल को एक अत्यधिक कल्पनाशील दिवास्वप्न देखने वाले (daydreamer) के रूप में सोचें।

रोबोट फैक्ट्री का एक वीडियो देखता है।
वर्ल्ड मॉडल वीडियो के एक फ्रेम को लेता है और अनुमान लगाता है कि अगला फ्रेम कैसा दिखना चाहिए।
यह एक फिल्म देखने और अगले दृश्य का अनुमान लगाने जैसा है। यदि रोबोट सुचारू रूप से चल रहा है, तो दिवास्वप्न देखने वाला अगला फ्रेम पूरी तरह से सही अनुमान लगाता है।

लेकिन यदि रोबोट भ्रमित है (जैसे, कैमरा हिल रहा है, या रोशनी अजीब है), तो दिवास्वप्न देखने वाले का अनुमान पूरी तरह से गलत होगा।

वास्तविक जीवन: गेज धुंधला है।
दिवास्वप्न देखने वाले का अनुमान: "ओह, गेज बिल्कुल स्पष्ट है!"
मेल न खाना (Mismatch): अनुमान और वास्तविकता के बीच का अंतर "विसंगति स्कोर" (Anomaly Score) है। एक बड़ा अंतर मतलब कुछ गड़बड़ है।

"ट्रैफिक लाइट" सिस्टम (कन्फॉर्मल प्रेडिक्शन - Conformal Prediction)

केवल यह जानना कि रोबोट भ्रमित है काफी नहीं है; सिस्टम को यह जानने की आवश्यकता है कि कैसे प्रतिक्रिया देनी है। लेखक एक सख्त "ट्रैफिक लाइट" सिस्टम स्थापित करने के लिए "कन्फॉर्मल प्रेडिक्शन" नामक एक सांख्यिकीय उपकरण का उपयोग करते हैं।

कल्पना कीजिए कि आप एक स्पीडोमीटर को कैलिब्रेट कर रहे हैं। आप कई बार ठीक 60 मील प्रति घंटे की गति से कार चलाते हैं और गति रिकॉर्ड करते हैं। फिर आप एक नियम सेट करते हैं: "यदि स्पीडोमीटर 60 दिखाता है, तो यह अच्छा है। यदि यह 100 दिखाता है, तो यह खराब है।"

सिस्टम इसे दो नियमों के सेट के साथ करता है:

"सफलता" का नियम: उन वीडियो पर प्रशिक्षित किया गया जहाँ रोबोट ने एकदम सटीक काम किया। यदि रोबोट का वीडियो इनके जैसा दिखता है, तो इसे ग्रीन लाइट (हरा संकेत) मिलता है।
"विफलता" का नियम: उन वीडियो पर प्रशिक्षित किया गया जहाँ रोबोट विशिष्ट तरीकों से विफल हुआ (जैसे, गेज बाधित था)। यदि वीडियो इनके जैसा दिखता है, तो इसे येलो लाइट (पीला संकेत) मिलता है (ज्ञात विफलता)।

"विसंगति" का नियम: यदि वीडियो ग्रीन उदाहरणों जैसा नहीं है और येलो उदाहरणों जैसा भी नहीं है, तो इसे रेड लाइट (लाल संकेत) मिलता है (विसंगति)। इसका अर्थ है, "मुझे नहीं पता कि यह क्या है, और मैं अनुमान नहीं लगाने जा रहा हूँ।"

यह एक बड़ी बात क्यों है

अधिकांश पिछले सिस्टम एक छात्र की तरह थे जो परीक्षा दे रहा हो:

यदि उन्हें उत्तर पता था, तो उन्होंने उत्तर लिख दिया।
यदि उन्हें उत्तर नहीं पता था, तो उन्होंने बस अनुमान लगा लिया।

यह नया सिस्टम एक ईमानदार छात्र की तरह है:

"मुझे उत्तर पता है।" (सफलता)
"मुझे पता है कि मेरा उत्तर गलत क्यों है क्योंकि स्याही फैल गई थी।" (ज्ञात विफलता)
"मुझे समझ नहीं आ रहा कि यह प्रश्न क्या पूछ रहा है। मैं मदद के लिए हाथ उठा रहा हूँ।" (विसंगति)

वास्तविक दुनिया का परीक्षण

टीम ने एक बोस्टन डायनेमिक्स स्पॉट (Boston Dynamics Spot) रोबोट (चार पैरों वाला कुत्ता रोबोट) पर एक वास्तविक ऑफिस और फैक्ट्री में इसका परीक्षण किया।

गति (Speed): "स्मार्ट सुपरवाइजर" ने उसी वीडियो फीड को देख रहे इंसान की तुलना में रोबोट के भ्रमित होने का पता 1 से 3 सेकंड पहले लगा लिया।
सटीकता (Accuracy): इसने 90% बार स्थिति को सही ढंग से पहचाना।
कार्रवाई (Action): जब रोबोट को "रेड लाइट" (विसंगति) मिली, तो वह केवल रुका नहीं; उसे पता था कि ज़ूम इन करना है और फिर से प्रयास करना है। जब उसे "येलो लाइट" (ज्ञात विफलता) मिली, तो उसे पता था कि उस गेज को छोड़ देना है और बाद में वापस आना है।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर रोबोटों को उनकी अपनी दृष्टि के बारे में एक "अंतर्ज्ञान" (gut feeling) देता है। यह उन्हें खतरनाक गलती करने से पहले यह कहने की अनुमति देता है कि, "मैं निश्चित नहीं हूँ।" यह स्वायत्त रोबोटों को हमारे कारखानों और पावर प्लांट में बिना हर सेकंड मानव निगरानी के सुरक्षित रूप से काम करने के योग्य बनाने की दिशा में एक बड़ा कदम है।

यहाँ शोध पत्र "World Model Failure Classification and Anomaly Detection for Autonomous Inspection" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्वायत्त निरीक्षण रोबोटों (Autonomous inspection robots) का उपयोग औद्योगिक और कार्यालय वातावरण में उपकरणों (जैसे प्रेशर गेज) की निगरानी करने के लिए तेजी से किया जा रहा है ताकि मानवीय जोखिम और लागत को कम किया जा सके। हालाँकि, इन रोबोटों को सटीक रीडिंग सुनिश्चित करने में महत्वपूर्ण चुनौतियों का सामना करना पड़ता है, जैसे:

अवरोध (Occlusions): अन्य उपकरणों द्वारा बाधित उपकरण।
सीमित दृश्य कोण (Limited Viewpoints): खराब कोण या कटे हुए दृश्य क्षेत्र (field of view)।
पर्यावरणीय स्थितियाँ (Environmental Conditions): चमक (glare), छाया और प्रकाश में परिवर्तन जो रोबोट के प्रशिक्षण वितरण (training distribution) से बाहर हैं।

वर्तमान प्रणालियाँ अक्सर ज्ञात विफलताओं (जैसे कि अवरोध के कारण व्यवस्थित गलत रीडिंग) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) विसंगतियों (जैसे कि अप्रत्याशित पर्यावरणीय शोर) के बीच अंतर करने में संघर्ष करती हैं। मौजूदा विधियाँ या तो केवल विसंगति का पता लगाने (बिना किसी विशिष्ट सुधारात्मक कार्रवाई के) पर ध्यान केंद्रित करती हैं या सुपरवाइज्ड क्लासिफिकेशन (जो नए, अनदेखे विफलताओं का पता लगाने में विफल रहती है) पर निर्भर करती हैं। मुख्य चुनौती एक ऐसी प्रणाली विकसित करने की है जो वास्तविक समय में विफलताओं का पता लगा सके, उन्हें ज्ञात या अज्ञात के रूप में वर्गीकृत कर सके, और ऐसा मानव पर्यवेक्षक से तेज़ कर सके ताकि तत्काल हस्तक्षेप सक्षम हो सके।

2. कार्यप्रणाली (Methodology)

लेखक एक हाइब्रिड फ्रेमवर्क का प्रस्ताव करते हैं जो कन्फॉर्मल प्रेडिक्शन (CP) का उपयोग करके थ्रेशोल्डिंग के साथ सुपरवाइज्ड फेलियर क्लासिफिकेशन को एक वर्ल्ड मॉडल बैकबोन के माध्यम से जोड़ता है।

A. फ्रेमवर्क आर्किटेक्चर

सिस्टम एक निर्णय फलन $D(\tau_t)$ के रूप में कार्य करता है जो रोबोट के प्रक्षेपवक्र (trajectory) $\tau_t$ को तीन श्रेणियों में वर्गीकृत करता है:

सफलता (Success): सटीक रीडिंग प्राप्त हुई।
ज्ञात विफलता (Known Failure): एक मान्यता प्राप्त विफलता मोड (जैसे अवरोध) जिसके लिए विशिष्ट सुधारात्मक कार्रवाई की आवश्यकता है।
विसंगति (Anomaly - OOD): अनदेखी स्थितियाँ (जैसे अत्यधिक चमक) जहाँ रोबोट रीडिंग देने में असमर्थ है, लेकिन यह आवश्यक रूप से पारंपरिक अर्थों में "विफलता" नहीं है, बल्कि केवल आगे बढ़ने में असमर्थता है।

वर्गीकरण तर्क दो समानांतर निर्णय फलनों पर निर्भर करता है:

$D_{success}$ : सफल डेटा पर प्रशिक्षित।
$D_{fail}$ : ज्ञात विफलता डेटा पर प्रशिक्षित।

एक प्रक्षेपवक्र को तभी विसंगति (OOD) के रूप में वर्गीकृत किया जाता है जब दोनों मॉडल विचलन का संकेत देते हैं (अर्थात, दोनों अपने संबंधित थ्रशीहोल्ड से ऊपर स्कोर लौटाते हैं)। अन्यथा, इसे उस आधार पर वर्गीकृत किया जाता है कि कौन सा विशिष्ट थ्रेशोल्ड उल्लंघन हुआ है।

B. वर्ल्ड मॉडल और स्कोरिंग (World Model & Scoring)

बैकबोन: सिस्टम वर्तमान इनपुट के आधार पर भविष्य के वीडियो फ्रेम की भविष्यवाणी करने के लिए NVIDIA Cosmos Tokenizer और एक लेटेंट वर्ल्ड मॉडल का उपयोग करता है।
इनपुट: पैन-टिल्ट-ज़ूम (PTZ) कैमरे से संपीड़ित (compressed) वीडियो फीड (512x288)।
स्कोरिंग: एक्शन-डिपेंडेंट मेट्रिक्स पर निर्भर रहने के बजाय, सिस्टम अनुमानित अगले फ्रेम और वास्तविक देखे गए फ्रेम के बीच भविष्यवाणी त्रुटियों (prediction errors/residuals) की गणना करता है।
मूल्यांकित मेट्रिक्स: सिस्टम विभिन्न स्कोरिंग विधियों का परीक्षण करता है, जिसमें रिकंस्ट्रक्शन एरर, लेटेंट प्रेडिक्शन एरर, लेटेंट स्टैंडर्ड डेविएशन, महालनोबिस डिस्टेंस (Mahalanobis Distance), और लेटेंट कोसाइन डिस्टेंस शामिल हैं।

C. कन्फॉर्मल प्रेडिक्शन (CP) थ्रेशोल्डिंग

यह सुनिश्चित करने के लिए कि सिस्टम पॉलिसी-एग्नोस्टिक और डिस्ट्रीब्यूशन-फ्री है, लेखक थ्रेशोल्ड ( $\eta_s$ और $\eta_f$ ) को कैलिब्रेट करने के लिए कन्फॉर्मल प्रेडिक्शन का उपयोग करते हैं।

कैलिब्रेशन: थ्रेशोल्ड निर्धारित करने के लिए "सफलता" और "विफलता" के लिए अलग-अलग कैलिब्रेशन सेट का उपयोग किया जाता है।
तंत्र: यदि किसी प्रक्षेपवक्र का स्कोर कैलिब्रेटेड थ्रेशोल्ड से अधिक हो जाता है, तो उसे फ्लैग किया जाता है। यह सिस्टम को इन-डिस्ट्रीब्यूशन डेटा के लिए एक विशिष्ट कवरेज दर सुनिश्चित करने की अनुमति देता है जबकि विचलनों को चिह्नित करता है।
स्टैटिक बैंड्स: लेखकों ने वास्तविक समय में तैनाती को सरल बनाने के लिए समय-परिवर्तनीय बैंड के बजाय स्थिर-मान (constant-value) बैंड का उपयोग किया है।

3. प्रमुख योगदान (Key Contributions)

हाइब्रिड डिटेक्टर: एक एकीकृत फ्रेमवर्क जो एक ही वर्ल्ड मॉडल बैकबोन का उपयोग करके ज्ञात विफलताओं के सुपरवाइज्ड क्लासिफिकेशन और अनसुपरवाइज्ड OOD विसंगति का पता लगाने का कार्य एक साथ करता है।
कैलिब्रेटेड थ्रेशोल्ड्स: तीन अलग-अलग वर्गों को विश्वसनीय रूप से अलग करने के लिए सफलता और विफलता दोनों मॉडलों के लिए मजबूत, सांख्यिकीय रूप से आधारित थ्रेशोल्ड प्राप्त करने के लिए कन्फॉर्मल प्रेडिक्शन का अनुप्रयोग।
वास्तविक दुनिया का सत्यापन: विविध गेज प्रकारों और पर्यावरणीय स्थितियों को कवर करते हुए, कार्यालय और औद्योगिक साइटों से एकत्र किए गए 290 वीडियो के डेटासेट पर मूल्यांकन।
हार्डवेयर पर तैनाती: बोस्टन डायनेमिक्स स्पॉट (Boston Dynamics Spot) रोबोट पर सफल वास्तविक समय तैनाती, जो वर्गीकरण के आधार पर हस्तक्षेप (जैसे री-ज़ूमिंग, पुनः प्रयास करना) को ट्रिगर करने की प्रणाली की क्षमता को प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन सटीकता और पहचान समय (मानव अवलोकन की तुलना में विलंबता) पर किया गया।

सटीकता (Accuracy):
- लेटेंट प्रेडिक्शन एरर (Latent Prediction Error) मेट्रिक ने सबसे अच्छा संतुलन बनाया, जिसने 90% क्वांटाइल पर सभी तीन वर्गों (सफलता, ज्ञात विफलता, OOD) में >90% सटीकता प्राप्त की।
- महालनोबिस डिस्टेंस (Mahalanobis Distance) ने पूर्ण पृथक्करण (100% सटीकता) दिखाया लेकिन उच्च-आयामी स्थानों में ओवरफिटिंग और अस्थिरता से ग्रस्त रहा, जिससे फाल्स पॉजिटिव (false positives) उत्पन्न हुए।
- रिकंस्ट्रक्शन एरर और कोसाइन डिस्टेंस का प्रदर्शन खराब रहा, संभवतः इसलिए क्योंकि प्री-ट्रेंड कॉसमॉस मॉडल पहले से ही रिकंस्ट्रक्शन के लिए अनुकूलित था, जिससे विसंगतियों के लिए बहुत कम अवशेष सिग्नल बचा।
पहचान समय (Detection Time):
- सिस्टम ने लगातार विफलताओं का पता मानव पर्यवेक्षकों से पहले लगाया।
- लेटेंट प्रेडिक्शन एरर का उपयोग करते हुए, सिस्टम ने मानव द्वारा दृश्य रूप से समस्या की पुष्टि करने से औसतन 1.8 से 3.5 सेकंड पहले विफलताओं को वर्गीकृत किया।
- यह पूर्व-अनुमानित क्षमता इस तथ्य के कारण है कि मॉडल दृश्य रूप से स्पष्ट होने से पहले सूक्ष्म लेटेंट पैटर्न विचलन का पता लगा लेता है।
हार्डवेयर प्रदर्शन:
- इसे एक बाहरी इन्फरेंस सर्वर के साथ बोस्टन डायनेमिक्स स्पॉट पर तैनात किया गया (परीक्षण के दौरान बैंडविड्थ/स्टोरेज बाधाओं के कारण)।
- पाइपलाइन को लगभग 1.5 GB स्टोरेज की आवश्यकता होती है (मुख्य रूप से प्री-ट्रेंड वेट्स) और यह सैद्धांतिक रूप से ऑनबोर्ड चल सकती है।
- वर्गीकरण विलंबता (latency) नेटवर्क ट्रांसफर द्वारा नियंत्रित थी, लेकिन स्कोरिंग स्वयं तात्कालिक थी।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

सुरक्षा और विश्वसनीयता: यह कार्य स्वायत्त प्रणालियों के एक महत्वपूर्ण अंतर को संबोधित करता है: न केवल यह पता लगाना कि कुछ गलत है, बल्कि त्रुटि को वर्गीकृत करना। यह विशिष्ट, सूचित हस्तक्षेप (जैसे अवरोध के लिए "पास आएं" बनाम चमक के लिए "बेहतर रोशनी का इंतजार करें") की अनुमति देता है, बजाय सामान्य "रुकें" कमांड के।
डेटा गुणवत्ता फीडबैक: सिस्टम OOD मामलों की पहचान कर सकता है, जो पुन: प्रशिक्षण के लिए लक्षित डेटा संग्रह को निर्देशित करने हेतु एक फीडबैक लूप के रूप में कार्य करता है, जिससे समय के साथ रोबोट की मजबूती में सुधार होता है।
भविष्य की दिशाएँ: लेखक वितरण बदलावों (जैसे मौसमी परिवर्तन) को संभालने के लिए अनुकूली, समय-परिवर्तनीय CP बैंड्स की ओर बढ़ने, उच्च-स्तरीय विफलता पहचान के लिए सिमेंटिक समझ को शामिल करने, और कम्प्यूटेशनल ओवरहेड को कम करने के लिए एक एकल एकीकृत मॉडल को प्रशिक्षित करने का सुझाव देते हैं।

संक्षेप में, यह शोध पत्र एक मजबूत, वास्तविक समय समाधान प्रस्तुत करता है जो सुरक्षा-महत्वपूर्ण औद्योगिक परिदृश्यों में मानव प्रतिक्रिया समय से काफी बेहतर प्रदर्शन करते हुए, वर्ल्ड मॉडल और सांख्यिकीय अंशांकन (statistical calibration) का लाभ उठाता है।