🤖 AI

ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency

ESTANet एक हल्का, रियल-टाइम फ्रेमवर्क है जो प्रोसीजरल वीडियो में ऑनलाइन एरर डिटेक्शन के लिए, जटिल आर्किटेक्चरल डिजाइनों के बिना अत्याधुनिक प्रदर्शन प्राप्त करने हेतु विभिन्न टेम्पोरल कॉन्टेक्स्ट वाले मानक और एरर-सेंसिटिव एक्शन डिटेक्टर्स के बीच प्रेडिक्शन इनकंसिस्टेंसी का लाभ उठाता है।

मूल लेखक: Shih-Po Lee, Reza Ghoddoosian, Faizan Siddiqui, Enna Sachdeva, Behzad Dariush

प्रकाशित 2026-06-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shih-Po Lee, Reza Ghoddoosian, Faizan Siddiqui, Enna Sachdeva, Behzad Dariush

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप कोई नई रेसिपी बनाना सीख रहे हैं या फर्नीचर का कोई हिस्सा जोड़ रहे हैं, और आपके पास एक मददगार AI सहायक है जो आपके ऊपर नज़र रख रहा है। इस सहायक का काम है गलतियों को होते ही पकड़ लेना और आपको बताना, "अरे, आपने पानी डालने से पहले नमक डाल दिया!" ताकि आप उसे तुरंत ठीक कर सकें।

यह पेपर ESTANet (Error-Sensitive and Temporally-vArying Network) नामक एक नए सिस्टम का परिचय देता है जो इस सहायक की तरह काम करता है। इसका मुख्य लक्ष्य एक बहुत ही चतुर और सरल ट्रिक का उपयोग करके, एक विशाल और जटिल मस्तिष्क बनाने के बजाय, आपके काम करते समय वास्तविक समय (real-time) में गलतियों को पकड़ना है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

मुख्य विचार: "जजों का पैनल"

अधिकांश AI सिस्टम एक अत्यंत बुद्धिमान मॉडल बनाकर खुद को परफेक्ट बनाने की कोशिश करते हैं। ESTANet एक अलग दृष्टिकोण अपनाता है। एक अकेले जज के बजाय, यह चार अलग-अलग "जजों" (एक्शन डिटेक्टर्स) का एक पैनल तैयार करता है जो आपके काम पर नज़र रखते हैं।

ये चार जज दो टीमों में विभाजित हैं:

"स्थिर" (Steady) जज: ये दो जज शांत और सुसंगत रहने के लिए प्रशिक्षित हैं। वे देखते हैं कि आप क्या कर रहे हैं और कहते हैं, "ठीक है, आप प्याज काट रहे हैं।" वे यह पहचानने में अच्छे हैं कि क्या होना चाहिए।
"घबराहट वाले" (Nervous) जज: ये दो जज अतिरिक्त संवेदनशील और चंचल होने के लिए प्रशिक्षित हैं। उन्हें भ्रमित होने या गलत होने पर अपनी राय बदलने के लिए डिज़ाइन किया गया है। यदि आप गलती से चाकू गिरा देते हैं, तो ये जज अचानक चिल्ला सकते हैं, "रुको, यह सही नहीं है!"

गुप्त मंत्र: अलग-अलग "टाइम विंडो"

सिस्टम को और बेहतर बनाने के लिए, यह पेपर इन जजों को अलग-अलग "टाइम विंडो" देता है, जैसे अलग-अलग ज़ूम स्तर वाले दूरबीन से देखना।

"कम दृष्टि वाला" दृश्य (छोटा विंडो): कुछ जज आपके वीडियो के पिछले कुछ सेकंडों को ही देखते हैं। वे तत्काल होने वाली भौतिक गलतियों (जैसे अंडा गिरा देना) को पकड़ने में माहिर हैं।
"लंबी दृष्टि वाला" दृश्य (बड़ा विंडो): अन्य जज आपके पिछले लंबे इतिहास को देखते हैं। वे क्रम संबंधी गलतियों (जैसे दीवारें बनाने से पहले घर की छत डालने की कोशिश करना) को पकड़ने में माहिर हैं।

यह गलतियों को कैसे पकड़ता है

जादू तब होता है जब जज आपस में असहमत होते हैं।

परिदृश्य A (आप सही कर रहे हैं): चारों जज सहमत हैं। स्थिर वाले कहते हैं "प्याज काट रहे हैं," और घबराहट वाले भी कहते हैं "प्याज काट रहे हैं।" कोई अलार्म नहीं बजाया जाता।
परिदृश्य B (आपने गलती की):
- यदि आप चाकू गिरा देते हैं, तो घबराहट वाले जज घबरा जाते हैं और कहते हैं "त्रुटि (Error)!" जबकि स्थिर वाले भ्रमित हो जाते हैं।
- यदि आप कोई चरण छोड़ देते हैं (जैसे पानी उबालना भूल जाना), तो "लंबे दृश्य वाले" जज महसूस करते हैं कि क्रम गलत है और वे "कम दृष्टि वाले" जजों से असहमत होते हैं जो केवल वर्तमान क्रिया को देख रहे हैं।

सिस्टम एक बहुमत (majority vote) का उपयोग करता है। यदि चार जजों (या जोड़ियों) में से कम से कम तीन असहमत हैं, तो सिस्टम उस क्षण को एक त्रुटि के रूप में चिह्नित करता है। यह एक समिति के निर्णय जैसा है: "ठीक है, हम में से तीन को लगता है कि यहाँ कुछ गलत है, इसलिए हम अलार्म बजाएंगे।"

यह क्यों विशेष है

लेखक दावा करते हैं कि यह विधि तीन कारणों से विशेष है:

यह तेज़ और हल्का है: इसे चलाने के लिए किसी विशाल, भारी कंप्यूटर की आवश्यकता नहीं है। यह एक हल्के ऐप की तरह है जिसे पहनने योग्य उपकरणों (जैसे स्मार्ट ग्लास) पर बिना धीमा किए चलाया जा सकता है।
यह केवल "अच्छे" वीडियो से सीखता है: आमतौर पर, AI को यह सिखाने के लिए कि गलती कैसी दिखती है, आपको लोगों के असफल होने के हजारों वीडियो दिखाने पड़ते हैं। ESTANet इतना स्मार्ट है कि वह केवल लोगों को सही काम करते हुए देखकर ही यह सीख लेता है कि गलती कैसी दिखती है। यह सीख जाता है कि "यदि जज आपस में असहमत होने लगते हैं, तो कुछ गलत है।"
यह दो प्रकार की गलतियों को पकड़ता है: यह भौतिक गलतियों (चीजें गिराना, गलत सामग्री डालना) और क्रम संबंधी गलतियों (चरण 2 से पहले चरण 5 करना) दोनों को पहचान सकता है।

परिणाम

लेखकों ने टेस्टिंग के लिए खाना पकाने, फर्नीचर जोड़ने और टेंट लगाने से जुड़े तीन अलग-अलग डेटासेट्स का उपयोग किया। उन्होंने पाया कि ESTANet अन्य शीर्ष तरीकों की तुलना में वास्तविक समय में त्रुटियों को पकड़ने में बेहतर था, जबकि वह वास्तविक दुनिया की स्थितियों में उपयोग के लिए पर्याप्त तेज़ बना रहा।

संक्षेप में, ESTANet एक हल्का, रियल-टाइम एरर डिटेक्टर है जो अलग-अलग दृष्टिकोण रखने वाले AI "जजों" की एक छोटी टीम से यह पूछकर काम करता है कि क्या आप कोई गलती कर रहे हैं। यदि वे आपस में बहस करने लगते हैं, तो आप समझ सकते हैं कि अब उसे ठीक करने का समय आ गया है।

तकनीकी सारांश: ESTANet

समस्या विवरण (Problem Statement)
यह शोध पत्र प्रक्रियात्मक वीडियो (procedural videos) में वास्तविक समय में, ऑनलाइन त्रुटि पहचान (error detection) की चुनौती को संबोधित करता है। ऑफलाइन विधियों के विपरीत, जो पूरे वीडियो को प्रोसेस करती हैं, ऑनलाइन सिस्टम को केवल पिछले और वर्तमान फ्रेम का उपयोग करके कारणत्मक (causally) रूप से कार्य करना चाहिए, जो पहनने योग्य उपकरणों (जैसे, Microsoft HoloLens, Apple Vision Pro) पर उपयोगकर्ताओं की दैनिक कार्यों में सहायता करने के लिए एक व्यावहारिक आवश्यकता है। सिस्टम को दो अलग-अलग प्रकार की त्रुटियों का पता लगाना चाहिए:

निष्पादन त्रुटियाँ (Execution Errors): वे क्रियाएं जो बाधित होती हैं, गलत तरीके से की जाती हैं, या अतिरिक्त होती हैं (जैसे, चाकू गिरा देना, शहद के बजाय चीनी डालना)।
प्रक्रियात्मक त्रुटियाँ (Procedural Errors): अनुक्रम (sequence) में विचलन, जैसे चरणों को छोड़ना, दोहराना, या गलत क्रम में करना (जैसे, क्रॉस सपोर्ट डालने से पहले मेज के पैरों को कसना)।

मौजूदा ऑनलाइन विधियां सीमाओं से ग्रस्त हैं: वे अक्सर केवल पहली त्रुटि का पता लगाती हैं, सूक्ष्म निष्पादन त्रुटियों को अनदेखा करती हैं, या भारी लार्ज लैंग्वेज मॉडल्स (LLMs) पर निर्भर करती हैं जो वास्तविक समय के प्रदर्शन में बाधा डालते हैं, या प्रशिक्षण के दौरान त्रुटि-रहित और त्रुटि-युक्त वीडियो के एनोटेशन की आवश्यकता होती है।

कार्यप्रणाली: ESTANet
लेखक ESTANet (Error-Sensitive and Temporally-vArying Network) का प्रस्ताव करते हैं, जो एक हल्का (lightweight) फ्रेमवर्क है जो क्रिया डिटेक्टरों (action detectors) के एक छोटे समूह के बीच भविधिक विसंगतियों (prediction inconsistencies) का लाभ उठाकर त्रुटियों का पता लगाता है। मुख्य परिकल्पना यह है कि विभिन्न संवेदनशीलता और टेम्पोरल संदर्भ वाले क्रिया डिटेक्टर त्रुटि होने पर अपने भविष्यवाणियों में स्वाभाविक रूप से भिन्न होंगे, जबकि सही निष्पादन पर सुसंगत बने रहेंगे।

यह फ्रेमवर्क चार डिटेक्टरों से बना है जिन्हें दो श्रेणियों में विभाजित किया गया है:

मानक बनाम त्रुटि-संवेदनशील डिटेक्टर (निष्पादन त्रुटियों को पकड़ना):
- मानक डिटेक्टर (Standard Detectors): ये एक सरल आर्किटेक्चर का उपयोग करते हैं जिसमें एक सिंगल-लेयर गेटेड रिकरेंट यूनिट (GRU) के बाद एक लीनियर क्लासिफिकेशन हेड होता है। इन्हें स्थिर भविष्यवाणियां उत्पन्न करने के लिए प्रशिक्षित किया जाता है।
- त्रुटि-संवेदनशील डिटेक्टर (Error-Sensitive Detectors): ये एक टेम्पोरल-अवेयर डायनेमिक (TAD) मॉड्यूल को शामिल करते हैं। TAD मॉड्यूल GRU में प्रवेश करने से पहले फ्रेम फीचर्स के एफाइन ट्रांसफॉर्मेशन (affine transformation) के लिए डायनेमिक वेट्स और बायस उत्पन्न करता है। ये पैरामीटर इनपुट-डिपेंडेंट और टेम्पोरल-अवेयर होते हैं, जो डिटेक्टर को आउट-ऑफ-डिस्ट्रीब्यूशन डेटा (अर्थात, निष्पादन त्रुटियों) के प्रति अत्यधिक संवेदनशील बनाते हैं, जिससे मानक डिटेक्टरों की तुलना में असंगत भविष्यवाणियां होती हैं।
टेम्पोरल-वेरिंग डिज़ाइन (प्रक्रियात्मक त्रुटियों को पकड़ना):
- सिस्टम अलग-अलग टेम्पोरल विंडो साइज के साथ डिटेक्टरों को प्रशिक्षित करता है: एक छोटा विंडो ( $s$ ) और एक बड़ा विंडो ( $l$ )।
- विंडो चयन की रणनीति (Strategy for Window Selection): व्यापक हाइपरपैरामीटर खोज के बजाय, लेखक एक मजबूत, डेटासेट-विशिष्ट रणनीति का प्रस्ताव करते हैं:
  - $s$ को डेटासेट में किसी भी क्रिया की सबसे छोटी औसत अवधि के बराबर सेट किया जाता है, जिससे डिटेक्टर को आंशिक संदर्भ (partial context) पर निर्भर रहने के लिए मजबूर किया जाता है।
  - $l$ की गणना डेटासेट की लगभग $\theta$ (सेट किया गया 50%) क्रियाओं के लिए $\beta$ (सेट किया गया 2) पूर्ण पूर्ववर्ती क्रियाओं को कवर करने के लिए की जाती है।
- यह सुनिश्चित करता है कि जब कोई प्रक्रियात्मक त्रुटि (जैसे, एक छूटा हुआ चरण) होती है, तो बड़े विंडो वाला डिटेक्टर (जो लॉन्ग-रेंज डिपेंडेंसी पर निर्भर है) छोटे विंडो वाले डिटेक्टर (जो शॉर्ट-रेंज कॉन्टेक्स्ट पर निर्भर है) की तुलना में अलग भविष्यवाणी करेगा।

अनुमान और निर्णय तर्क (Inference and Decision Logic)
अनुमान (Inference) के दौरान, सिस्टम फ्रेम को कारणत्मक रूप से प्रोसेस करता है। यह प्रति फ्रेम चार क्रिया भविष्यवाणियां उत्पन्न करता है:

$y^{s-st}$ और $y^{s-lg}$ : छोटे और बड़े विंडो वाले मानक डिटेक्टर।
$y^{e-st}$ और $y^{e-lg}$ : छोटे और बड़े विंडो वाले त्रुटि-संवेदनशील डिटेक्टर।

सिस्टम सहमति की जांच करने के लिए चार तुलना युग्म (comparison pairs) बनाता है:

$(y^{s-st}, y^{e-st})$ और $(y^{s-lg}, y^{e-lg})$ : मानक बनाम त्रुटि-संवेदनशील भविष्यवाणियों की तुलना करके निष्पादन त्रुटियों का पता लगाते हैं।
$(y^{s-st}, y^{s-lg})$ और $(y^{e-st}, y^{e-lg})$ : विभिन्न टेम्पोरल विंडोज के बीच भविष्यवाणियों की तुलना करके प्रक्रियात्मक त्रुटियों का पता लगाते हैं।

एक फ्रेम को तब त्रुटि ( $z_t = 1$ ) के रूप में चिह्नित किया जाता है यदि चार में से कम से कम तीन युग्म बेमेल (mismatch) दिखाते हैं (बहुमत मतदान द्वारा)। मॉडल को क्रॉस-एन्ट्रॉपी लॉस और टेम्पोरल निरंतरता सुनिश्चित करने के लिए स्मूथिंग लॉस के संयोजन का उपयोग करके विशेष रूप से त्रुटि-मुक्त वीडियो पर प्रशिक्षित किया जाता है।

प्रमुख योगदान (Key Contributions)

नया दृष्टिकोण: यह शोध पत्र जटिल आर्किटेक्चर डिजाइन करने के बजाय क्रिया डिटेक्टरों के अंतर्निहित व्यवहार का लाभ उठाने पर ध्यान केंद्रित करता है। यह प्रदर्शित करता है कि सरल डिटेक्टरों के बीच की विसंगतियां त्रुटि पहचान के लिए एक शक्तिशाली संकेत हैं।
हल्का आर्किटेक्चर (Lightweight Architecture): ESTANet भारी घटकों जैसे LLMs या जटिल ग्राफ लर्निंग से बचता है, केवल GRUs और एक हल्के TAD मॉड्यूल का उपयोग करता है, जिससे एज डिवाइसेस के लिए वास्तविक समय की दक्षता सुनिश्चित होती है।
मजबूत विंडो चयन रणनीति: यह पेपर इष्टतम टेम्पोरल विंडो साइज ( $s$ और $l$ ) निर्धारित करने के लिए एक स्वचालित, डेटासेट-अज्ञेय (dataset-agnostic) विधि पेश करता है, जिससे समय लेने वाली ह्यूरिस्टिक खोज की आवश्यकता समाप्त हो जाती है।
एकीकृत पहचान (Unified Detection): यह फ्रेमवर्क प्रशिक्षण के दौरान एनोटेटेड एरर डेटा की आवश्यकता के बिना निष्पादन और प्रक्रियात्मक दोनों त्रुटियों को एक साथ संबोधित करता है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने तीन डेटासेट्स पर ESTANet का मूल्यांकन किया: EgoPER (दोनों प्रकार की त्रुटियों वाला), Assembly-101-O, और EPIC-Tent-O (प्रक्रियात्मक त्रुटियों पर केंद्रित)।

EgoPER: ESTANet ने F1@10 में 47.2, F1@25 में 37.8, और F1@50 में 21.6 के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया, जो PREGO और DTGL जैसे बेसलाइन्स से बेहतर है।
Assembly-101-O: इस पद्धति ने 59.6 का Avg-F1 प्राप्त किया, जो DTGL (53.5) और PREGO (32.5) से अधिक है।
EPIC-Tent-O: ESTANet ने 70.2 का Avg-F1 प्राप्त किया, जो DTGL (46.5) और PREGO (29.4) से काफी बेहतर है।
दक्षता (Efficiency): मॉडल अपने हल्के डिजाइन के कारण वास्तविक समय की दक्षता बनाए रखता है, जिससे LLM-आधारित दृष्टिकोणों से जुड़ी विलंबता (latency) की समस्याएं नहीं होती हैं।

महत्व और दावे (Significance and Claims)
शोध पत्र का दावा है कि ESTANet क्रिया डिटेक्टरों के अंतर्निहित गुणों का लाभ उठाकर ऑनलाइन त्रुटि पहचान के लिए एक व्यावहारिक और शक्तिशाली समाधान प्रदान करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण वास्तविक दुनिया के प्रतिबंधों के अनुरूप है जहाँ सामान्य (त्रुटि-रहित) वीडियो प्रचुर मात्रा में हैं, लेकिन एनोटेटेड एरर डेटा दुर्लभ है। एक साधारण GRU के समूह के साथ स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करके, यह कार्य सुझाव देता है कि प्रक्रियात्मक कार्यों में विचलन का पता लगाने के लिए भविष्यवाणी की विसंगति (prediction inconsistency) एक मौलिक और अल्प-उपयोग किया गया संकेत है।

मुख्य विचार: "जजों का पैनल"

गुप्त मंत्र: अलग-अलग "टाइम विंडो"

यह गलतियों को कैसे पकड़ता है

यह क्यों विशेष है

परिणाम

इसी तरह के और पेपर