D-CLOT: Double Closed Loop Optimal Transport for Unsupervised Action Segmentation

कल्पना कीजिए कि आप किसी के केक बनाने का एक लंबा, अनएडिटेड वीडियो देख रहे हैं। कैमरा कभी रुकता नहीं है; यह आटा छनने, अंडे टूटने, मिक्सर के चलने और ओवन के टाइमर बजने को एक निरंतर प्रवाह में कैप्चर करता है। आपका लक्ष्य एक सुपर-स्मार्ट एडिटर की तरह काम करना है जो इस कच्चे फुटेज को देखकर इसे सटीक, लेबल किए गए दृश्यों में काट सके: "मिक्सिंग" (Mixing), "बेकिंग" (Baking), "कूलिंग" (Cooling)। यह टेम्पोरल एक्शन सेगमेंटेशन (Temporal Action Segmentation) की चुनौती है। जबकि कंप्यूटर यह पहचानने में माहिर होते हैं कि कोई वस्तु क्या है (जैसे बिल्ली या कार), एक वास्तविक दुनिया के वीडियो में यह पता लगाना कि एक क्रिया कब समाप्त होती है और दूसरी कब शुरू होती है, बहुत अधिक कठिन है।

इसे बिना इस आवश्यकता के हल करने के लिए कि किसी इंसान को वीडियो के हर सेकंड को लिखना पड़े (जो अविश्वसनीय रूप से महंगा और धीमा है), वैज्ञानिक ऑप्टिमल ट्रांसपोर्ट (Optimal Transport) नामक एक गणितीय उपकरण का उपयोग करते हैं। इसे एक लॉजिस्टिक्स समस्या की तरह समझें: आपके पास "फ्रेम" के पैकेटों का एक ढेर है और "एक्शन" के गोदामों का एक सेट है (जैसे "मिक्सिंग" या "बेकिंग" के लेबल)। कंप्यूटर यह खोजने की कोशिश करता है कि हर फ्रेम को सही गोदाम में भेजने का सबसे कुशल तरीका क्या है। सर्वोत्तम परिदृश्यों में, कंप्यूटर लेबल का अनुमान लगाना सीखता है, उन अनुमानों का उपयोग करके वीडियो की अपनी समझ को बेहतर बनाता है, और फिर उस बेहतर समझ का उपयोग करके फिर से लेबल का अनुमान लगाता है, जिससे एक सहायक फीडबैक लूप बनता है। यह CLOT नामक एक विधि का आधार है, जो इन वीडियो पहेलियों को सुलझाने में काफी सफल रही है।

हालाँकि, इस नए पेपर के शोधकर्ताओं ने उस फीडबैक लूप में एक सूक्ष्म गड़बड़ी देखी। यह एक ऐसे नृत्य की तरह है जहाँ संगीत (एक्शन लेबल) लगातार बदलता रहता है, लेकिन डांसर (वीडियो फ्रेम) एक ऐसे मानचित्र का पालन करने की कोशिश कर रहे हैं जो कल बनाया गया था। जैसे-जैसे कंप्यूटर वीडियो को समझने में बेहतर होता जाता है, क्रियाओं को परिभाषित करने के लिए उपयोग किया जाने वाला "मानचित्र" उस स्पष्ट तस्वीर से मेल खाने के लिए पर्याप्त तेजी से अपडेट नहीं होता है। यह बेमेल स्थिति कंप्यूटर को भ्रमित करती है, विशेष रूप से कठिन क्षणों जैसे कि त्वरित संक्रमण (transitions) या बहुत छोटी क्रियाओं के दौरान। यह पेपर एक नया तरीका D-CLOT (Double Closed Loop Optimal Transport) पेश करता है ताकि इसे ठीक किया जा सके। एक "स्टेबलाइजर" (Stabilizer) जोड़कर जो वीडियो फ्रेमों को बहुत अधिक अस्थिर होने से रोकता है, और एक "री-कैलिब्रेशन" (Re-calibration) चरण जोड़कर जो वर्तमान नृत्य से मेल खाने के लिए एक्शन मैप को लगातार अपडेट करता है, D-CLOT कंप्यूटर को वीडियो को बहुत अधिक स्पष्टता से देखने में मदद करता है। परिणाम दिखाते हैं कि यह दृष्टिकोण इन वीडियो को सही दृश्यों में काटने की सटीकता में महत्वपूर्ण सुधार करता है, यहाँ तक कि खिलौने जोड़ने (assembling toys) जैसे बहुत कठिन, बारीक कार्यों पर भी।

समस्या: एक मानचित्र जो क्षेत्र से मेल नहीं खाता

कल्पना कीजिए कि आप एक शहर में नेविगेट करने के लिए एक मानचित्र का उपयोग कर रहे हैं। शुरू में, मानचित्र थोड़ा धुंधला है। जैसे-जैसे आप घूमते हैं, आप शहर की तस्वीर को अधिक स्पष्ट रूप से देखना शुरू करते हैं और अपने मानसिक चित्र को अपडेट करते हैं। लेकिन क्या होगा यदि आपके हाथ में मौजूद कागजी मानचित्र कभी अपडेट न हो? आप एक ऐसे शहर में चल रहे हैं जो बदल गया है, लेकिन आपका मानचित्र अभी भी पुराना लेआउट दिखाता है। आप वहाँ बाएं मुड़ने की कोशिश कर सकते हैं जहाँ अब एक नई इमारत खड़ी है, या आप भ्रमित हो सकते हैं क्योंकि आपके मानचित्र पर सड़क के नाम जो संकेतों (signs) को देखते हैं उनसे मेल नहीं खाते।

यही वह था जो पिछले सर्वश्रेष्ठ तरीके, CLOT के साथ हो रहा था। CLOT वीडियो फ्रेमों को परिष्कृत करने में उत्कृष्ट था, जिससे वे अधिक स्पष्ट और विशिष्ट बन जाते थे। यह एक धुंधले वीडियो को लेता था और एक चतुर प्रक्रिया के माध्यम से, इसे बनाता था कि फ्रेम विशिष्ट क्रियाओं के होने चाहिए। हालाँकि, जो "मानचित्र" इसका उपयोग उन क्रियाओं को परिभाषित करने के लिए करता था—एक्शन प्रोटोटाइप्स (Action Prototypes - क्रियाओं की गणितीय परिभाषाएँ)—वह पर्याप्त तेजी से अपडेट नहीं हो रहा था।

इस पेपर के लेखकों ने इसे एक रिप्रेजेंटेशन-प्रोटोटाइप इनकंसिस्टेंसी (Representation–Prototype Inconsistency) के रूप में पहचाना। जैसे-जैसे वीडियो फ्रेम अधिक स्पष्ट और व्यवस्थित होते गए, क्रियाओं की परिभाषाएँ अपने पुराने, कम सटीक रूप में अटकी रहीं। यह एम्बिगअस ट्रांजिशन (Ambiguous Transitions - जब एक क्रिया दूसरी में विलीन होती है) और छोटी या दुर्लभ क्रियाओं (जैसे उंगली चटकाने की एक त्वरित क्रिया या नमक डालने का एक दुर्लभ चरण) के दौरान विशेष रूप से हानिकारक था। इन मामलों में, पुरानी, कठोर परिभाषाएँ प्रमुख क्रियाओं द्वारा दबा दी जाती थीं, जिससे कंप्यूटर छोटे विवरणों को मिस कर देता था या दो अलग-अलग क्रियाओं को एक में मिला देता था।

समाधान: सुधार का दोहरा लूप

इसे ठीक करने के लिए, टीम ने D-CLOT बनाया, जो सिस्टम में एक "डबल क्लोज्ड लूप" जोड़ता है। इसे डांस फ्लोर पर दो नए सुरक्षा चेक जोड़ने के रूप में सोचें।

1. ग्राफ-कंस्ट्रेंड स्टेबलाइजर (द सेफ्टी नेट)
सबसे पहले, सिस्टम को यह सुनिश्चित करने की आवश्यकता थी कि वीडियो फ्रेम परिष्कृत होने के दौरान बहुत अधिक "वाइल्ड" न हो जाएं। कभी-कभी, समान फ्रेमों को एक साथ समूहबद्ध करने की प्रक्रिया में, कंप्यूटर गलती से समय में दूर स्थित दो फ्रेमों को जोड़ सकता है क्योंकि वे दिखने में समान हैं। यह वीडियो के प्राकृतिक प्रवाह को तोड़ देता है।

D-CLOT एक ग्राफ-कंस्ट्रेंड मॉड्यूल पेश करता है। इसे एक सुरक्षा जाल की तरह समझें जो डांसरों को उनके मूल पड़ोसियों के करीब रखता है। यह सुनिश्चित करता है कि यदि दो वीडियो फ्रेम कच्चे फुटेज में एक-दूसरे के बगल में थे, तो वे कंप्यूटर के "परिष्कृत" संस्करण में भी एक-दूसरे के करीब रहें। यह स्थानीय पड़ोस की संरचना को सुरक्षित करता है, जिससे कंप्यूटर असंबंधित क्षणों के बीच नकली संबंध बनाने से बच जाता है। यह वीडियो की ज्यामिति को स्थिर करता है, यह सुनिश्चित करता है कि "क्षेत्र" विश्वसनीय है, इससे पहले कि हम "मानचित्र" को अपडेट करने का प्रयास करें।

2. एक्शन-एम्बेडिंग रिफाइनमेंट (द मैप अपडेट)
एक बार जब वीडियो फ्रेम स्थिर हो जाते हैं, तो सिस्टम को इस नए, स्पष्ट चित्र से मेल खाने के लिए क्रिया परिभाषाओं को अपडेट करने की आवश्यकता होती है। पिछला तरीका केवल 'ग्रेडिएंट डिसेंट' (Gradient Descent) के माध्यम से इन परिभाषाओं को धीरे-धीरे अपडेट करता था, जो एक भारी पत्थर को हाथों से धकेलने जैसा है। यह धीमा है और इसमें फंस सकता है।

D-CLOT एक आवधिक री-एंकरिंग (Re-anchoring) चरण पेश करता है। समय-समय पर, सिस्टम रुकता है, स्थिर वीडियो फ्रेमों को देखता है, और पूरी तरह से पुनर्गणना करता है कि एक्शन प्रोटोटाइप क्या होने चाहिए। लेखकों ने इसे करने के दो तरीकों का परीक्षण किया:

• D-CLOT (द K-मीन्स रिफ्रेश): यह तरीका नए फ्रेम समूहों के केंद्र को खोजने के लिए एक मानक क्लस्टरिंग तकनीक (k-means) का उपयोग करता है और एक्शन परिभाषाओं को वहां ले जाता है। यह एक त्वरित, असाइनमेंट-अग्नोस्टिक रिफ्रेश है।
• D-CLOTB (द बैरसेंट्रिक अपडेट): यह अधिक परिष्कृत संस्करण है। यह केवल समूहों के केंद्र को नहीं देखता है; यह ऑप्टिमल ट्रांसपोर्ट बैरसेंटर (Optimal Transport Barycenter) की गणना करता है। कल्पना कीजिए कि आपके पास रेत का एक ढेर है (वीडियो फ्रेम) और आप पूर्ण संतुलन बिंदु खोजना चाहते हैं। यह तरीका हर फ्रेम को इस आधार पर वजन देता है कि कंप्यूटर कितना आश्वस्त है कि वह उस क्रिया से संबंधित है। यदि कंप्यूटर बहुत आश्वस्त है कि एक फ्रेम "मिक्सिंग" है, तो यह "मिक्सिंग" की परिभाषा को मजबूती से खींचता है। यदि वह अनिश्चित है, तो यह कम खींचता है। यह एक असाइनमेंट-अवेयर (Assignment-aware) अपडेट बनाता है जो वीडियो की वर्तमान स्थिति के साथ पूरी तरह से मेल खाता है।

परिणाम: तीखे कट और बेहतर समझ

टीम ने पाँच अलग-अलग डेटासेट्स पर D-CLOT का परीक्षण किया, जिसमें खाना पकाने के वीडियो (जैसे नाश्ता या सलाद बनाना) से लेकर निर्देशात्मक वीडियो और यहाँ तक कि एक नया, बहुत कठिन डेटासेट Assembly101 शामिल है, जिसमें खिलौने जोड़ने की प्रक्रिया शामिल है।

परिणाम प्रभावशाली थे। वीडियो फ्रेमों और क्रिया परिभाषाओं के बीच के बेमेल को ठीक करके, D-CLOT ने सेगमेंटेशन की गुणवत्ता में महत्वपूर्ण सुधार किया:

• YouTube Instructions (YTI) डेटासेट पर, नए तरीके ने पिछले सर्वश्रेष्ठ की तुलना में F1 स्कोर को +12.7 अंक और mIoU को +10.2 अंक से सुधारा।
• 50Salads डेटासेट पर, इसने गतिविधि-स्तर के मूल्यांकन में +8.9 F1 अंक की वृद्धि देखी।
• सबसे महत्वपूर्ण बात यह है कि टीम ने Assembly101 पर पहला अनसुपरवाइज्ड बेसलाइन स्थापित किया। यह डेटासेट अन्य की तुलना में बहुत कठिन है, जिसमें औसतन 13,000 से अधिक फ्रेम वाले वीडियो और प्रति खिलौना श्रेणी 11 से 42 अलग-अलग बारीक क्रियाएं शामिल हैं। यहाँ भी, D-CLOT ने पिछले तरीकों को पछाड़ दिया, जिससे सिद्ध हुआ कि "डबल लूप" दृष्टिकोण तब भी काम करता है जब क्रियाएं बहुत छोटी हों और वीडियो लंबा और शोर वाला हो।

लेखकों ने पाया कि दोनों घटक—ग्राफ स्टेबलाइजर और प्रोटोटाइप री-एंकरिंग—एक साथ मिलकर सबसे अच्छा काम करते हैं। स्टेबलाइजर ने वीडियो फ्रेमों को अराजक होने से रोका, और री-एंकरिंग ने यह सुनिश्चित किया कि एक्शन परिभाषाएं वीडियो के साथ तालमेल बनाए रखें। D-CLOTB वेरिएंट, अपने असाइनमेंट-अवेयर बैरसेंट्रिक अपडेट के साथ, विशेष रूप से जटिल, असंतुलित क्रिया अवधि वाले डेटासेट्स पर अधिक मजबूत रहा।

यह क्यों महत्वपूर्ण है

यह पेपर सुझाव देता है कि कंप्यूटर के लिए मानव सहायता के बिना अनट्रिम्ड वीडियो को वास्तव में समझने के लिए, उन्हें वीडियो में जो देख रहे हैं उसकी स्पष्टता के साथ अपने आंतरिक "शब्दकोश" (Dictionary) को लगातार अपडेट करने की आवश्यकता है। केवल वीडियो को परिष्कृत करना पर्याप्त नहीं है; आपको उन चीजों की परिभाषाओं को भी परिष्कृत करना होगा जिन्हें आप देख रहे हैं।

इस डबल-लूप तंत्र को पेश करके, शोधकर्ताओं ने दिखाया है कि अनसुपरवाइज्ड एक्शन सेगमेंटेशन को बहुत अधिक विश्वसनीय बनाया जा सकता है, विशेष रूप से उन कठिन, छोटी और दुर्लभ क्रियाओं के लिए जो अक्सर AI को उलझा देती हैं। उन्होंने केवल नंबरों में बदलाव नहीं किया; उन्होंने यह कैसे काम करता है, इसके मौलिक संरचनात्मक मुद्दे को ठीक किया। हालाँकि अभी भी सुधार की गुंजाइश है, विशेष रूप से बहुत बारीक Assembly101 डेटासेट पर, D-CLOT यह एक नया मानक स्थापित करता है कि मशीनें दुनिया को, एक समय में एक फ्रेम के रूप में, कैसे देख और समझ सकती हैं।