From Frames to Temporal Graphs: In-Context Egocentric Action Recognition with Vision-Language Models
यह शोध पत्र एगोसेंट्रिक एक्शन रिकग्निशन (egocentric action recognition) के लिए एक नवीन ढांचे का प्रस्ताव करता है जो वीडियो को टेम्पोरल एक्शन ग्राफ्स (Temporal Action Graphs) में परिवर्तित करके विजुअल परसेप्शन को सिम्बोलिक रीजनिंग से अलग करता है, और यह प्रदर्शित करता है कि स्ट्रक्चर्ड ग्राफ रिप्रेजेंटेशन पर इन-कॉन्टेक्स्ट लर्निंग के माध्यम से विजन-लैंग्वेज मॉडल्स को सिम्बोलिक रीज़नर के रूप में उपयोग करना विविध मॉडल परिवारों में प्रत्यक्ष पिक्सेल-आधारित अनुमान की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (AI) को यह सिखाने की कोशिश कर रहे हैं कि किसी व्यक्ति के अपने आंखों से लिए गए वीडियो (जैसे कि सिर पर लगा हुआ GoPro) में वह क्या कर रहा है, इसे कैसे पहचाना जाए। वीडियो में हाथ कप पकड़ रहे हैं, ब्रेड काट रहे हैं, और कॉफी डाल रहे हैं।
समस्या यह है कि यदि आप लाइब्रेरियन को केवल कच्चे वीडियो फ्रेम (चित्र) दिखाते हैं, तो वे अभिभूत हो जाते हैं। वे किताबें पढ़ने और कहानियों को समझने में बहुत अच्छे हैं, लेकिन वे फिल्में देखने में उतने अच्छे नहीं हैं। वे देख सकते हैं कि एक हाथ में चाकू है और पास में ब्रेड का लोफ है, लेकिन उन्हें यह समझने में संघर्ष होता है कि व्यक्ति ब्रेड को काट रहा है या बस उसे स्थिर पकड़े हुए है। वे एक सेकंड से दूसरे सेकंड के बीच होने वाले सूक्ष्म, तेज़ बदलावों से भ्रमित हो जाते हैं।
पेपर का समाधान: "TAG" (टेम्पोरल एक्शन ग्राफ्स)
लेखक एक चतुर समाधान प्रस्तावित करते हैं। वीडियो को सीधे देखने के बजाय, वे एक अनुवादक की भूमिका निभाते हैं। वे वीडियो को एक संरचित "कहानी" या "रेसिपी" में तोड़ देते हैं जिसे लाइब्रेरियन आसानी से पढ़ सके। वे इस प्रक्रिया को TAG कहते हैं।
यह कैसे काम करता है, चरण-दर-चरण, एक उपमा के माध्यम से:
1. "स्नैपशॉट" अनुवादक (विजुअल परसेप्शन)
कल्पना कीजिए कि वीडियो एक लंबी, तेज़ गति वाली फिल्म है। लेखक पूरी फिल्म को एक साथ नहीं दिखाते। इसके बजाय, वे फिल्म को छोटे, ओवरलैपिंग क्लिप्स में काट देते हैं (जैसे कि एक बार में 4 फ्रेम)।
- कार्य: वे AI से इन छोटे क्लिप्स को देखने और वहां क्या हो रहा है, इसका वर्णन करने वाला एक सरल वाक्य लिखने के लिए कहते हैं।
- उपमा: यह एक सुरक्षा गार्ड की तरह है जो सुरक्षा कैमरे की निगरानी कर रहा है। पूरे दिन को याद रखने की कोशिश करने के बजाय, गार्ड हर कुछ सेकंड में एक छोटा नोट लिखता है: "हाथ कप की ओर बढ़ता है," फिर "हाथ कप को पकड़ता है," फिर "हाथ कप को ऊपर उठाता है।"
2. नोट्स को "रेसिपी" में बदलना (सिंबोलिक रीजनिंग)
एक बार जब AI ये वाक्य लिख लेता है, तो लेखक उन वाक्यों को तथ्यों की एक सख्त, संरचित सूची में बदल देते हैं, जिसे ग्राफ कहा जाता है।
- कार्य: वे "हाथ कप पकड़ता है" जैसे वाक्य को एक औपचारिक ट्रिपलेट (triplet) में बदलते हैं:
(हाथ) --[पकड़ता है]--> (कप)। - उपमा: इसे एक अव्यवस्थित हस्तलिखित किराने की सूची को एक साफ, व्यवस्थित स्प्रेडशीट में बदलने जैसा समझें। अव्यवस्थित सूची कहती है, "कुछ दूध लें, शायद अंडे, ओह और वह लाल सेब भी।" स्प्रेडशीट कहती है:
वस्तु: दूध, क्रिया: खरीदना।वस्तु: सेब, रंग: लाल, क्रिया: खरीदना। - यह क्यों मदद करता है: AI इन संरचित सूचियों (स्प्रेडशीट) को पढ़ने और समझने में माहिर है क्योंकि इसे अरबों टेक्स्ट दस्तावेजों पर प्रशिक्षित किया गया है। यह "यदि A, B को पकड़ता है, तो C होता है" के बारे में तर्क करने में बहुत बेहतर है, जब यह टेक्स्ट के रूप में लिखा हो, बजाय इसके कि यह एक धुंधले वीडियो पिक्सेल के भीतर छिपा हो।
3. "दिखाना और बताना" का पाठ (इन-कॉन्टेक्स्ट लर्निंग)
यही इस पेपर की सबसे बड़ी चाल है। आमतौर पर, यदि आप किसी AI को नया कार्य सिखाना चाहते हैं, तो आपको इसे फिर से प्रशिक्षित (retrain) करना पड़ता है (जो महंगा और धीमा है)। लेकिन चूंकि वीडियो अब केवल एक टेक्स्ट सूची है, इसलिए लेखक इन-कॉन्टेक्स्ट लर्निंग का उपयोग कर सकते हैं।
- कार्य: नए वीडियो के लिए क्रिया का अनुमान लगाने से पहले, वे उसे अन्य वीडियो के कुछ उदाहरण दिखाते हैं जिन्हें पहले से ही इन टेक्स्ट सूचियों में बदल दिया गया है, साथ ही उनके सही उत्तर भी दिए जाते हैं।
- उपमा: कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं। प्रश्न देने के बजाय, शिक्षक फुसफुसाता है, "याद है उस समय जब हमने किसी को पानी डालते हुए देखा था? यहाँ उस क्रिया के लिए तथ्यों की सूची है। अब, इस नई सूची को देखें। वे क्या कर रहे हैं?"
- परिणाम: पेपर दिखाता है कि केवल एक या दो टेक्स्ट-आधारित उदाहरण दिखाने से AI नए एक्शन का अनुमान लगाने में काफी स्मार्ट हो जाता है। यदि वे AI को कच्चे वीडियो उदाहरण दिखाने की कोशिश करते, तो AI की मेमोरी तुरंत भर जाती क्योंकि वीडियो बहुत बड़े होते हैं। टेक्स्ट सूचियाँ छोटी होती हैं, इसलिए AI आसानी से कई उदाहरण याद रख सकता है।
उन्होंने क्या पाया?
लेखकों ने इसे 11 अलग-अलग AI मॉडल के साथ दो प्रसिद्ध वीडियो डेटासेट्स (EGTEA और Epic-Kitchens) पर परखा।
- "अनुवादक" की जीत: लगभग हर मामले में, AI ने टेक्स्ट सूची (ग्राफ) को पढ़ने में कच्चे वीडियो को देखने की तुलना में बेहतर प्रदर्शन किया।
- "एक उदाहरण" का उछाल: प्रॉम्प्ट में केवल एक या दो टेक्स्ट उदाहरण जोड़ने से AI और भी बेहतर हो गया, और अक्सर कच्चे वीडियो वाले दृष्टिकोण से बड़े अंतर से आगे निकल गया।
- सीमा: यह प्रणाली पूर्ण नहीं है। यदि पहले चरण (नोट्स लिखने वाला सुरक्षा गार्ड) कोई गलती करता है—जैसे कि यह कहना कि व्यक्ति "काट" रहा है जबकि वह वास्तव में "धो" रहा है—तो अंतिम उत्तर गलत होगा। यह प्रणाली उतनी ही अच्छी है जितना कि वह विवरण जो यह बनाता है।
मुख्य निष्कर्ष
पेपर का तर्क है कि वर्तमान AI मॉडल ऐसे शानदार पाठक हैं जो फिल्में देखने में खराब हैं। उन्हें फिल्म देखने के लिए मजबूर करने के बजाय, हमें फिल्म को एक ऐसी कहानी में अनुवाद करना चाहिए जिसे वे पढ़ सकें। वीडियो को एक संरचित टेक्स्ट "ग्राफ" में बदलकर, हम AI की स्वाभाविक तर्क करने की क्षमता को अनलॉक करते हैं, जिससे उसे "काटने," "डालने," या "पकड़ने" जैसी जटिल क्रियाओं को समझने में मदद मिलती है, बिना लाखों घंटों के वीडियो पर फिर से प्रशिक्षित हुए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।