Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI
यह सर्वेक्षण एगोसेंट्रिक वीडियो अंडरस्टैंडिंग (egocentric video understanding) में विजन-लैंग्वेज मॉडल्स के अनुप्रयोग की आलोचनात्मक समीक्षा करता है, जो पारंपरिक पहचान से लेकर एम्बोडीड एआई (embodied AI) तक उनके विकास को रेखांकित करता है और साथ ही दीर्घकालिक अंतःक्रियाओं को मॉडल करने में वर्तमान सीमाओं को उजागर करते हुए भविष्य के तैनात करने योग्य सिस्टम के लिए प्रमुख प्राथमिकताओं की रूपरेखा प्रस्तुत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी और की आँखों से दुनिया को देख रहे हैं। आप उनके हाथों को कप की ओर बढ़ते हुए देखते हैं, एक घूमते हुए सिर के धुंधलेपन को महसूस करते हैं, और देखते हैं कि कैसे एक छोटी वस्तु बड़ी वस्तु के पीछे ओझल हो जाती है जब वे चलते हैं। यह 'एगोसेंट्रिक वीडियो' (egocentric video) की दुनिया है, एक ऐसा परिप्रेक्ष्य जिसे शरीर पर पहने गए कैमरों द्वारा कैप्चर किया जाता है जो जीवन को ठीक वैसे ही रिकॉर्ड करता है जैसा एक व्यक्ति उसे अनुभव करता है। पारंपरिक सुरक्षा कैमरों के विपरीत जो लोगों को दूरी से देखते हैं, ये पहनने योग्य उपकरण दुनिया को अंदर से बाहर की ओर देखते हैं, और इस बात पर तीव्रता से ध्यान केंद्रित करते हैं कि पहनने वाला क्या कर रहा है और क्या छू रहा है। यह दृष्टिकोण ऐसी मशीनें बनाने के लिए महत्वपूर्ण होता जा रहा है जो हमारे दैनिक जीवन में हमारी मदद कर सकें, जैसे कि स्मार्ट चश्मा जो हमें खतरे के प्रति आगाह करे या रोबोट जो हमें काम करते हुए देखकर नए कौशल सीख सकें। हालाँकि, कंप्यूटर को इस अराजक, प्रथम-व्यक्ति दृश्य को समझने के लिए प्रशिक्षित करना अविश्वसनीय रूप से कठिन है। हर कदम के साथ कैमरा हिलता है, वस्तुएं अक्सर दृष्टि से ओझल हो जाती हैं, और सबसे महत्वपूर्ण क्रियाएं उस क्षण में होती हैं जब हाथ किसी चीज़ को छूता है।
तेहरान विश्वविद्यालय के शोधकर्ताओं द्वारा किया गया एक नया सर्वेक्षण इस बात का गहराई से विश्लेषण करता है कि कृत्रिम बुद्धिमत्ता (AI) इस अनूठे परिप्रेक्ष्य में महारत हासिल करने की कोशिश कैसे कर रही है। लेखक एक तेजी से बढ़ते क्षेत्र का परीक्षण करते हैं जहाँ कंप्यूटर को न केवल छवियों को देखने, बल्कि भाषा के माध्यम से उन्हें समझने के लिए सिखाया जाता है। ये प्रणालियाँ, जिन्हें 'विज़न-लैंग्वेज मॉडल्स' (vision-language models) कहा जाता है, उन्हें वह देखने और बोलने के लिए डिज़ाइन किया गया है जो कैमरा देखता है और जो शब्द हम बोल सकते हैं। शोधकर्ताओं ने इन मॉडलों के इतिहास को ट्रैक किया है, शुरुआती प्रणालियों से लेकर जो केवल स्थिर वस्तुओं को पहचानती थीं, आधुनिक प्रयासों तक जो जटिल क्रियाओं और अंतःक्रियाओं को समझने की कोशिश करती हैं। उन्होंने पाया कि हालांकि ये उन्नत मॉडल वीडियो में वस्तुओं के नाम बताने में बेहतर हो रहे हैं, लेकिन वे वास्तव में यह समझने में संघर्ष कर रहे हैं कि वास्तव में क्या हो रहा है। मॉडल अक्सर चाकू पकड़े हुए व्यक्ति को चाकू से काटते हुए व्यक्ति समझने की गलती कर देते हैं, या वे एक लंबी गतिविधि के चरणों के क्रम को देखने में विफल रहते हैं। सर्वेक्षण से पता चलता है कि सबसे बड़ी बाधा केवल दृश्य को देखना नहीं है, बल्कि हाथों, वस्तुओं और समय के बीच के संबंधों को समझना है जो सामने आ रहे हैं।
शोधकर्ताओं ने अपनी समीक्षा को 'हैंड-ऑब्जेक्ट इंटरेक्शन' (हाथ-वस्तु अंतःक्रिया) की मुख्य चुनौती के इर्द-गिर्द व्यवस्थित किया है। प्रथम-व्यक्ति वीडियो में, हाथ मुख्य पात्र होते हैं। वे ही हैं जो हिलते हैं, छूते हैं और दुनिया की स्थिति बदलते हैं। सर्वेक्षण बताता है कि कंप्यूटर के लिए प्रथम-व्यक्ति वीडियो को वास्तव में समझने के लिए, उसे यह पता लगाना होगा कि कौन सा हाथ किस वस्तु को छू रहा है और वह संपर्क समय के साथ कैसे बदलता है। यह सुनने में जितना सरल लगता है, उससे कहीं अधिक कठिन है क्योंकि हाथ अक्सर उन वस्तुओं के दृश्य को बाधित करते हैं जिन्हें वे पकड़े हुए होते हैं, और कैमरा अनियमित रूप से हिलता है। लेखक बताते हैं कि वर्तमान कृत्रिम बुद्धिमत्ता प्रणालियाँ केवल मौजूद वस्तुओं को पहचानने पर बहुत अधिक निर्भर हैं। वे आपको बता सकते हैं कि वहां एक कप और एक हाथ है, लेकिन वे अक्सर उन्हें जोड़ने वाली विशिष्ट क्रिया, जैसे कि डालना (pouring) या मिलाना (stirring), को समझने में विफल रहते हैं। यह सीमा तब स्पष्ट हो जाती है जब मॉडलों का परीक्षण लंबे वीडियो पर किया जाता है; वे विवरणों में खो जाते हैं और गतिविधि की बड़ी तस्वीर को देखने में चूक जाते हैं।
इन विफलताओं को दूर करने के लिए, पेपर 'स्ट्रक्चर्ड रीजनिंग' (संरचित तर्क) की ओर एक बदलाव पर प्रकाश डालता है, विशेष रूप से वीडियो को केवल छवियों के अनुक्रम के बजाय संबंधों के एक नेटवर्क के रूप में देखना। शोधकर्ता तर्क देते हैं कि कंप्यूटर को ये वीडियो समझाने का सबसे अच्छा तरीका उन्हें दृश्य का एक मानसिक मानचित्र बनाने के लिए सिखाना है, हाथों को उन वस्तुओं से जोड़ना जिन्हें वे छूते हैं और यह ट्रैक करना कि वे संबंध कैसे बदलते हैं। यह दृष्टिकोण, जो ग्राफ-आधारित तर्क (graph-based reasoning) का उपयोग करता है, वीडियो को फ्रेमों के ढेर के बजाय लिंक्ड इवेंट्स (जुड़े हुए आयोजनों) के एक सेट के रूप में मानता है। सर्वेक्षण दिखाता है कि जब मॉडलों को इन विशिष्ट संबंधों पर ध्यान केंद्रित करने के लिए डिज़ाइन किया जाता है, तो वे जटिल कार्यों को समझने में बेहतर प्रदर्शन करते हैं। हालाँकि, लेखक नोट करते हैं कि यह तकनीक अभी अपने शुरुआती चरणों में है। इन संबंध मानचित्रों को बनाने के लिए सफल तरीकों में से अधिकांश मूल रूप से 'थर्ड-पर्सन' (तृतीय-व्यक्ति) वीडियो के लिए विकसित किए गए थे, जहाँ कैमरा स्थिर होता है और दृश्य स्पष्ट होता है। इन विधियों को पहनने योग्य कैमरे के हिलते और बाधित दृश्य के अनुकूल बनाना एक महत्वपूर्ण अनसुलझी समस्या बनी हुई है।
सर्वेक्षण इन प्रणालियों को प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटा पर भी नज़र डालता है। शोधकर्ताओं ने पाया कि उपलब्ध वीडियो डेटासेट अक्सर सीमित दायरे में होते हैं, जो रसोई की गतिविधियों या विशिष्ट सांस्कृतिक परिवेशों पर अत्यधिक ध्यान केंद्रित करते हैं। यह एक पूर्वाग्रह पैदा करता है जहाँ कृत्रिम बुद्धिमत्ता केवल मानव व्यवहार के एक संकीर्ण हिस्से को पहचानना सीखती है। इसके अलावा, इन वीडियो का वर्णन करने के लिए उपयोग की जाने वाली भाषा अक्सर असंगत होती है, जिससे मॉडलों के लिए विभिन्न क्रियाओं के सटीक अर्थ को सीखना कठिन हो जाता है। लेखक इस बात पर जोर देते हैं कि केवल अधिक डेटा जोड़ना या मॉडलों को बड़ा बनाना समाधान नहीं है। इसके बजाय, क्षेत्र को मॉडलों को सही क्षणों पर ध्यान देने और घटनाओं के क्रम को समझने के लिए बेहतर तरीके सिखाने की आवश्यकता है। वे सुझाव देते हैं कि भविष्य की प्रगति दृश्य डेटा को अन्य संकेतों, जैसे कि पहनने वाले के सिर की गति या उनकी आवाज़ के साथ जोड़ने पर निर्भर करेगी, ताकि यह समझने के लिए एक पूर्ण चित्र बनाया जा सके कि क्या हो रहा है।
अंततः, पेपर निष्कर्ष निकालता है कि वास्तव में बुद्धिमान मशीनों का मार्ग जो हमारे दैनिक जीवन में हमारी सहायता कर सकें, अभी लंबा है। जबकि हमने कंप्यूटर को देखने और बोलने में बड़ी प्रगति की है, प्रथम-व्यक्ति परिप्रेक्ष्य से मानव जीवन की तरल, संवादात्मक प्रकृति को समझने की क्षमता अभी भी अप्राप्य है। शोधकर्ता भविष्य के कार्य के लिए कई प्रमुख क्षेत्रों की पहचान करते हैं, जिसमें समय के साथ मॉडलों के तर्क करने के तरीके में सुधार करना, पहनने योग्य कैमरों के निरंतर संचलन को संभालने के बेहतर तरीके विकसित करना, और ऐसे सिस्टम बनाना शामिल है जो नए वातावरण और संस्कृतियों में सामान्य हो सकें। वे एक ऐसे भविष्य की कल्पना करते हैं जहाँ ये मॉडल मानव प्रदर्शन और रोबोटिक क्रिया के बीच के अंतर को सहजता से पाट सकेंगे, जिससे मशीनें हमें देखते हुए जटिल कौशल सीख सकेंगी। लेकिन इससे पहले कि वह भविष्य आए, क्षेत्र को कंप्यूटर को न केवल दुनिया की वस्तुओं को, बल्कि उन संबंधों को देखने के लिए सिखाने की मौलिक समस्या को हल करना होगा जो समय के साथ उन्हें एक साथ बांधते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।