Results of the 1st Asynchronous CASTLE Challenge at the Joint Egocentric Vision Workshop in Conjunction with CVPR 2026
यह शोध पत्र प्रथम एसिंक्रोनस CASTLE चैलेंज के योगदानों और परिणामों का सारांश प्रस्तुत करता है, जो CVPR 2026 के साथ आयोजित जॉइंट एगोसेंट्रिक विजन वर्कशॉप में आयोजित किया गया था।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप चार दिनों की छुट्टियों के दौरान हुई हर चीज़ को याद करने की कोशिश कर रहे हैं, न केवल मुख्य घटनाओं को, बल्कि हर बातचीत, हर हिलती हुई वस्तु और कमरे में हुए हर छोटे बदलाव को, और वह भी दस अलग-अलग लोगों की आँखों से एक साथ देखते हुए। यह उस तरह का मेमोरी टेस्ट है जिससे कंप्यूटर संघर्ष करते हैं, भले ही उन्हें हज़ारों घंटों का वीडियो दिया गया हो। आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, शोधकर्ता ऐसे सिस्टम बनाने की कोशिश कर रहे हैं जो दैनिक जीवन की लंबी, बिना स्क्रिप्ट वाली रिकॉर्डिंग देख सकें और उनके बारे में विशिष्ट प्रश्न पूछ सकें, ठीक वैसे ही जैसे कोई इंसान डायरी पढ़ने या फिल्म देखने के बाद कर सकता है। चुनौती सूचना की विशाल मात्रा और उन विवरणों को जोड़ने की आवश्यकता में निहित है जो घंटों या दिनों के अंतराल पर अलग हो सकते हैं। यदि कोई मशीन यह करना सीख लेती है, तो यह अंततः हमें किसी विशिष्ट क्षण को खोजने के लिए वर्षों के व्यक्तिगत फुटेज को खोजने या लोगों के जीने के जटिल पैटर्न को समझने में मदद कर सकती है।
हम इसे हल करने के कितने करीब हैं, इसका परीक्षण करने के लिए, शोधकर्ताओं के एक समूह ने CASTABLE चैलेंज नामक एक प्रतियोगिता आयोजित की। उन्होंने टीमों को एक विशाल डेटासेट प्रदान किया जिसमें 600 घंटों से अधिक का अल्ट्रा-हाई-डेफिनिशन वीडियो शामिल था, जिसे हर विवरण को पकड़ने के लिए उच्च गति पर रिकॉर्ड किया गया था। फुटेज उन दस प्रतिभागियों द्वारा पहने गए कैमरों से आया था जो अपने सामान्य जीवन को जी रहे थे, साथ ही पांच स्थिर कैमरे भी थे जो कमरे से देख रहे थे। डेटा समृद्ध था, जिसमें ऑडियो, हृदय गति मॉनिटर और यहाँ तक कि थर्मल इमेज भी शामिल थे, जो चार दिनों की गतिविधि का एक पूर्ण डिजिटल रिकॉर्ड बना रहे थे। प्रतिस्पर्धी टीमों के लिए कार्य सिद्धांत में सरल लेकिन व्यवहार में अविश्वसनीय रूप से कठिन था: उन्हें वीडियो के बारे में 185 बहुविकल्पीय प्रश्नों के उत्तर देने थे। इन प्रश्नों के लिए कंप्यूटर को लोगों को ट्रैक करने, वस्तुओं को गिनने, चीजें कहाँ छिपी थीं यह याद रखने और घटनाओं के समय को समझने की आवश्यकता थी, जैसे कि यह पता लगाना कि किसने सबसे पहले केक का एक टुकड़ा खाया या अंतिम दिन किसी ने अपनी कार कितनी तेज़ी से चार्ज की।
चार टीमों ने इस चुनौती को स्वीकार किया, जिनमें से प्रत्येक ने समस्या के लिए एक अलग रणनीति अपनाई। जीतने वाली टीम, जिसे WDL के नाम से जाना जाता है, ने इस कार्य को सुराग इकट्ठा करने वाले एक जासूस की तरह लिया। पूरे 600 घंटों के वीडियो को एक साथ देखने के बजाय, उनके सिस्टम ने पहले किसी व्यक्ति के नाम या विशिष्ट दिन जैसे कीवर्ड खोजने के लिए प्रश्न को देखा। फिर उन्होंने इन सुरागों का उपयोग करके केवल वीडियो के सबसे प्रासंगिक हिस्सों और बोले गए ट्रांसक्रिप्ट को निकाला, बाकी को अनदेखा कर दिया। उन्होंने अपने कंप्यूटर मॉडल को केवल मिले हुए साक्ष्यों पर ध्यान केंद्रित करने के लिए प्रशिक्षित किया, और मल्टी-सैंपल सेल्फ-कंसिस्टेंसी के माध्यम से निरंतरता सुनिश्चित करने के लिए प्रत्येक प्रश्न के लिए सख्त, संतुलित और आक्रामक प्रॉम्प्ट वेरिएंट चलाए। इस दृष्टिकोण ने उन्हें लगभग 58 प्रतिशत की सटीकता तक पहुँचने में मदद की, जिसका अर्थ है कि उन्होंने 185 में से लगभग 108 प्रश्नों के सही उत्तर दिए।
एक अन्य टीम, MARS ने अधिक संवादात्मक दृष्टिकोण अपनाया। उन्होंने एक ऐसा सिस्टम बनाया जो एक जिज्ञासु एजेंट की तरह काम करता था, जो यह तय करता था कि आगे किस प्रकार की जानकारी देखनी है। यदि प्रश्न शारीरिक गतिविधि के बारे में था, तो सिस्टम विशेष रूप से उन प्रश्नों के लिए हृदय गति डेटा की जांच करने का विकल्प चुन सकता था। यदि यह इस बारे में था कि कोई कहाँ देख रहा था, तो वह आई-ट्रैकिंग डेटा निकाल लेता। सभी चीज़ों को एक साथ प्रोसेस करने के बजाय साक्ष्य के टुकड़े को गतिशील रूप से चुनने से, उन्होंने अपने स्कोर को सुधार कर 57 प्रतिशत कर दिया। तीसरी टीम, TAHAKOM ने सूचना को संबंधों के एक संरचित मानचित्र में व्यवस्थित किया, जो लोगों, स्थानों और वस्तुओं को टाइम स्टैम्प के साथ जोड़ता था। इसने उन्हें घटनाओं के बीच के कनेक्शन के बारे में सिस्टम से विशिष्ट प्रश्न पूछने की अनुमति दी, जिससे 54.6 प्रतिशत की सटीकता प्राप्त हुई। अंतिम टीम, CuriosAI ने कंप्यूटर को मनगढ़ंत बातें करने से रोकने पर ध्यान केंद्रित किया। उन्होंने एक सख्त प्रक्रिया बनाई जहाँ सिस्टम को साक्ष्य खोजने, उसे कच्चे वीडियो के विरुद्ध सत्यापित करने और फिर उत्तर देने की आवश्यकता थी, यह सुनिश्चित करते हुए कि प्रत्येक दावा वास्तव में देखे या सुने गए तथ्यों पर आधारित हो। उनके सर्वश्रेष्ठ तरीके ने 49.7 प्रतिशत की सटीकता प्राप्त की।
प्रतियोगिता के परिणाम दर्शाते हैं कि हालांकि कंप्यूटर लंबे वीडियो को समझने में बेहतर हो रहे हैं, लेकिन उन्हें अभी भी एक लंबा रास्ता तय करना है। शीर्ष टीमों ने आधे से अधिक प्रश्नों के सही उत्तर दिए, जो रैंडम अनुमान (random guessing) की तुलना में एक महत्वपूर्ण सुधार है, लेकिन वे लगभग आधे उत्तरों को भी चूक गए। शायद सबसे उल्लेखनीय बात यह है कि सभी टीमों ने एक जैसे प्रश्नों के सही उत्तर नहीं दिए। जब आप चारों टीमों के सही उत्तरों को मिलाते हैं, तो वे 185 में से 176 प्रश्नों को हल करने में सफल रहे, जिससे केवल नौ प्रश्न बचे जिन्हें कोई भी टीम हल नहीं कर सकी। यह सुझाव देता है कि कोई भी एकल विधि अभी तक पूर्ण नहीं है, लेकिन विभिन्न दृष्टिकोण पहेली के अलग-अलग हिस्सों को पकड़ते हैं। शोधकर्ताओं ने पाया कि सबसे बड़ी बाधा पर्याप्त साक्ष्य कवर करने की क्षमता है बिना डेटा की विशाल मात्रा में खो जाए। जबकि सिस्टम सैकड़ों घंटों के फुटेज को नेविगेट कर सकते हैं, लंबी अवधि में अनस्क्रिप्टेड, वास्तविक दुनिया की घटनाओं के माध्यम से तर्क करने का कार्य एक कठिन समस्या बनी हुई है। प्रतियोगिता ने इस मुद्दे को हल नहीं किया, लेकिन इसने स्पष्ट रूप से दिखाया कि इन विभिन्न रणनीतियों को जोड़ना उन मशीनों के निर्माण की कुंजी हो सकता है जो वास्तव में हमारे दैनिक जीवन को समझ सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।