PerceptionComp: A Video Benchmark for Complex Perception-Centric Reasoning
यह शोध पत्र PerceptionComp को प्रस्तुत करता है, जो 279 विविध वीडियो में फैले 1,114 जटिल प्रश्नों वाला एक मैन्युअल रूप से एनोटेट किया गया बेंचमार्क है जिसके लिए बहु-चरणीय, दीर्घ-क्षितिज (long-horizon) धारणात्मक तर्क की आवश्यकता होती है, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक मॉडल और यहाँ तक कि मनुष्य भी उन कार्यों के साथ महत्वपूर्ण रूप से संघर्ष करते हैं जिनमें संरचनात्मक तर्क और बार-बार दृश्य साक्ष्य की मांग होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ PerceptionComp पेपर का सरल, रोज़मर्रा की भाषा में अनुवाद दिया गया है, जिसमें कुछ रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।
🎬 मुख्य विचार: "सिर्फ नज़र न डालें, गहराई से देखें"
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं। आपने पहले जो वीडियो क्विज़ देखे होंगे, वे 30 सेकंड के क्लिप के बाद लिए जाने वाले पॉप क्विज़ की तरह होते हैं। आप एक कुत्ते को दौड़ते हुए देखते हैं, और सवाल पूछता है, "कुत्ते का रंग क्या था?" आप बिना ज़्यादा सोचे तुरंत इसका जवाब दे सकते हैं।
लेकिन PerceptionComp अलग है। यह एक जासूसी रहस्य (detective mystery) की तरह है जहाँ सुराग 10 मिनट की फिल्म में बिखरे हुए हैं। पहेली को सुलझाने के लिए, आप स्क्रीन को सिर्फ एक बार नहीं देख सकते। आपको:
- मिनट 2 में एक लाल कार को याद रखना होगा।
- मिनट 5 में एक विशिष्ट व्यक्ति को नीली टोपी पहने हुए देखना होगा।
- यह महसूस करना होगा कि मिनट 8 पर, वह व्यक्ति उसी लाल कार में बैठा।
- अंत में, उत्तर देना होगा: "व्यक्ति के बैठने से पहले कार की नंबर प्लेट क्या थी?"
यदि आपने फिल्म को केवल एक बार देखा और सब कुछ याद रखने की कोशिश की, तो आप शायद असफल हो जाएंगे। कहानी को जोड़ने के लिए आपको वीडियो के विभिन्न हिस्सों को रीवाइंड (rewind), फास्ट-फॉरवर्ड और क्रॉस-रेफरेंस करने की आवश्यकता होगी।
🧩 PerceptionComp क्या है?
शोधकर्ताओं (त्सिंहुआ, UW और NTU के) ने AI वीडियो मॉडल के लिए एक नया "टेस्ट" बनाया है। वे देखना चाहते थे कि क्या AI जटिल, धारणा-केंद्रित तर्क (perception-centric reasoning) कर सकता है।
- समस्या: वर्तमान AI मॉडल बिल्ली या कार को पहचानने में बहुत अच्छे हैं, लेकिन वे एक अव्यवस्थित, वास्तविक दुनिया के वीडियो में समय के साथ कड़ियों को जोड़ने में बहुत खराब हैं। वे अक्सर "हैलुसिनेट" (मनगढ़ंत बातें बनाना) करते हैं या जब वीडियो जटिल हो जाता है तो उलझ जाते हैं।
- समाधान: उन्होंने 279 उच्च-जटिलता वाले वीडियो (जैसे शहर की सैर, खेल और गेम स्ट्रीम) और 1,114 कठिन प्रश्न का एक डेटासेट बनाया।
- नियम: किसी प्रश्न का उत्तर देने के लिए, AI को वीडियो के कई, अलग-अलग क्षणों से साक्ष्य जुटाने होंगे। कोई भी एक क्षण पूरा उत्तर नहीं रखता।
🏗️ उन्होंने टेस्ट कैसे बनाया (निर्माण स्थल)
इन प्रश्नों को बनाना एक जटिल लेगो सेट (Lego set) बनाने जैसा है:
- अराजकता का चयन (Selecting the Chaos): उन्होंने उबाऊ, खाली वीडियो नहीं चुने। उन्होंने एक रोबोट (SAM2) का उपयोग करके ऐसे वीडियो खोजे जिनमें बहुत सारे चलते-फिरते हिस्से हों—भीड़, तेज़ गति और बहुत सारी वस्तुएं। यह एक खाली पार्किंग स्थल के बजाय एक व्यस्त शहर की सड़क चुनने जैसा है।
- "और" (And) एवं "फिर" (Then) का तर्क: उन्होंने ऐसे प्रश्न डिज़ाइन किए जो AI को दो चीजें करने के लिए मजबूर करते हैं:
- संयोजक (The "And"): "एक ऐसे आदमी को खोजें जिसने लाल शर्ट और नीली पैंट पहनी है और जिसके हाथ में हरा बैग है।" (यदि उसमें से एक भी चीज़ गायब है, तो वह वह आदमी नहीं है)।
- अनुक्रमिक (The "Then"): "उस महिला को खोजें जिसने अपनी चाबियाँ गिरा दीं। फिर, उस आदमी को खोजें जिसने उन्हें उठाया। फिर, मुझे बताओ कि उसके जूतों का रंग क्या था।" (आप चरण 1 और 2 सही ढंग से किए बिना चरण 3 का उत्तर नहीं दे सकते)।
- मानवीय प्रूफरीडिंग: मनुष्यों ने यह सुनिश्चित करने के लिए कि उत्तर 100% सही है और आप वीडियो को ध्यान से देखे बिना इसका अनुमान नहीं लगा सकते, प्रत्येक प्रश्न पर 10-20 मिनट बिताए।
🧠 परिणाम: इंसान बनाम AI
शोधकर्ताओं ने इसका परीक्षण मनुष्यों और उपलब्ध सबसे स्मार्ट AI मॉडल (जैसे GPT-o3, Gemini, और Qwen) पर किया।
मानव परीक्षण:
- एकल दृश्य (Single View): यदि मनुष्यों ने वीडियो को एक बार देखा और रिवाइंड नहीं कर सके, तो वे 81% बार गलत हुए (मूल रूप से अंदाज़ा लगाया)।
- असीमित रिवाइंड (Unlimited Rewind): यदि मनुष्य रिवाइंड कर सकते थे और जितनी देर चाहें सोच सकते थे, तो वे 100% सही रहे।
- समय: मनुष्यों को पिछले वीडियो परीक्षणों की तुलना में इन प्रश्नों का उत्तर देने में 5 से 10 गुना अधिक समय लगा। यह साबित करता है कि यह टेस्ट वास्तव में कठिन है!
AI परीक्षण:
- स्कोर: सबसे अच्छे AI मॉडल (जैसे Gemini-3-Flash) भी केवल लगभग 46% सही हुए।
- अंतर: ओपन-सोर्स मॉडल इससे भी कम, लगभग 30-35% थे।
- निष्कर्ष: AI अभी भी एक मानव जासूस की तरह वीडियो को "देखने" के लिए संघर्ष कर रहा है। वे अक्सर मिनट 2 में एक छोटी सी चीज़ मिस कर देते हैं, जिससे मिनट 10 में उनका उत्तर गलत हो जाता है।
🔍 AI मॉडल क्यों विफल होते हैं? ("हैलुसिनेशन" का जाल)
पेपर में पाया गया कि AI मॉडल मुख्य रूप से दो तरीकों से विफल होते हैं:
- "एक-दृश्य" अंधापन (The "One-View" Blindness): AI मॉडल अक्सर वीडियो के एक एकल स्नैपशॉट के आधार पर उत्तर देने की कोशिश करते हैं। वे इस तथ्य को भूल जाते हैं कि उत्तर के लिए दो अलग-अलग समय को जोड़ने की आवश्यकता है।
- "ज़्यादा सोचने वाला" बनाम "तेज़ सोचने वाला" (The "Over-Thinker" vs. The "Fast-Thinker"):
- कुछ AI मॉडल बहुत ज़्यादा सोचने की कोशिश करते हैं। वे बहुत अधिक विवरणों से भ्रमित हो जाते हैं और खाली जगहों को भरने के लिए कहानियाँ बनाने लगते हैं (हैलुसिनेशन)।
- दिलचस्प बात यह है कि कभी-कभी "हल्के" मॉडल (जैसे Gemini-Flash) "भारी" मॉडलों (जैसे Gemini-Pro) की तुलना में बेहतर प्रदर्शन करते हैं क्योंकि भारी मॉडल अनावश्यक विवरणों में उलझ जाते हैं और मुख्य विषय से भटक जाते हैं।
🚀 भविष्य के लिए इसका क्या अर्थ है?
पेपर सुझाव देता है कि AI को वास्तव में वीडियो समझने के योग्य बनाने के लिए, हम केवल उन्हें अधिक मस्तिष्क शक्ति के साथ "स्मार्ट" नहीं बना सकते। हमें उन्हें यह सिखाना होगा कि:
- रुकें और रिवाइंड करें: वीडियो को एक ऐसी किताब की तरह मानें जिसे आप आगे-पीछे पलट सकते हैं, न कि एक ऐसी स्ट्रीम जिसे आप केवल एक बार देखते हैं।
- कड़ियों को जोड़ें: मिनट 1 से मिली जानकारी को अपनी "याददाश्त" में रखने और मिनट 5 में समस्या को हल करने के लिए उसका उपयोग करना सीखें।
संक्षेप में: PerceptionComp AI वीडियो मॉडल के लिए एक नया, बहुत कठिन जिम है। यह हमें दिखाता है कि जबकि AI देखने में अच्छा हो रहा है, यह अभी भी समय के साथ जो देखता है उसे याद रखने और जोड़ने में बहुत खराब है। इससे पहले कि AI एक सच्चा "वीडियो जासूस" बन सके, हमें एक लंबा रास्ता तय करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।