NTIRE 2026 Challenge on Video Saliency Prediction: Methods and Results
यह शोध पत्र वीडियो सैलिएंसी प्रेडिक्शन (Video Saliency Prediction) पर NTIRE 2026 चैलेंज को प्रस्तुत करता है, जिसमें 5,000 से अधिक मूल्यांकनकर्ताओं के साथ एक नए ओपन-लाइसेंस डेटासेट के निर्माण, 20 टीमों की भागीदारी और 800 टेस्ट वीडियो पर सात अंतिम विधियों के मूल्यांकन का विवरण दिया गया है, जिसमें सभी संसाधन सार्वजनिक रूप से उपलब्ध कराए गए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त, शोर-शराबे वाले चौक में खड़े हैं। लोग चिल्ला रहे हैं, गाड़ियाँ हॉर्न बजा रही हैं, पक्षी उड़ रहे हैं, और एक सड़क पर प्रदर्शन करने वाला कलाकार करतब दिखा रहा है। आपका मस्तिष्क एक साथ सब कुछ प्रोसेस करने की कोशिश नहीं करता। इसके बजाय, यह तुरंत उन चीजों पर ज़ूम करता है जो सबसे दिलचस्प होती हैं: जैसे कि वह कलाकार, एक चमकता हुआ नियॉन साइन, या अचानक हुई कोई हलचल। यह स्वाभाविक "ज़ूम इन" करने की प्रक्रिया विजुअल सैलिएंसी (visual saliency) कहलाती है।
यह शोध पत्र एक उच्च-स्तरीय प्रतियोगिता (NTIRE 2026 चैलेंज) के बारे में है जहाँ कंप्यूटर वैज्ञानिकों ने कंप्यूटर को ठीक वही करने के लिए प्रशिक्षित करने की कोशिश की जो आपका मस्तिष्क करता है: यह पता लगाना कि एक वीडियो में इंसान कहाँ देख रहा है, हर एक फ्रेम में।
यह इसकी कहानी है कि उन्होंने इसे कैसे किया, जिसे सरल शब्दों में समझाया गया है।
1. समस्या: एक रोबोट को "देखना" सिखाना
लंबे समय से, कंप्यूटर चित्रों में क्या है (जैसे, "वह एक कुत्ता है") इसे पहचानने में बहुत अच्छे रहे हैं। लेकिन वे इस बात को समझने में बहुत खराब हैं कि एक इंसान उस कुत्ते को कहाँ देख रहा होगा। क्या वह कुत्ते की पूंछ देख रहा है? उसकी आँखें? या वह गेंद जिसका वह पीछा कर रहा है?
इसे हल करने के लिए, आयोजकों को वीडियो का एक विशाल पुस्तकालय चाहिए था जहाँ उन्हें पता हो कि हजारों लोग वास्तव में कहाँ देख रहे थे।
- पुराना तरीका: स्वयंसेक्षकों पर महंगे आई-ट्रैकिंग चश्मे का उपयोग करना। यह हर उस व्यक्ति के लिए एक व्यक्तिगत फोटोग्राफर को काम पर रखने जैसा है जो फिल्म देख रहा है। यह धीमा और महंगा है।
- नया तरीका (यहाँ उपयोग किया गया): उन्होंने एक चतुर तकनीक का उपयोग किया। उन्होंने 5,000 से अधिक आम लोगों से अपने कंप्यूटरों पर वीडियो देखने और अपने माउस कर्सर को ऐसे चलाने के लिए कहा जैसे कि वे स्क्रीन को देख रहे हों।
- परिणाम: उन्होंने 2,000 वीडियो का एक विशाल डेटासेट बनाया जिसमें 10 लाख से अधिक फ्रेम थे। उन्होंने माउस की गतिविधियों को एक "डिजिटल आँख" की तरह माना, जिससे एक मानचित्र तैयार हुआ कि लोग सबसे अधिक कहाँ देखने की संभावना रखते हैं।
2. प्रतियोगिता: "आई-ट्रैकिंग ओलंपिक्स"
एक बार जब उनके पास डेटा आ गया, तो उन्होंने एक प्रतियोगिता आयोजित की। दुनिया भर के शोधकर्ताओं और छात्रों की 20 टीमों ने इसमें भाग लिया। उन्हें ऐसे AI मॉडल बनाने थे जो एक वीडियो को देख सकें और एक "हीट मैप" (heat map) बना सकें, जो यह दिखाए कि एक इंसान कहाँ देखेगा।
जजों ने AI की गुणवत्ता मापने के लिए चार अलग-अलग पैमानों का उपयोग किया:
- कोरिलेशन (Correlation): AI का अनुमान वास्तविक मानव मानचित्र से कितनी अच्छी तरह मेल खाता है?
- समानता (Similarity): क्या "हॉट स्पॉट्स" के आकार एक जैसे दिखते हैं?
- एरिया अंडर द कर्व (Area Under the Curve): क्या AI ने एक रैंडम अनुमान की तुलना में सही जगहों को अधिक बार चुना?
- स्कैनपाथ (Scanpath): क्या AI ने मानव आँखों के समान पथ का अनुसरण किया?
3. विजेता: शीर्ष टीमों ने इसे कैसे किया
सात टीमों ने अंतिम दौर में जगह बनाई। यहाँ बताया गया है कि शीर्ष टीमों ने अपनी "सुपर-आँखें" कैसे बनाईं, जिसमें कुछ रचनात्मक रूपकों (metaphors) का उपयोग किया गया है:
🥇 प्रथम स्थान: "डबल-ब्रेन" टीम (iLearn)
- विचार: वे केवल एक तरह के सोचने पर भरोसा नहीं करते थे। उन्होंने एक ऐसा AI बनाया जिसमें दो विशेषज्ञ मिलकर काम करते थे।
- विशेषज्ञ 1 एक जासूस की तरह है जो जानता है कि इंसान आमतौर पर पहले स्क्रीन के केंद्र की ओर देखते हैं।
- विशेषज्ञ 2 एक अनिश्चित तत्व (wild card) है जो अजीब और केंद्र से हटकर चीजों को देखता है।
- जादू: उन्होंने दोनों विशेषज्ञों को अनुमान लगाने दिया, और फिर उनके उत्तरों का औसत निकाला। यह दो अलग-अलग जासूसों से अपराध सुलझाने के लिए कहने और उनके सर्वसम्मति पर निर्णय लेने जैसा है। यह सबसे अच्छा काम कर गया।
🥈 द्वितीय स्थान: "टाइम-ट्रैवलर" टीम (CVSP)
- विचार: इस टीम ने एक मॉडल का उपयोग किया जिसे भविष्य की भविष्यवाणी करने के लिए प्रशिक्षित किया गया था।
- रूपक: कल्पना कीजिए कि आप एक फिल्म देख रहे हैं और अनुमान लगा रहे हैं कि आगे क्या होगा। यदि आपका अनुमान गलत निकलता है, तो आपका मस्तिष्क उस क्षण पर अधिक ध्यान देता है क्योंकि वह आश्चर्यजनक था। इस टीम ने अपने AI को यह भविष्यवाणी करने के लिए प्रशिक्षित किया कि वीडियो का अगला फ्रेम कैसा दिखेगा। जब AI "हैरान" हुआ (अनुमान में त्रुटि हुई), तो उसने उस स्थान को "सैलिएंट" (महत्वपूर्ण) के रूप में चिह्नित किया।
🥉 तृतीय स्थान: "लेयर केक" टीम (ARK MMLAB)
- विचार: उन्होंने सूचनाओं का एक पिरामिड बनाया।
- रूपक: उन्होंने वीडियो को परतों (layers) में देखा। निचली परत सूक्ष्म विवरणों (जैसे फर की बनावट) को देखती है, जबकि ऊपरी परत बड़ी तस्वीर (जैसे "एक दौड़ता हुआ कुत्ता") को देखती है। उन्होंने इन सभी परतों को इस तरह मिलाया कि AI एक ही समय में जंगल और पेड़ों दोनों को देख सके।
अन्य दिलचस्प दृष्टिकोण:
- "साउंड-लुकर" (AAM): उन्होंने महसूस किया कि इंसान उन चीजों को देखते हैं जो बोलती हैं या शोर करती हैं। उनके AI ने जो देखा उसे जो सुना, उसके साथ जोड़ा।
- "पेंटर" (SHU-MIIPLab): उन्होंने एक "डिफ्यूजन" मॉडल का उपयोग किया (वही तकनीक जो AI आर्ट बनाती है)। उन्होंने एक धुंधले, शोर वाले अनुमान से शुरुआत की और धीरे-धीरे उसे "साफ" किया, जैसे एक पेंटर अपने स्केच को निखारता है, जब तक कि सटीक अटेंशन मैप सामने नहीं आ गया।
- "ड्यूल-लेंस" टीम (NTR): उन्होंने दो कैमरों का उपयोग किया: एक गति (movement) पर केंद्रित और दूसरा स्थिरता (stillness/details) पर केंद्रित, फिर दोनों दृश्यों को मिला दिया।
4. यह क्यों मायने रखता है?
आप पूछ सकते हैं, "हमें कंप्यूटर की ज़रूरत क्यों है यह जानने के लिए कि मैं कहाँ देख रहा हूँ?"
- स्मार्ट स्ट्रीमिंग: एक वीडियो कॉल की कल्पना करें। कंप्यूटर जानता है कि आप व्यक्ति के चेहरे को देख रहे हैं, न कि बैकग्राउंड को। यह आपके चेहरे का उच्च-गुणवत्ता वाला वीडियो और बैकग्राउंड का कम-गुणवत्ता वाला वीडियो भेज सकता है, जिससे आपका डेटा और पैसा बचता है।
- बेहतर कंप्रेशन: स्ट्रीमिंग सेवाएँ दिलचस्प हिस्सों पर ध्यान केंद्रित करके वीडियो को अधिक कुशलता से कंप्रेस कर सकती हैं।
- एक्सेसिबिलिटी (Accessibility): यह रोबोट को यह समझने में मदद कर सकता है कि एक इंसान किस चीज़ में रुचि ले रहा है, जिससे वे बेहतर सहायक बन सकते हैं।
- एडिटिंग: यह संपादकों को वीडियो को स्वचालित रूप से क्रॉप करने में मदद कर सकता है ताकि फ्रेम के सबसे महत्वपूर्ण हिस्सों को बनाए रखा जा सके।
निष्कर्ष
यह शोध पत्र दिखाता है कि हम कंप्यूटर को मानव ध्यान (human attention) को समझने के लिए प्रशिक्षित करने में बहुत कुशल हो रहे हैं। आम लोगों से एकत्र किए गए विशाल डेटा का उपयोग करके और विभिन्न स्मार्ट AI रणनीतियों को जोड़कर, विजेताओं ने साबित कर दिया कि वीडियो का भविष्य केवल पिक्सल को देखना नहीं है—बल्कि यह समझना है कि हमारे लिए क्या महत्वपूर्ण है।
सबसे अच्छी बात? सारा डेटा और जीतने वाला कोड अब किसी के भी उपयोग के लिए मुफ्त है, ताकि इस नींव पर अगली पीढ़ी की "सुपर-आँखें" बनाई जा सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।