ViASNet: A Video Ad Saliency Network for Predicting Dynamic Saliency and Viewer Engagement
यह शोध पत्र ViASNet प्रस्तुत करता है, जो एक 3D U-Net आर्किटेक्चर पर आधारित एक डीप लर्निंग मॉडल है जो लघु-फॉर्म वीडियो विज्ञापनों के लिए डायनेमिक सैलिएंसी मैप्स (dynamic saliency maps) की भविष्यवाणी करने हेतु ऑडियो और सिमेंटिक संकेतों को एकीकृत करता है, जो आई-ट्रैकिंग वैलिडेशन और एंट्रॉपी-आधारित डायग्नोस्टिक्स के माध्यम से विज्ञापन डिजाइन को अनुकूलित करने और कम आकर्षक सामग्री की पहचान करने की अपनी क्षमता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक 30 सेकंड का विज्ञापन फिल्मा रहे एक निर्देशक हैं। आप यह सुनिश्चित करना चाहते हैं कि जब लोग आपका विज्ञापन देखें, तो उनकी आँखें ठीक वहीं टिकें जहाँ आप चाहते हैं: उत्पाद पर, मुस्कुराते हुए अभिनेता पर, या आकर्षक लोगो पर। लेकिन यहाँ एक समस्या है: आप लाखों लोगों को अपना विज्ञापन देखने के लिए नहीं कह सकते और हर एक फ्रेम के लिए उनकी आँखों की ट्रैकिंग नहीं कर सकते। यह बहुत महंगा और धीमा होगा।
यह शोध पत्र ViASNet को पेश करता है, जो एक स्मार्ट कंप्यूटर प्रोग्राम है जिसे इस समस्या को हल करने के लिए डिज़ाइन किया गया है। ViASNet को एक "सुपर-ऑब्जर्वर" (महा-निरीक्षक) के रूप में समझें जो एक वीडियो विज्ञापन देख सकता है और तुरंत भविष्यवाणी कर सकता है कि एक इंसान की आँखें सेकंड-दर-सेकंड कहाँ जाएँगी।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. समस्या: विज्ञापनों का "शोर" (Clutter)
हम टिकटॉक, यूट्यूब और टीवी पर छोटे वीडियो विज्ञापनों से घिरे हुए हैं। क्योंकि इनकी संख्या बहुत अधिक है, इसलिए किसी भी एक विज्ञापन के लिए आपका ध्यान खींचना कठिन हो जाता है। विज्ञापनदाताओं को अपने विज्ञापनों का तेज़ी से परीक्षण करने के लिए एक तरीके की आवश्यकता है ताकि वे देख सकें कि कौन से काम कर रहे हैं और कौन से उबाऊ हैं। आमतौर पर, उन्हें लोगों को काम पर रखना पड़ता है, उन्हें आई-ट्रैकिंग कैमरों से जोड़ना पड़ता है, और उन्हें स्क्रीन को देखते हुए देखना पड़ता है। ViASNet इसे स्वचालित रूप से करने का लक्ष्य रखता है।
2. समाधान: एक "तीन-इंद्रिय" जासूस
अधिकांश पुराने कंप्यूटर मॉडल जो आँख की गति की भविष्यवाणी करते हैं, वे केवल चित्र (विजुअल्स) को देखते थे। वे एक ऐसे जासूस की तरह थे जो केवल अपराध स्थल को देखता है लेकिन आवाज़ या कहानी को अनदेखा कर देता है।
ViASNet अलग है। यह एक "तीन-इंद्रिय" जासूस है जो तीन चीजों को एक साथ देखता है:
- दृश्य (The Visuals): स्क्रीन पर क्या हो रहा है? (क्या कोई चेहरा है? क्या कुछ हिल रहा है?)
- ध्वनि (The Audio): क्या बोला जा रहा है या सुना जा रहा है? (क्या कोई तेज़ आवाज़ या आवाज़ आपको ऊपर देखने के लिए प्रेरित करती है?)
- कहानी (The Semantics): वह दृश्य किस बारे में है? (क्या यह एक दुखद क्षण है? एक मज़ेदार चुटकुला? या कार चेज़?)
"कहानी" को समझने के लिए, सिस्टम एक विशाल AI मस्तिष्क (जिसे Qwen3-VL कहा जाता है) का उपयोग करता है जो वीडियो को पढ़ता है और दृश्य का वर्णन करने वाला एक छोटा सा कैप्शन लिखता है, ठीक वैसे ही जैसे एक इंसान करेगा।
3. यह मानचित्र कैसे बनाता है: "सैलियंसी मैप" (Saliency Map)
ViASNet का लक्ष्य एक सैलियंसी मैप बनाना है। कल्पना कीजिए कि आप वीडियो के एक फ्रेम की फोटो ले रहे हैं और उसे एक हीट मैप के साथ पेंट कर रहे हैं:
- लाल/गर्म क्षेत्र (Red/Hot areas): जहाँ लोग देखेंगे।
- नीला/ठंडा क्षेत्र (Blue/Cold areas): जहाँ वे ध्यान नहीं देंगे।
ViASNet प्रत्येक वीडियो फ्रेम के लिए यह मैप बनाता है, जिससे एक चलता-फिरता हीट मैप तैयार होता है जो दिखाता है कि समय के साथ ध्यान कैसे बदलता है।
4. इसका गुप्त मंत्र: यह कैसे सीखता है
शोधकर्ताओं ने ViASNet को 151 वास्तविक टीवी विज्ञापनों के डेटा का उपयोग करके प्रशिक्षित किया था, जिन्हें लगभग 20 लोगों द्वारा देखा गया था जबकि उनकी आँखों को हाई-टेक कैमरों द्वारा ट्रैक किया जा रहा था।
मॉडल ने अपनी भविष्यवाणियों की तुलना उन 20 लोगों की वास्तविक आँख की गतिविधियों से करके सीखा। यह एक विशेष आर्किटेक्चर का उपयोग करता है जिसे 3D U-Net कहा जाता है।
- उपमा (Analogy): U-Net को एक फनल (कीप) की तरह समझें। यह वीडियो को लेता है, मुख्य विचारों को समझने के लिए उसे सिकोड़ता है (बॉटलनेक), और फिर विस्तृत हीट मैप बनाने के लिए उसे वापस फैला देता है।
- "सेंटर बायस" (The Center Bias): मनुष्य स्वाभाविक रूप से स्क्रीन के केंद्र की ओर देखते हैं। ViASNet इस चाल को जानता है और वास्तविक मानव की तरह ही अपनी भविष्यवाणियों में थोड़ा "सेंटर बायस" जोड़ता है।
5. "एन्ट्रॉपी" टेस्ट: बोरियत को मापना
लेखकों ने जो सबसे शानदार टूल बनाया है, वह है एन्ट्रॉपी (Entropy) मापने का एक तरीका (एन्ट्रॉपी का अर्थ है "अव्यवस्था" या "भ्रम")।
- कम एन्ट्रॉपी (व्यवस्थित): यदि हीट मैप दिखाता है कि हर कोई एक ही जगह देख रहा है (जैसे केंद्र में एक चेहरा), तो एन्ट्रॉपी कम है। इसका मतलब है कि विज्ञापन दिलचस्प (Engaging) है।
- उच्च एन्ट्रॉपी (अव्यवस्थित): यदि हीट मैप बिखरा हुआ है, या यदि लोग किसी खास चीज़ की ओर नहीं देख रहे हैं, तो एन्ट्रॉपी उच्च है। इसका मतलब है कि विज्ञापन भ्रमित करने वाला या उबाऊ है।
उन्होंने इसका उपयोग 15 नए विज्ञापनों का परीक्षण करने के लिए किया जिन्हें उन्होंने पहले कभी नहीं देखा था। वे तुरंत पहचान सकते थे कि कौन से दृश्य दर्शकों का ध्यान भटका रहे थे। उदाहरण के लिए, उन्होंने पाया कि यदि किसी दृश्य में बहुत सारी वस्तुएं या टेक्स्ट इधर-उधर बिखरे हुए थे, तो दर्शकों की आँखें भटक जाती थीं, और उनका "एंगेजमेंट स्कोर" गिर जाता था।
6. परिणाम: यह बाकी सबसे बेहतर है
शोधकर्ताओं ने ViASNet का परीक्षण अन्य प्रसिद्ध कंप्यूटर मॉडलों के विरुद्ध किया (कुछ जो केवल चित्रों को देखते हैं, कुछ जो फिल्मों को देखते हैं)।
- फैसला: ViASNet जीत गया। इसने अन्य सभी मॉडलों की तुलना में अधिक सटीकता से भविष्यवाणी की कि लोग कहाँ देखेंगे।
- क्यों? क्योंकि इसने केवल पिक्सेल को नहीं देखा; इसने ध्वनि, कहानी और दृश्यों के बीच के बदलावों (कट्स) को समझा। इसने महसूस किया कि जब कोई दृश्य बदलता है (एक "कट"), तो लोगों की आँखें खुद को फिर से व्यवस्थित करने के लिए स्वाभाविक रूप से केंद्र की ओर कूदती हैं, और इसने उस बात का भी हिसाब रखा।
सारांश
संक्षेप में, ViASNet एक स्वचालित उपकरण है जो विज्ञापनदाताओं को बिना किसी लैब में बैठे किसी भी मानव के माध्यम से अपने दर्शकों की आँखों से "देखने" की अनुमति देता है। यह यह अनुमान लगाने के लिए कि आपका ध्यान कहाँ जाएगा, यह जोड़ता है कि आप क्या देखते हैं, आप क्या सुनते हैं, और कहानी का क्या अर्थ है। यदि कोई विज्ञापन उबाऊ या भ्रमित करने वाला है, तो यह सिस्टम आपको बता सकता है कि वह सेकंड बिल्कुल कब होता है, जिससे रचनाकार एक बड़ा मार्केटिंग अभियान शुरू करने से पहले उसे ठीक कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।