💻 computer science

SalFormer360: a transformer-based saliency estimation model for 360-degree videos

यह शोधपत्र SalFormer360 को प्रस्तुत करता है, जो एक नवीन ट्रांसफॉर्मर-आधारित मॉडल है जो कई बेंचमार्क डेटासेट्स में 360-डिग्री वीडियो के लिए अत्याधुनिक सलींसी अनुमान (saliency estimation) प्रदर्शन प्राप्त करने के लिए एक फाइन-ट्यून्ड SegFormer एनकोडर को एक कस्टम डिकोडर और व्यूइंग सेंटर बायस (Viewing Center Bias) के साथ जोड़ता है।

मूल लेखक: Mahmoud Z. A. Wahba, Francesco Barbato, Sara Baldoni, Federica Battisti

प्रकाशित 2026-02-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mahmoud Z. A. Wahba, Francesco Barbato, Sara Baldoni, Federica Battisti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक वर्चुअल रियलिटी (VR) हेडसेट पहना हुआ है। आप एक विशाल, 360-डिग्री गोले के बीच में खड़े हैं। आप ऊपर, नीचे, बाएँ, दाएँ देख सकते हैं या पूरी तरह से घूम सकते हैं। समस्या यह है कि उस गोले में सब कुछ हाई क्वालिटी में दिखाने के लिए जिस वीडियो फ़ाइल की आवश्यकता है, वह बहुत विशाल है—जैसे कि एक पूरी मूवी थिएटर के डेटा को आपके हेडसेट में स्ट्रीम करने की कोशिश करना। यह बहुत धीमा होगा और आपके इंटरनेट बैंडविड्थ का बहुत अधिक उपयोग करेगा।

इसे ठीक करने के लिए, इंजीनियर "व्यूपोर्ट स्ट्रीमिंग" (viewport streaming) नामक एक ट्रिक का उपयोग करते हैं। पूरे गोले को हाई डेफिनिशन में भेजने के बजाय, वे उस हिस्से को हाई क्वालिटी में भेजते हैं जिसे आप देख रहे हैं और बाकी हिस्से को लो क्वालिटी में। लेकिन ऐसा करने के लिए, कंप्यूटर को यह अनुमान लगाना होता है कि आप अगली बार कहाँ देखेंगे।

यहीं पर यह पेपर आता है। लेखकों ने एक नया AI दिमाग बनाया है जिसे SalFormer360 कहा जाता है ताकि वह यह अनुमान लगा सके।

समस्या: "सेंटर बायस" (The "Center Bias")

जब आप पहली बार VR हेडसेट पहनते हैं, तो आप आमतौर पर सीधे सामने देखते हैं। आप तुरंत पागलों की तरह इधर-उधर नहीं घूमते। आप घूमने या तलाश करने से पहले कुछ समय के लिए अपने दृश्य के केंद्र (center) पर ध्यान केंद्रित करते हैं। लेखक इसे "व्यूइंग सेंटर बायस" (Viewing Center Bias) कहते हैं।

इसे एक नए कमरे में जाने जैसा समझें। आप दरवाजे पर खड़े होते हैं और अपने सामने की दीवार को सीधे देखते हैं। आप तुरंत 360 डिग्री नहीं घूमते। आप पहले केंद्र पर ध्यान केंद्रित करते हैं।

समाधान: एक "ट्रांसफॉर्मर" जासूस

टीम ने SalFormer360 बनाया है। यह समझने के लिए कि यह कैसे काम करता है, कल्पना करें कि यह एक अत्यधिक प्रशिक्षित जासूस है जिसके पास दो विशेष उपकरण हैं:

द सेगफॉर्मर बैकबोन (The SegFormer Backbone - ऑब्जेक्ट स्पॉटर):
यह मॉडल एक पूर्व-प्रशिक्षित "जासूस" का उपयोग करता है जो मूल रूप से फ्लैट, 2D तस्वीरों में वस्तुओं को खोजने के लिए बनाया गया था (जैसे किसी फोटो में बिल्ली को खोजना)। लेखकों ने महसूस किया कि जो चीज़ आपका ध्यान खींचती है (एक व्यक्ति, एक गेंद, एक कार), वह अक्सर वही होती है जिसे एक "ऑब्जेक्ट स्पॉटर" खोजता है। इसलिए, उन्होंने इस मौजूदा 2D जासूस को लिया और इसे 360-डिग्री वीडियो के अजीब, खिंचे हुए आकार (जो दुनिया के एक फ्लैट मानचित्र जैसा दिखता है) को संभालने के लिए प्रशिक्षित किया।
द कस्टम डिकोडर (The Custom Decoder - मैप मेकर):
एक बार जब जासूस दिलचस्प वस्तुओं को पहचान लेता है, तो एक कस्टम "मैप मेकर" उन स्थानों को एक हीट मैप (heat map) में बदल देता है। यह मैप दिखाता है कि एक इंसान वास्तव में कहाँ देखने की संभावना रखता है।
द "सेंटर बायस" एडजस्टमेंट (The "Center Bias" Adjustment - मेमोरी):
यही असली सफलता का मंत्र है। मॉडल केवल चित्र को नहीं देखता है; यह यह भी याद रखता है कि इंसान आमतौर पर केंद्र से देखना शुरू करते हैं।
- वीडियो की शुरुआत में: मॉडल कहता है, "हे, यूजर ने अभी-अभी हेडसेट पहना है। वे शायद केंद्र की ओर देख रहे होंगे। चलिए प्रेडिक्शन के लिए बीच वाले हिस्से को बढ़ावा देते हैं।"
- जैसे-जैसे वीडियो आगे बढ़ता है: मॉडल को एहसास होता है, "ठीक है, उनके पास इधर-उधर देखने के लिए समय हो गया है। अब 'सेंटर रूल' उतना महत्वपूर्ण नहीं है।" यह धीरे-धीरे "सेंटर बायस" का वॉल्यूम कम कर देता है और वास्तविक वस्तुओं पर अधिक ध्यान केंद्रित करता है।

यह कितना अच्छा है?

लेखकों ने कई बड़े 360-डिग्री वीडियो लाइब्रेरी (खेल, गेमिंग और सामान्य दृश्य) का उपयोग करके इस जासूस का परीक्षण कई अन्य "जासूसों" (मौजूदा AI मॉडल) के विरुद्ध किया।

परिणाम: SalFormer360 लोगों के देखने के स्थान का अनुमान लगाने में सबसे अच्छा था। इसने पिछले सर्वश्रेष्ठ मॉडलों की तुलना में सटीकता में 18.6% तक सुधार किया।
दक्षता (Efficiency): अन्य मॉडलों के विपरीत जो भारी, धीमे ट्रकों की तरह हैं, SalFormer360 एक हल्का स्पोर्ट्स कार है। यह इतना छोटा है कि इसे बिना बैकग्राउंड में सुपरकंप्यूटर की आवश्यकता के सीधे VR हेडसेट पर चलाया जा सकता है। यह केवल 5 मिलीसेकंड (मानव पलक झपकने से भी तेज़) में एक भविष्यवाणी कर सकता है।

जहाँ यह संघर्ष करता है (चुनौतीपूर्ण मामले)

पेपर स्वीकार करता है कि मॉडल परफेक्ट नहीं है। यह दो विशिष्ट स्थितियों में संघर्ष करता है:

अराजकता (Chaos): यदि कोई दृश्य हलचल से भरा है और एक साथ बहुत सारी दिलचस्प चीजें हो रही हैं (जैसे कि किसी व्यस्त एम्यूजमेंट पार्क राइड में), तो मॉडल भ्रमित हो जाता है और सही स्थान चुनने के बजाय केवल "सेंटर" का अनुमान लगा लेता है।
डिस्ट्रैक्टर्स (Distractors): यदि कोई चमकीला, फ्लैशिंग लोगो या कोई अजीब वस्तु है जो मुख्य फोकस नहीं है, तो मॉडल यह सोचने के लिए धोखा खा सकता है कि उपयोगकर्ता उसी को देख रहा है, भले ही उपयोगकर्ता वास्तव में मुख्य एक्शन को देख रहा हो।

निचोड़ (The Bottom Line)

यह पेपर SalFormer360 को VR उपयोगकर्ताओं के देखने के स्थान की भविष्यवाणी करने के एक स्मार्ट, तेज़ और कुशल तरीके के रूप में प्रस्तुत करता है। एक शक्तिशाली ऑब्जेक्ट-स्पॉटिंग AI को मानव व्यवहार की सरल समझ (कि हम केंद्र से देखना शुरू करते हैं) के साथ जोड़कर, यह 360-डिग्री वीडियो को अधिक सुचारू रूप से स्ट्रीम करने में मदद करता है, जिससे डेटा बचता है और अनुभव अधिक वास्तविक महसूस होता है।

तकनीकी सारांश: SalFormer360

समस्या विवरण
सैलियेंसी अनुमान (Saliency estimation) 360-डिग्री (ओम्नीडायरेक्शनल) वीडियो के ट्रांसमिशन और देखने के अनुभव को अनुकूलित करने के लिए महत्वपूर्ण है, विशेष रूप से व्यूपोर्ट प्रेडिक्शन और कंटेंट ऑप्टिमाइज़ेशन जैसे कार्यों के लिए। हालाँकि, मौजूदा विधियों को 360-डिग्री कंटेंट की गोलाकार ज्यामिति (spherical geometry) के कारण महत्वपूर्ण चुनौतियों का सामना करना पड़ता है, जो इक्विरेक्टेंगुलर प्रोजेक्शन (equirectangular projections) में ज्यामितीय विरूपण (geometric distortions) उत्पन्न करती है। इसके अलावा, कई अत्याधुनिक दृष्टिकोण अत्यधिक गणनात्मक रूप से महंगे तकनीकों पर निर्भर करते हैं, जैसे कि स्फेरिकल कन्वेल्शन्स (spherical convolutions), क्यूबमैप प्रोजेक्शन, या लंबे टेम्पोरल सीक्वेंस (अक्सर 10 फ्रेम से अधिक) और ऑप्टिकल फ्लो का प्रसंस्करण। इन विधियों में उच्च कम्प्यूटेशनल ओवरहेड और मेमोरी की आवश्यकता होती है, जिससे वे हेड-माउंटेड डिस्प्ले (HMDs) जैसे संसाधन-सीमित उपकरणों पर रीयल-टाइम तैनाती के लिए कम उपयुक्त हो जाते हैं। इसके अतिरिक्त, मानव देखने के व्यवहार को सटीक रूप से मॉडल करना, विशेष रूप से फ्रेम के केंद्र पर ध्यान केंद्रित करने की प्रवृत्ति (Viewing Center Bias), एक जटिल कार्य बना हुआ है जिसे कई मॉडल पूरी तरह से संबोधित नहीं करते हैं।

कार्यप्रणाली (Methodology)
लेखक SalFormer360 प्रस्तावित करते हैं, जो एक हल्का, ट्रांसफार्मर-आधारित सैलियेंसी अनुमान मॉडल है जिसे विशेष रूप से 360-डिग्री वीडियो के लिए डिज़ाइन किया गया है। आर्किटेक्चर निम्नलिखित घटकों पर आधारित है:

एनकोडर (SegFormer बैकबोन): मॉडल SegFormer के एनकोडर का उपयोग करता है, जो एक ट्रांसफार्मर-आधारित आर्किटेक्चर है जिसे मूल रूप से 2D सिमेंटिक सेगमेंटेशन के लिए विकसित किया गया था। लेखकों ने इस एनकोडर को 360-डिग्री इक्विरेक्टेंगुलर फ्रेम्स को संभालने के लिए फाइन-ट्यून किया है। टेम्पोरल डायनेमिक्स को कैप्चर करने के लिए, मॉडल दो इनपुट फ्रेम स्वीकार करता है: वर्तमान फ्रेम ( $t$ ) और एक पिछला फ्रेम ( $t-5$ )। इन्हें चैनल आयाम के साथ संयोजित करके 6-चैनल इनपुट बनाया जाता है, जिसमें प्रारंभिक कन्वेल्यूशनल लेयर के वेट्स को इस प्रकार अनुकूलित किया जाता है।
कस्टम डिकोडर: एक विशेष डिकोडर एनकोडर से प्राप्त फीचर मैप्स को प्रोसेस करता है। इसमें स्थानिक रिज़ॉल्यूशन को पुनर्गठित करने के लिए कन्वेल्यूशनल लेयर्स, बैच नॉर्मलाइजेशन, ReLU एक्टिवेशन और बाइलिनियर अपसैंपलिंग का एक क्रम शामिल है। एक सिग्मॉइड एक्टिवेशन के साथ अंतिम कन्वेल्यूशनल लेयर एक प्रारंभिक सैलियेंसी मैप ( $S_{init}$ ) उत्पन्न करती है। ओवरफिटिंग को रोकने के लिए ट्रेनिंग के दौरान ड्रॉपआउट (30%) लागू किया जाता है।
व्यूइंग सेंटर बायस (CB) एकीकरण: 360-डिग्री फ्रेम के प्लेबैक शुरू होने पर मानव की केंद्र की ओर देखने की प्रवृत्ति को ध्यान में रखते हुए, मॉडल एक डायनेमिक व्यूइंग सेंटर बायस को शामिल करता है। यह पहले फ्रेम के औसत सैलियेंसी मैप (CB) को प्रारंभिक प्रेडिक्शन ( $S_{init}$ ) के साथ फ्यूज करके प्राप्त किया जाता है। यह फ्यूजन एक समय-निर्भर वेटिंग फैक्टर ( $w_t$ ) द्वारा नियंत्रित होता है, जिसे निम्नानुसार परिभाषित किया गया है:
$S = w_t \cdot CB + (1 - w_t) \cdot S_{init}$
वेट $w_t$ , एक स्टैटिक पैरामीटर ( $\beta_i$ ) और एक डीकेइंग डायनेमिक फंक्शन ( $\delta(t) = e^{-\alpha_i(t/C)^2}$ ) को जोड़ता है। यह मॉडल को शॉर्ट-टर्म बायस (जो वीडियो की शुरुआत में मजबूत होता है) और लॉन्ग-टर्म बायस के बीच अनुकूल रूप से संतुलन बनाने की अनुमति देता है, जहाँ $\alpha_i$ और $\beta_i$ पैरामीटर्स प्रत्येक विशिष्ट डेटासेट के लिए ट्रेनिंग के दौरान सीखे जाते हैं।
लॉस फंक्शन: मॉडल को चार टर्म्स के संयोजन वाले एक कंपोजिट लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है: पियर्सन लीनियर कोरिलेशन कोएफिशिएंट ( $L_{CC}$ ), कुलबैक-लीब्लर डाइवर्जेंस ( $L_{KL}$ ), स्फेरिकल मीन स्क्वेर्ड एरर ( $L_{SMSE}$ ), और बाइनरी क्रॉस एंट्रॉपी ( $L_{BCE}$ )। $L_{SMSE}$ विशेष रूप से ध्रुवों (poles) के पास के बजाय भूमध्य रेखा (equator) के पास की त्रुटियों को अधिक दंडित करने के लिए स्फेरिकल वेट्स लागू करता है, जो प्रोजेक्शन डिस्टॉर्शन को संबोधित करता है।

प्रमुख योगदान

नवीन आर्किटेक्चर: SalFormer360 का परिचय, जो एक ट्रांसफार्मर-आधारित मॉडल है जो 360-डिग्री सैलियेंसी अनुमान के लिए SegFormer बैकबोन का लाभ उठाता है, यह प्रदर्शित करता है कि सेगमेंटेशन आर्किटेक्चर को सैलियेंसी कार्यों के लिए प्रभावी ढंग से पुन: उपयोग किया जा सकता है।
व्यूइंग बायस मॉडलिंग: एक सीखने योग्य (learnable) व्यूइंग सेंटर बायस तंत्र का एकीकरण जो फ्रेम इंडेक्स और डेटासेट विशेषताओं के आधार पर गतिशील रूप से समायोजित होता है, जो मानव अन्वेषण व्यवहार को दर्शाकर भविष्यवाणी सटीकता में सुधार करता है।
डेटासेट विस्तार: लेखकों ने हेड-ओरिएंटेशन डेटा से ग्राउंड-ट्रुथ सैलियेंसी मैप्स जेनरेट करके और RGB फ्रेम्स निकालकर PVS-HM और VR-EyeTracking डेटासेट्स का विस्तार किया है, जिससे वे भविष्य के अनुसंधान के लिए अधिक सुलभ हो गए हैं।
दक्षता: मॉडल को हल्का बनाया गया है, जो टेम्पोरल कॉन्टेक्स्ट के लिए केवल दो फ्रेम का उपयोग करता है और जटिल स्फेरिकल कन्वेल्शन्स या ऑप्टिकल फ्लो गणनाओं से बचता है।

प्रायोगिक परिणाम
तीन बड़े पैमाने के बेंचमार्क डेटासेट्स: Sport360, PVS-HM, और VR-EyeTracking पर व्यापक प्रयोग किए गए। मॉडल की तुलना विभिन्न 2D वीडियो, 360-डिग्री इमेज मॉडल, और 360-डिग्री वीडियो मॉडल सहित कई अत्याधुनिक विधियों से की गई।

प्रदर्शन: SalFormer360 ने तीनों डेटासेट्स पर मौजूदा विधियों को पछाड़ दिया। पियर्सन कोरिलेशन कोएफिशिएंट (CC) के मामले में, इसने सर्वश्रेष्ठ रिपोर्ट की गई पिछली परिणामों की तुलना में Sport360 पर 8.4%, PVS-HM पर 2.5%, और VR-EyeTracking पर 18.6% का सुधार हासिल किया।
दक्षता: मॉडल अत्यधिक कुशल है, जिसमें केवल 3.7 मिलियन पैरामीटर्स हैं और इसके लिए 14.13 MB स्टोरेज की आवश्यकता है। यह 1.21 GFLOPs की कम्प्यूटेशनल लागत प्राप्त करता है।
इन्फरेंस स्पीड: NVIDIA L40s GPU पर, मॉडल प्रति फ्रेम औसतन 5.1 ms का इन्फरेंस टाइम (लगभग 196 fps) प्राप्त करता है, जो रीयल-टाइम अनुप्रयोगों के लिए इसकी उपयुक्तता की पुष्टि करता है।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि डायनेमिक ( $\delta$ ) और स्टैटिक ( $\beta$ ) दोनों घटक व्यूइंग सेंटर बायस में प्रदर्शन में योगदान देते हैं, और उनकी सापेक्ष महत्ता डेटासेट के अनुसार भिन्न होती है। सभी चार लॉस फंक्शन्स के संयोजन ने सर्वोत्तम समग्र प्रदर्शन दिया।

महत्व और दावे
पेपर का दावा है कि SalFormatter360 कम कम्प्यूटेशनल जटिलता बनाए रखते हुए 360-डिग्री वीडियो सैलियेंसी अनुमान के लिए ट्रांसफार्मर आर्किटेक्चर की प्रतिनिधित्व शक्ति (representational power) को प्रदर्शित करता है। एक 2D सेगमेंटेशन एनकोडर को सफलतापूर्वक अनुकूलित करके और डेटा-संचालित व्यूइंग बायस को एकीकृत करके, मॉडल स्फेरिकल कन्वेल्शन्स या लंबे-अनुक्रम प्रसंस्करण के भारी कम्प्यूटेशनल बोझ के बिना अत्याधुनिक सटीकता प्राप्त करता है। लेखक इस बात पर जोर देते हैं कि मॉडल की हल्का स्वभाव इसे सीधे VR हेडसेट्स जैसे एज-साइड या क्लाइंट-साइड पर तैनाती के लिए विशेष रूप से उपयुक्त बनाता है, जिससे व्यूपोर्ट प्रेडिक्शन और इमर्सिव कंटेंट ऑप्टिमाइज़ेशन के लिए रीयल-टाइम सैलियेंसी अनुमान संभव हो पाता है। यह कार्य सुझाव देता है कि सटीक और कुशल सैलियेंसी मैप्स, सैलिएंट क्षेत्रों के उच्च-गुणवत्ता वाले ट्रांसमिशन की अनुमति देकर और पेरिफेरल क्षेत्रों को डाउनग्रेड करके, 360-डिग्री वीडियो की स्ट्रीमिंग दक्षता को महत्वपूर्ण रूप से बढ़ा सकते हैं।

समस्या: "सेंटर बायस" (The "Center Bias")

समाधान: एक "ट्रांसफॉर्मर" जासूस

यह कितना अच्छा है?

जहाँ यह संघर्ष करता है (चुनौतीपूर्ण मामले)

निचोड़ (The Bottom Line)

इसी तरह के और पेपर