तकनीकी सारांश: VEGAS – दृष्टि (Gaze) के माध्यम से मानव-संरेखित वीडियो कैप्शन मूल्यांकन

1. समस्या विवरण

विज़न-लैंग्वेज मॉडल (VLMs) अर्थपूर्ण रूप से सटीक वीडियो कैप्शन उत्पन्न करने में उत्कृष्ट हैं, लेकिन वे आमतौर पर विविध मानवीय व्याख्याओं को एकत्रित करने वाले क्राउड-सोर्स किए गए एनोटेशन पर निर्भर करते हैं। इसके परिणामस्वरूप, ये मॉडल अक्सर ऐसे "वैश्विक रूप से सही" विवरण उत्पन्न करते हैं जो व्यक्तिगत दर्शकों के विशिष्ट ध्यान पैटर्न (attention patterns) को पकड़ने में विफल रहते हैं। कैप्शन-अनुक्रमित पुनर्प्राप्ति (caption-indexed retrieval) जैसे अनुप्रयोगों में, एक सामान्य कैप्शन जो अनदेख (unattended) पृष्ठभूमि सामग्री पर जोर देता है, उपयोगकर्ता के लिए उस विशिष्ट वस्तु या क्रिया के आधार पर वीडियो को खोजना कठिन बना सकता है जिस पर उन्होंने ध्यान दिया था।

मुख्य समस्या उत्पन्न होने वाली समस्या है: उत्पन्न कैप्शन और व्यक्तिगत दृश्य ध्यान (visual attention) के बीच का मिसअलाइनमेंट। जबकि मानव दृष्टि (gaze) दृश्य ध्यान के एक मापने योग्य प्रॉक्सी के रूप में कार्य करती है, पिछले कार्यों ने मुख्य रूप से प्रशिक्षण के समय केवल एक पर्यवेक्षण संकेत (supervision signal) के रूप में दृष्टि का उपयोग किया है। यह शोध इस बात की जांच करता है कि क्या अंतर्निहित मॉडल को पुन: प्रशिक्षित किए बिना, विशिष्ट दर्शक के फोकस को दर्शाने वाले व्यक्तिगत कैप्शन चुनने के लिए परीक्षण के समय (test time) दृष्टि का लाभ उठाया जा सकता है।

2. कार्यप्रणाली

2.1 VEGAS मीट्रिक (वीडियो कैप्शन इवैल्यूएशन वाया गेज़ स्कोर)

लेखक VEGAS का प्रस्ताव करते हैं, जो एक प्रशिक्षण-मुक्त, क्रॉस-मोडल, सूचना-सैद्धांतिक मीट्रिक है जिसे यह मापने के लिए डिज़ाइन किया गया है कि एक उम्मीदवार कैप्शन दर्शक की दृष्टि के साथ कितनी अच्छी तरह संरेखित होता है।

• सूत्र (Formulation): लक्ष्य एक कैप्शन $t$ और एक दृष्टि संकेत $G$ के बीच पारस्परिक सूचना (mutual information) को अधिकतम करना है। चूंकि वास्तविक मार्जिनल डिस्ट्रीब्यूशन $P(t)$ और $P(G)$ अगम्य (intractable) हैं, VEGAS इसे एक फ्रीज्ड, प्री-ट्रेन्ड VLM के कंडीशनल लाइकलीहुड्स का उपयोग करके अनुमानित करता है।
• मुख्य अंतर्ज्ञान (Core Intuition): एक दृष्टि-संरेखित कैप्शन केवल देखी गई क्षेत्रों ($G$) से अत्यधिक अनुमानित होना चाहिए, जिसमें गैर-देखी गई क्षेत्रों ($\bar{G}$) का अतिरिक्त योगदान न्यूनतम हो।
• परिभाषा: VEGAS को देखे गए क्षेत्रों ($G$) पर आधारित, कैप्शन टोकन $t$ और गैर-देखी गई क्षेत्रों $\bar{G}$ के बीच पॉइंटवाइज कंडीशनल म्यूचुअल इंफॉर्मेशन के रूप में परिभाषित किया गया है:
  $$\text{VEGAS}(c, G) \triangleq I(t; \bar{G} | G) = \log \frac{P_\theta(t | V)}{P_\theta(t | G)}$$
  जहाँ $V$ पूर्ण वीडियो है और $G$ दृष्टि-देखी गई वीडियो है।
• व्याख्या: एक कम VEGAS स्कोर बेहतर होता है। यह इंगित करता है कि कैप्शन केवल देखी गई क्षेत्रों द्वारा अच्छी तरह से समझाया गया है। एक उच्च स्कोर का अर्थ है कि कैप्शन दर्शक के फोकस से बाहर की दृश्य सामग्री पर बहुत अधिक निर्भर करता है।
• टोकन-स्तरीय अपघटन (Token-Level Decomposition): यह मीट्रिक टोकन के ऊपर ऑटोरेग्रेसिव रूप से विघटित होता है, जिससे उन विशिष्ट अर्थपूर्ण अवधारणाओं की पहचान की जा सकती है जो दर्शक की दृष्टि द्वारा समर्थित या असमर्थित हैं।

2.2 दृष्टि-आधारित रिजेक्शन सैंपलिंग (Gaze-Conditioned Rejection Sampling)

VEGAS का उपयोग मौजूदा VLMs द्वारा उत्पन्न उम्मीदवारों के समूह से कैप्शन चुनने के लिए किया जाता है, बिना मॉडल को पुन: प्रशिक्षित किए:

1. उम्मीदवार पीढ़ी (Candidate Generation): विभिन्न डिकोडिंग तापमानों का उपयोग करके कई VLMs एक वीडियो $V$ के लिए $N$ उम्मीदवार कैप्शन उत्पन्न करते हैं।
2. स्कोरिंग (Scoring): प्रत्येक उम्मीदवार $c_i$ के लिए, दर्शक के दृष्टि संकेत $G$ का उपयोग करके VEGAS स्कोर की गणना की जाती है।
3. चयन (Selection): जिस कैप्शन का सबसे कम VEGAS स्कोर होता है उसे चुना जाता है:
   $$c^* = \arg \min_{c_1, \dots, c_N} \text{VEGAS}(c_i, G)$$
   यह प्रक्रिया उन कैप्शनों को प्रभावी ढंग से फ़िल्टर करती है जो अनदेखी सामग्री का वर्णन करते हैं, और उन कैप्शनों को प्राथमिकता देती है जो दर्शक के विशिष्ट ध्यान केंद्र के साथ संरेखित होते हैं।

3. डेटासेट क्यूरेशन

इस ढांचे के मूल्यांकन के लिए, लेखकों ने दो डोमेन में सिंक्रोनाइज़्ड मानव दृष्टि, दृश्य सामग्री और मुक्त-रूप मानव-लिखित कैप्शन की जोड़ी वाला एक मल्टीमॉडल डेटासेट तैयार किया:

1. Aria Everyday Activities (AEA): प्रोजेक्ट एरिया स्मार्ट ग्लास डेटा से प्राप्त 332 एगोसेंट्रिक (egocentric) वीडियो क्लिप। ये क्लिप गतिशील, वास्तविक दुनिया के कार्यों (जैसे खाना बनाना, कंप्यूटिंग) को कैप्चर करते हैं जहाँ दृष्टि ठोस वस्तु अस्पष्टताओं को हल करने में मदद करती है।
2. SlideVQA: 30 डेक से 300 निर्देशात्मक स्लाइड्स। प्रतिभागियों ने वेबकैम-आधारित आई ट्रैकिंग के माध्यम से स्लाइड्स देखीं और कैप्शन प्रदान किए। यह डोमेन सघन दृश्य मीडिया में दृष्टि-कंडीशनिंग का परीक्षण करता है जहाँ वैचारिक अमूर्तीकरण (conceptual abstraction) की आवश्यकता होती है।

इस डेटासेट में 2,981 उच्च-गुणवत्ता वाले मानव एनोटेशन शामिल हैं, जो ध्यान-संचालित अर्थपूर्ण विविधताओं को कैप्चर करते हैं।

4. मुख्य परिणाम

4.1 अर्थपूर्ण संरेखण (Semantic Alignment)

• AEA (एगोसेंट्रिक): VEGAS-चयनित कैप्शन ने नैव (naive) VLM कैप्शन की तुलना में मानव एनोटेशन के साथ सांख्यिकीय रूप से महत्वपूर्ण सुधार दिखाया। औसत SBERT समानता +0.0856 (+13.53%) बढ़ गई ($p < 0.001$)।
• SlideVQA: सुधार छोटा था (+0.0256) और सांख्यिकीय रूप से महत्वपूर्ण नहीं था ($p = 0.0952$)। लेखक इसका श्रेय स्लाइड्स की प्रकृति को देते हैं, जहाँ एक ही विजुअल के लिए कई वैध वैचारिक सारांश मौजूद होते हैं, जिससे दृष्टि, अमूर्त व्याख्याओं के लिए एक कमजोर चयनकर्ता बन जाती है।

4.2 कैप्शन-टू-वीडियो रिट्रीवल (Caption-to-Video Retrieval)

AEA डेटासेट पर, VEGAS का उपयोग कैप्शन-टू-वीडियो पुनर्प्राप्ति के लिए एक इंडेक्स बनाने हेतु किया गया:

• प्रदर्शन: VEGAS-चयनित इंडेक्स ने रैंडम VLM कैप्शन की तुलना में रिट्रीवल मेट्रिक्स में सुधार किया।
  • Precision/Recall/mAP@1: +1.14% सुधार।
  • Recall@5: +4.16% सुधार।
  • mAP@10: +2.46% सुधार।
• गैप क्लोजर (Gap Closure): VEGAS ने रैंक 1 पर रैंडम मशीन चयन और मानव-मानव रिट्रीवल के बीच के अंतर को लगभग 15% रिकवर किया, लेकिन Recall@5 और Recall@10 पर 40% से अधिक के अंतर को रिकवर किया। यह सुझाव देता है कि VEGAS प्रभावी रूप से सही वीडियो को शीर्ष कुछ उम्मीदवारों में ले आता है, भले ही वह हमेशा शीर्ष रैंक तक न पहुँच पाए।

4.3 एब्लेशन और डायग्नोस्टिक्स (Ablation and Diagnostics)

• दृष्टि भ्रष्टाचार (Gaze Corruption): वास्तविक दृष्टि को अन्य क्लिप की रैंडम दृष्टि से बदलने पर VEGAS स्कोर में उल्लेखनीय वृद्धि हुई (संरेखण में गिरावट), जो सही दृष्टि संकेतों के प्रति मीट्रिक की संवेदनशीलता की पुष्टि करता है।
• लंबाई पूर्वाग्रह (Length Bias): सहसंबंध विश्लेषण ने दिखाया कि VEGAS कैप्शन की लंबाई या जेनेरिकनेस (genericness) से संचालित नहीं है; सुधार छोटे कैप्शन चुनने से स्पष्ट नहीं होते हैं।
• टोकन-स्तरीय विश्लेषण: गुणात्मक उदाहरणों ने प्रदर्शित किया कि VEGAS अनदेखी क्षेत्रों (जैसे "बगीचा" जब उपयोगकर्ता "वॉशिंग मशीन" देख रहा था) का वर्णन करने वाले टोकन को सही ढंग से दंडित करता है और फिक्सेशन पॉइंट्स (fixation points) के साथ संरेखित टोकन को प्राथमिकता देता है।

5. महत्व और दावे

पेपर का दावा है कि VEGAS अनुमान (inference) के दौरान दर्शक के ध्यान को शामिल करने की व्यावहारिक उपयोगिता को प्रदर्शित करता है। इसके प्राथमिक योगदान हैं:

1. एक प्रशिक्षण-मुक्त मीट्रिक: यह बड़े विजन-लैंग्वेज मॉडल को फाइन-ट्यून या पुन: प्रशिक्षित किए बिना व्यक्तिगत कैप्शन का मूल्यांकन और चयन करने का एक तरीका प्रदान करता है।
2. टेस्ट-टाइम कंडीशनिंग: यह दृष्टि के उपयोग के प्रतिमान को प्रशिक्षण-समय के पर्यवेक्षण संकेत से बदलकर टेस्ट-टाइम कंडीशनिंग सिग्नल के रूप में व्यक्तिगत बनाने की ओर स्थानांतरित करता है।
3. डोमेन विशिष्टता: परिणाम बताते हैं कि दृष्टि-आधारित कैप्शनिंग तब सबसे प्रभावी होती है जब दृश्य ध्यान ठोस संदर्भों (जैसे एगोसेंट्रिक गतिविधियाँ) को स्पष्ट करने में मदद करता है, लेकिन तब कम नैदानिक होती है जब उद्दीपन (stimulus) कई वैध वैचारिक सारांशों का समर्थन करता है (जैसे निर्देशात्मक स्लाइड्स)।
4. रिट्रीवल में सुधार: व्यक्तिगत ध्यान के साथ कैप्शन को संरेखित करके, VEGAS वीडियो के अर्थपूर्ण अनुक्रमण (semantic indexing) में सुधार करता है, जिससे उन्हें उपयोगकर्ता द्वारा वास्तव में देखी गई चीज़ों के आधार पर अधिक खोजने योग्य बनाया जाता है।

लेखक विनम्र रहते हुए नोट करते हैं कि VEGAS अंतर्निहित VLMs की सीमाओं (जैसे मतिभ्रम/hallucinations) को विरासत में लेता है और दृष्टि यह बताती है कि दर्शक कहाँ देखता है, लेकिन आवश्यक रूप से यह नहीं कि वे जटिल दृश्य संबंधों की व्याख्या कैसे करते हैं। भविष्य के कार्यों के लिए निहित सॅलिएंसी मॉडल (saliency models) जैसे स्पष्ट ध्यान प्रॉक्सी और VEGAS को प्रशिक्षण उद्देश्यों में डिस्टिल करने का सुझाव दिया गया है।