💻 computer science

DeepGaze3.5-VL: Modeling Scanpaths via Autoregressive Token Prediction

DeepGaze3.5-VL विज़ुअल स्कैनपाथ प्रेडिक्शन (visual scanpath prediction) में एक नया अत्याधुनिक स्तर (state-of-the-art) स्थापित करता है, जो इस कार्य को विज़न-लैंग्वेज मॉडल के भीतर ऑटोरिग्रेसिव टोकन जनरेशन (autoregressive token generation) के रूप में पुनर्गठित करता है, जिससे दर्शक की पहचान और कार्यों पर लचीली कंडीशनिंग सक्षम होती है और साथ ही महत्वपूर्ण प्रदर्शन लाभ प्राप्त होते हुए नियंत्रित इन-सिलिको व्यवहार संबंधी सिमुलेशन (in-silico behavioral simulations) की सुविधा मिलती है।

मूल लेखक: Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

प्रकाशित 2026-07-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Susmit Agrawal, Matthias Bethge, Matthias Kümmerer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि किसी व्यक्ति की आँखें तस्वीर देखते समय अगली बार कहाँ जाएँगी। लंबे समय तक, वैज्ञानिकों ने केवल इसी काम के लिए विशेष, कठोर मशीनें बनाईं। इन मशीनों में निश्चित नियम थे (जैसे "लोग हमेशा पहले केंद्र की ओर देखते हैं") और उन्हें नए तरीके नहीं सिखाए जा सकते थे, जैसे कि "यह व्यक्ति एक डॉक्टर है जो निदान (diagnosis) की तलाश में है" या "यह व्यक्ति एक बच्चा है जो खिलौने की तलाश में है।"

यह पेपर एक नया मॉडल पेश करता है जिसे DeepGaze3.5-VL कहा जाता है जो खेल बदल देता है। एक विशेष मशीन बनाने के बजाय, लेखक आँखों की गतिविधियों को एक कहानी लिखने की तरह देखते हैं।

यहाँ बताया गया है कि यह कैसे काम करता है और उन्होंने क्या पाया, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. मूल विचार: आँखों की गति एक "टेक्स्ट" कहानी की तरह

किसी व्यक्ति के आँखों के पथ (जिसे scanpath कहा जाता है) को एक वाक्य के रूप में सोचें।

पुराना तरीका: आपने वाक्य लिखने के लिए एक कस्टम रोबोट बनाया, लेकिन यदि आप शैली बदलना चाहते थे (जैसे, एक बच्चे की लिखावट से वयस्क की लिखावट में), तो आपको उस रोबट को फिर से बनाना पड़ता था।
नया तरीका: लेखकों ने महसूस किया कि आँखों की गतिविधियाँ केवल निर्देशांकों (coordinates) का एक क्रम हैं (जैसे "यहाँ देखो, फिर वहाँ देखो")। उन्होंने एक विशाल, पूर्व-प्रशिक्षित AI (एक Large Vision-Language Model) को इन निर्देशांकों को वाक्य में "शब्दों" की तरह मानने के लिए प्रशिक्षित किया।

इन आँखों की स्थितियों को "टोकन" (जैसे शब्द के अक्षर) में बदलकर, AI अपने विशाल मस्तिष्क का उपयोग कर सकता है—जो पहले से ही छवियों और भाषा को समझने के लिए प्रशिक्षित है—अगले "शब्द" (अगली जगह जहाँ आँख देखेगी) की भविष्यवाणी करने के लिए।

2. "प्रॉम्प्ट" का जादू

चूँकि यह मॉडल भाषा के रूप में सोचता है, इसलिए आप इसे निर्देश दे सकते हैं जैसे आप चैटबॉट से कोई प्रश्न पूछते हैं।

उपमा: एक टूर गाइड की कल्पना करें। यदि आप गाइड को कहते हैं, "मुझे संग्रहालय एक पर्यटक की तरह दिखाएं," तो वे प्रसिद्ध मूर्तियों की ओर इशारा करते हैं। यदि आप कहते हैं, "मुझे एक कला इतिहासकार की तरह दिखाएं," तो वे ब्रशस्ट्रोक (brushstrokes) की ओर इशारा करते हैं।
परिणाम: शोधकर्ताओं ने दिखाया कि केवल टेक्स्ट प्रॉम्प्ट को बदलकर (जैसे, "एक व्यक्ति की दृष्टि की भविष्यवाणी करें जो बिल्ली की तलाश में है" बनाम "एक व्यक्ति की दृष्टि की भविष्यवाणी करें जो बस इधर-उधर देख रहा है"), मॉडल तुरंत अनुकूलित हो जाता है। इसे नए हार्डवेयर या जटिल कोड परिवर्तनों की आवश्यकता नहीं होती; यह बस निर्देश पढ़ता है।

3. यह बेहतर क्यों है: "स्मार्ट" बनाम "बिग" की बहस

शोधकर्ताओं ने पूछा: क्या यह मॉडल केवल इसलिए अच्छा है क्योंकि यह बहुत बड़ा है, या इसलिए क्योंकि यह वास्तव में दृश्य (scene) को समझता है?

परीक्षण: उन्होंने अपने मॉडल की तुलना अन्य शीर्ष मॉडलों से की जिन्होंने बिल्कुल वही "आँखें" (विज़न एनकोडर) का उपयोग किया था लेकिन अलग "मस्तिष्क" का उपयोग किया था।
निष्कर्ष: "मस्तिष्क" (AI का भाषा वाला हिस्सा) केवल बड़ी "आँखों" के होने से अधिक महत्वपूर्ण है। एक मॉडल जो छवि के अर्थ और आँखों की गति की कहंत को समझता है, वह उस मॉडल की तुलना में बहुत बेहतर प्रदर्शन करता है जो केवल पिक्सेल देखता है।
स्कोर: MIT1003 पर एक मानक परीक्षण पर, उनके मॉडल ने पिछले सर्वश्रेष्ठ तरीके की तुलना में भविष्यवाणी सटीकता में 46% का सुधार किया।

4. "टाइम मशीन" प्रयोग (हस्तक्षेप/Interventions)

एक सबसे शानदार चीज़ जो यह पेपर प्रदर्शित करता है, वह है कंप्यूटर के भीतर "क्या होगा अगर" (what-if) परिदृश्यों को चलाने की क्षमता, बिना वास्तविक मनुष्यों की आवश्यकता के।

उपमा: एक वीडियो गेम की कल्पना करें जहाँ आप समय को रोक सकते हैं, एक चर (variable) बदल सकते हैं (जैसे "खिलाड़ी थका हुआ था"), और तुरंत देख सकते हैं कि गेम अलग तरह से कैसे आगे बढ़ता है।
प्रयोग: शोधकर्ताओं ने एक विशिष्ट क्षण लिया जहाँ एक इंसान ने एक तस्वीर को थोड़े समय (50ms) के लिए देखा और मॉडल से पूछा: "क्या होगा यदि उन्होंने लंबे समय तक (600ms) देखा होता?"
परिणाम: मॉडल ने भविष्यवाणी की कि छोटी नज़रें त्वरित, सहज झलकियों (जैसे एक रिफ्लेक्स) की ओर ले जाती हैं, जबकि लंबी नज़रें अधिक भटकने वाली, विचारशील खोज की ओर ले जाती हैं। मॉडल ने केवल डेटा को पढ़कर इन जटिल मानवीय व्यवहारों को समझ लिया, जो मानव दृष्टि के लिए एक डिजिटल सैंडबॉक्स की तरह कार्य करता है।

5. "कौन" का कारक (वैयक्तिकरण/Personalization)

मॉडल को यह भी बताया जा सकता है कि कौन देख रहा है।

उपमा: यदि आप जानते हैं कि आपका दोस्त कुत्तों को पसंद करता है, और आप उन्हें पार्क की एक तस्वीर दिखाते हैं, तो आप जानते हैं कि वे पहले कुत्ते को देखेंगे। यदि आप वही तस्वीर किसी ऐसे व्यक्ति को दिखाते हैं जो पक्षियों को पसंद करता है, तो वे पेड़ की ओर देखेंगे।
परिणाम: मॉडल को एक विशिष्ट "Subject ID" (जैसे "Subject A3F8") खिलाकर, इसने उस विशिष्ट व्यक्ति की अनूठी आदतों की भविष्यवाणी करना सीख लिया। इसे किसी नए आर्किटेक्चर की आवश्यकता नहीं थी; इसने बस सीखा कि अलग-अलग "पात्रों" के अलग-अलग "कथानक" होते हैं।

सारांश

DeepGaze3.5-VL मानव दृष्टि की भविष्यवाणी करने का एक नया तरीका है। कठोर, विशिष्ट उपकरण बनाने के बजाय, लेखकों ने आई-ट्रैकिंग को एक भाषा की समस्या में बदल दिया। ऐसा करके, उन्होंने एक ऐसा मॉडल बनाया जो है:

अधिक स्मार्ट: यह दृश्य के संदर्भ और अर्थ को समझता है।
लचीला: आप केवल एक नया निर्देश टाइप करके इसके व्यवहार को बदल सकते हैं।
सटीक: यह बड़े अंतर के साथ सभी पिछले रिकॉर्ड तोड़ देता है।
प्रायोगिक: यह वैज्ञानिकों को बिना नए भौतिक प्रयोगों के मानव दृष्टि के बारे में "क्या होगा अगर" परिदृश्यों को तुरंत सिम्युलेट करने की अनुमति देता है।

तकनीकी सारांश: DeepGaze3.5-VL

समस्या विवरण

मानव दृश्य ध्यान (visual attention) को समय के साथ मॉडल करना (स्कैनपाथ प्रेडिक्शन) ऐतिहासिक रूप से विशेष आर्किटेक्चर पर निर्भर रहा है, जिनमें हस्तनिर्मित ज्यामितीय पूर्वग्रह (hand-crafted geometric priors) जैसे कि constained Lévy exploration, saccadic biases, या inhibitory tagging शामिल हैं। जबकि ये मॉडल फिक्सेशन अनुक्रमों (fixation sequences) को सफलतापूर्वक कैप्चर करते हैं, उनके कठोर संरचनात्मक पूर्वाग्रह विस्तार क्षमता और लचीली कंडीशनिंग को सीमित करते हैं। कार्य-विशिष्ट निर्देशों को एकीकृत करने या विशिष्ट दर्शक पहचानों के अनुकूल होने के लिए पारंपरिक रूप से कस्टम, अलग आर्किटेक्चरल जोड़ की आवश्यकता होती है। इसके अलावा, मौजूदा जनरेटिव दृष्टिकोण (जैसे, डिफ्यूजन मॉडल, न्यूरल पॉइंट प्रोसेस) अक्सर केवल गेज़ डेटा पर स्क्रैच से प्रशिक्षित होते हैं, जिससे वे फाउंडेशन मॉडल्स में उपलब्ध समृद्ध अनुक्रमिक पूर्वग्रहों (sequential priors) का लाभ उठाने में विफल रहते हैं। एक महत्वपूर्ण बाधा मूल्यांकन में बनी हुई है: निरंतर जनरेटिव मॉडल स्वाभाविक रूप से सटीक स्थानिक संभाव्यता घनत्व (spatial probability densities) की गणना नहीं कर सकते, जिससे कठोर सूचना-सैद्धांतिक मापों के बजाय हीयुरिस्टिक अनुक्रम-संरेखण मेट्रिक्स (जैसे, ScanMatch) पर निर्भरता बनी रहती है।

कार्यप्रणाली

लेखक DeepGaze3.5-VL का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो स्कैनपाथ प्रेडिक्शन को लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) का उपयोग करके विशुद्ध रूप से एक डिस्क्रीट सीक्वेंस मॉडलिंग कार्य के रूप में पुनर्गठित करता है।

मुख्य सूत्रीकरण (Core Formulation)

ऑटोरिग्रेसिव टोकन प्रेडिक्शन (Autoregressive Token Prediction): निरंतर निर्देशांकों (continuous coordinates) को रिग्रेस करने के बजाय, मॉडल गेज़ को डिस्क्रीट टोकन के एक अनुक्रम के रूप में भविष्यवाणी करता है। स्थानिक निर्देशांक $(x, y)$ को शून्य-पैडेड दो-अंकों वाले पूर्णांकों (00–99) में मैप किया जाता है, जो इमेज डायमेंशन के साथ प्रतिशत स्थिति का प्रतिनिधित्व करते हैं। यह सुनिश्चित करता है कि प्रत्येक फिक्सेशन ठीक चार टोकन (x के लिए दो, y के लिए दो) योगदान दे, जिससे समान टोकन लंबाई और निष्पक्ष संभावabilistic तुलना सुनिश्चित होती है।
LVLM एकीकरण: सिस्टम प्री-ट्रेंड LVLMs (विशेष रूप से InternVL3.5-8B) का उपयोग करता है जिन्हें लो-रैंक एडेप्टेशन (LoRA) के माध्यम से फाइन-ट्यून किया गया है। मॉडल इनपुट इमेज $I$ और वैकल्पिक कंडीशनिंग कारकों $C$ (जैसे, टास्क विवरण, सब्जेक्ट आईडी) को नेचुरल लैंग्वेज प्रॉम्प्ट्स के माध्यम से एनकोड करता है।
प्रशिक्षण उद्देश्य (Training Objective): मॉडल को ग्राउंड-ट्रुथ स्कैनपाथ्स पर स्टैंडर्ड नेक्स्ट-टोकन प्रेडिक्शन के माध्यम से प्रशिक्षित किया जाता है। ऑटोरिग्रेसिव संरचना किसी भी वैध फिक्सेशन अनुक्रम के लॉग-लाइक्लीहुड (log-likelihood) की सटीक गणना करने की अनुमति देती है:
$\log P(S \mid I, C) = \sum_{i=1}^{n} \log P((x_i, y_i) \mid I, C, (x_1, y_1), \ldots, (x_{i-1}, y_{i-1}))$

मूल्यांकन रणनीति

इन्फॉर्मेशन गेन (IG): लेखक ऑटोरिग्रेसिव अलाइनमेंट का लाभ उठाकर सटीक इन्फॉर्मेशन गेन की गणना करते हैं, जिसे सेंटर-बायस बेसलाइन के ऊपर लॉग-लाइक्लीहुड में सुधार के रूप में परिभाषित किया गया है। निरंतर मॉडल्स के विपरीत, यह फॉर्मूलेशन हीयुरिस्टिक्स के बिना सटीक स्थानिक संभाव्यता घनत्वों की गणना करने की अनुमति देता है।
कुशल गणना: $100 \times 100$ ग्रिड के लिए पूर्ण स्थानिक वितरण (जैसे, AUC के लिए) की गणना करने के लिए, लेखक एक प्रिफिक्स ट्री (prefix tree) रणनीति का उपयोग करते हैं। साझा प्रिफिक्स पर की-वैल्यू (Key-Value) स्टेट्स को कैश करके, वे जॉइंट प्रोबेबिलिटी को 4-फेज एक्सपेंशन (मार्जिनल $x_1$ , कंडिशनल $x_2$ , कंडिशनल $y_1$ , कंडिशनल $y_2$ ) में डिकंपोज करते हैं, जिसमें केवल 1,111 फॉरवर्ड पास की आवश्यकता होती है, न कि 10,000 की। विशेष रूप से IG के लिए, प्रति फिक्सेशन केवल 4 फॉरवर्ड पास की आवश्यकता होती है।

प्रमुख योगदान

ऑटोरिग्रेसिव टोकन प्रेडिक्शन के रूप में सूत्रीकरण: LVLMs को डिस्क्रीट कोऑर्डिनेट टोकन प्रेडिक्ट करने के लिए फाइन-ट्यून करके, लेखक प्री-ट्रेंड सिमेंटिक और अनुक्रमिक पूर्वग्रहों का लाभ उठाते हैं। यह दृष्टिकोण MIT1003 डेटासेट पर 2.18 बिट्स का इन्फॉर्मेशन गेन प्राप्त करता है, जो मैचड-बैकबोन DeepGaze III बेसलाइन की तुलना में 46% सुधार है।
सटीक और कुशल मूल्यांकन: फ्रेमवर्क पूर्ण स्थानिक जॉइंट प्रोबेबिलिटी को डिकंपोज करने के लिए ऑटोरिग्रेसिव स्ट्रक्चर का उपयोग करता है, जिससे बड़े पैमाने पर सटीक और तीव्र इन्फॉर्मेशन गेन गणना संभव होती है, जो जनरेटिव स्कैनपाथ मॉडल्स के लिए एक प्रमुख मूल्यांकन बाधा को हल करती है।
लचीली कंडीशनिंग और सामान्यीकरण: मॉडल नेचुरल लैंग्वेज प्रॉम्प्टिंग के माध्यम से भिन्नता के विविध कारकों को स्वाभाविक रूप से अवशोषित करता है। यह स्ट्रक्चरल बदलावों के बिना मजबूत आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन (Leave-One-Dataset-Out) प्रदर्शित करता है और टास्क ऑब्जेक्टिव्स (फ्री-व्यूइंग बनाम विजुअल सर्च) या व्यक्तिगत ऑब्जर्वर आइडेंटिटी पर कंडीशन किया जा सकता है।
इन-सिलिको इंटरवेंशन (In-silico Intervention): जनरेटिव फ्रेमवर्क नियंत्रित व्यवहारिक हस्तक्षेपों के लिए एक कम्प्यूटेशनल टूल के रूप में कार्य करता है, जो काउंटरफैक्चुअल परिदृश्यों (जैसे, फिक्सेशन ड्यूरेशन को बदलना) के सिमुलेशन की अनुमति देता है जो प्रयोगात्मक रूप से कठिन हैं।

परिणाम

प्रदर्शन: DeepGaze3.5-VL पांच विविध डेटासेट्स (MIT1003, COCO-FreeView, CAT2000, DAEMONS, FiGrIm) पर नया स्टेट-ऑफ-द-आर्ट प्रदर्शन स्थापित करता है। MIT1003 पर, यह DeepGaze III (उसी InternViT-6B बैकबोन के साथ रिट्रेन किया गया) के 1.49 बिट्स के मुकाबले 2.18 बिट्स IG प्राप्त करता है।
रिप्रेजेंटेशन की भूमिका: प्रदर्शन में सुधार केवल बेहतर विजुअल फीचर्स के कारण नहीं है। एक कंट्रोल एक्सपेरिमेंट ने दिखाया कि बेहतर InternViT-6B एनकोडर के साथ भी DeepGaze III, VLM की तुलना में कम प्रदर्शन करता है। इसके अलावा, इन्फॉर्मेशन गेन और MMMU बेंचमार्क स्कोर (जो मल्टीमॉडल रीजनिंग का एक माप है) के बीच एक मजबूत सहसंबंध ( $\rho = 0.93$ ) देखा गया, जो सुझाव देता है कि हाई-लेवल सिमेंटिक अंडरस्टैंडिंग स्कैनपाथ प्रेडिक्शन की गुणवत्ता को संचालित करती है।
अनुक्रमिक बनाम स्थानिक (Sequential vs. Spatial): एब्लेशन अध्ययन प्रकट करते हैं कि जबकि स्टैटिक स्पेशियल सैलिएंसी शुरुआती फिक्शन्स को संचालित करती है, अनुक्रमिक निर्भरताएं (विशिष्ट ऑब्जर्वर का इतिहास) बाद के फिक्शन्स के लिए प्रमुख प्रेडिक्टर बन जाती हैं। फुल मॉडल "हिस्ट्री-इनवेरिएंट" और "स्पेशियल-ओनली" वेरिएंट्स की तुलना में, विशेष रूप से स्कैनपाथ के बाद के चरणों में, बेहतर प्रदर्शन करता है।
कंडीशनिंग प्रभाव:
- ड्यूरेशन (Duration): फिक्सेशन ड्यूरेशन पर कंडीशन करने से स्थानिक भविष्यवाणी में सुधार होता है, विशेष रूप से छोटे फिक्शन्स (<100 ms) के लिए, जो ज्ञात ओक्यूलोमोटर फेनोमेना (जैसे, प्री-प्रोग्राम्ड सैकैड्स) को रिकवर करता है।
- सब्जेक्ट आइडेंटिटी: सब्जेक्ट आईडी प्रदान करने से IG में +0.09 बिट्स/फिक्सेशन का सुधार होता है, जिससे मॉडल प्रत्येक ऑब्जर्वर के लिए विशिष्ट स्थानिक पूर्वग्रहों को सीख सकता है।

महत्व और दावे

पेपर का दावा है कि स्कैनपाथ प्रेडिक्शन को ऑटोरिग्रेसिव टोकन प्रेडिक्शन के रूप में फ्रेम करना स्पेशलाइज्ड गेज़ मॉडलिंग और जनरल फाउंडेशन मॉडल्स के बीच के अंतर को पाटता है। लेखक तर्क देते हैं कि:

सिमेंटिक अंडरस्टैंडिंग ही कुंजी है: सीखे गए मल्टीमॉडल रिप्रेजेंटेशन्स की गुणवत्ता (जिसे रीजनिंग बेंचमार्क्स द्वारा मापा गया है) स्कैनपाथ प्रेडिक्शन का प्राथमिक चालक है, जो इस संज्ञानात्मक सिद्धांत का समर्थन करता है कि टॉप-डाउन टास्क गोल्स और सिमेंटिक अंडरस्टैंडिंग विजुअल एक्सप्लोरेशन को संचालित करते हैं।
नेटिव इवैल्यूएशन: ऑटोरिग्रेसिव फॉर्मूलेशन स्कैनपाथ प्रेडिक्शन को फाउंडेशन मॉडल्स के नेटिव ट्रेनिंग ऑब्जेक्टिव के साथ संरेखित करता है, जिससे इन्फॉर्मेशन गेन, नेक्स्ट-टोकन प्रेडिक्शन ऑब्जेक्टिव का एक सीधा प्रकटीकरण बन जाता है, जिससे सरोगेट मेट्रिक्स की आवश्यकता समाप्त हो जाती है।
जनरेटिव उपयोगिता: प्रेडिक्शन के अलावा, फ्रेमवर्क नियंत्रित व्यवहारिक हस्तक्षेपों के लिए एक शक्तिशाली टूल के रूप में कार्य करता है। लेखक दिखाते हैं कि मॉडल शुद्ध डेटा सांख्यिकी से ज्ञात ओक्यूमोटर फेनोमेना (जैसे, फिक्सेशन ड्यूरेशन द्वारा स्पेशियल एंट्रॉपी का मॉड्यूलेशन) को रिकवर कर सकता है, जो अतिरिक्त डेटा कलेक्शन के बिना नियंत्रित सिमुलेशन को सक्षम बनाता है।

यह कार्य सुझाव देता है कि पिछले पीढ़ियों के कठोर, हस्तनिर्मित पूर्वग्रह अब आवश्यक नहीं हैं, क्योंकि LVLMs में निहित अनुक्रमिक और सिमेंटिक पूर्वग्रह अधिक लचीलेपन और सटीकता के साथ जटिल मानव गेज़ डायनेमिक्स को मॉडल करने के लिए पर्याप्त हैं।