💻 computer science

Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

यह अध्ययन प्रदर्शित करता है कि बड़े विजन-लैंग्वेज मॉडल, विशेष रूप से GPT-4o और Gemini Pro, आई-ट्रैकिंग प्रशिक्षण डेटा की आवश्यकता के बिना सुरक्षा-संबंधित वातावरण में मानव दृश्य ध्यान पैटर्न का प्रभावी ढंग से अनुमान लगा सकते हैं, जैसा कि मॉडल-जनित सलेन्सी मैप्स और मानव दृष्टि हीटमैप्स के बीच मजबूत स्थानिक संरेखण मेट्रिक्स से प्रमाणित होता है।

मूल लेखक: Marta Vallejo, Siwen Wang

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Marta Vallejo, Siwen Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त शहर की सड़क पर चल रहे हैं। आपकी आँखें स्वाभाविक रूप से एक कार के अचानक ब्रेक मारने की आवाज़, फुटपाथ पर बर्फ के फिसलन भरे टुकड़े, या रास्ते में बाधा डालने वाले निर्माण कार्य की ओर खिंची चली जाती हैं। आपको इसके बारे में सोचने की ज़रूरत नहीं पड़ती; आपका मस्तिष्क खतरों को सबसे पहले पहचानने के लिए बना है। इसे नेगेटिविटी बायस (negativity bias) कहा जाता है—हम खतरों पर ध्यान देने के लिए स्वाभाविक रूप से प्रोग्राम्ड हैं।

अब, कल्पना कीजिए कि आप एक सुपर-स्मार्ट कंप्यूटर (एक AI) को भी ऐसा ही करना सिखाना चाहते हैं। आप चाहते हैं कि वह एक तस्वीर देखे और कहे, "अरे, यहाँ देखो! यह वह जगह है जहाँ एक इंसान जोखिम को नोटिस करेगा।"

यह शोध एक सरल प्रश्न पूछता है: क्या एक आधुनिक AI उसी तरह खतरे को "देख" सकता है जैसे एक इंसान देखता है, बिना कभी इंसानी आँखों को देखकर सीखे?

प्रयोग: "आप कहाँ देख रहे हैं?" का खेल

शोधकर्ताओं ने दो टीमों के साथ एक खेल आयोजित किया: इंसान (The Humans) और AI।

टीम ह्यूमन (द आई-ट्रैकर्स):
उन्होंने 10 विश्वविद्यालय के छात्रों को एक कमरे में रखा और उन्हें विशेष चश्मे (जिन्हें प्यूपिल इनविजिबल कहा जाता है) दिए जो आँखों के लिए छोटे कैमरों की तरह काम करते हैं। ये चश्मे केवल छात्रों को देखते नहीं हैं; वे यह देखते हैं कि छात्र कहाँ देख रहे हैं।

छात्रों ने रोज़मर्रा के दृश्यों (जैसे कि बाढ़ वाली सड़क, एक व्यस्त चौराहा, या एक शांत पार्क) की 33 अलग-अलग तस्वीरों को देखा।
कुछ तस्वीरों में स्पष्ट जोखिम थे (जैसे कार दुर्घटना या तूफान), जबकि कुछ सुरक्षित थीं।
चश्मों ने रिकॉर्ड किया कि हर छात्र की नज़र ठीक कहाँ टिकी, जिससे एक "हीट मैप" (heat map) बना। इस हीट मैप को एक थर्मल कैमरा फोटो की तरह समझें: जिस स्थान पर लोग अधिक देखते थे, वह स्थान उतना ही अधिक 'गर्म' (चमकदार) था।

टीम AI (द विज़न-लैंग्वेज मॉडल):
इसके बाद शोधकर्ताओं ने उन्हीं 33 तस्वीरों को एक शक्तिशाली AI, जिसे GPT-4o कहा जाता है, को दिखाया।

उन्होंने AI को आई-ट्रैकिंग डेटा पर प्रशिक्षित नहीं किया। उन्होंने यह नहीं बताया कि "यहाँ इंसानों ने देखा था।"
इसके बजाय, उन्होंने बस AI से पूछा: "इस तस्वीर को देखो। यदि कोई इंसान इसे 10 सेकंड तक देखता, तो उसकी आँखें कहाँ जातीं? कृपया सबसे महत्वपूर्ण स्थानों के निर्देशांक (coordinates) बताएं।"
AI ने अपनी खुद की "हीट मैप" बनाई, जो इस बात पर आधारित थी कि उसके अनुसार क्या महत्वपूर्ण था।

मुकाबला: मानचित्रों की तुलना

शोधकर्ताओं ने फिर मानव हीट मैप और AI हीट मैप को एक-दूसरे के ऊपर रखा ताकि यह देखा जा सके कि वे कितने मेल खाते हैं। उन्होंने ओवरलैप को मापने के लिए चार अलग-अलग "रूलर" (गणितीय परीक्षणों) का उपयोग किया:

"क्या वे समान हैं?" परीक्षण (पियर्सन सहसंबंध - Pearson Correlation): क्या AI ने उन्हीं सामान्य क्षेत्रों को हाइलाइट किया जहाँ इंसानों ने देखा था?
- परिणाम: हाँ, काफी हद तक। AI और इंसान सामान्य लेआउट के बारे में 51% बार सहमत थे।
"क्या आपने वहाँ देखा?" परीक्षण (NSS): जब इंसानों ने किसी विशिष्ट स्थान पर देखा, तो क्या AI ने भी उस स्थान को महत्वपूर्ण समझा?
- परिणाम: हाँ। AI ने उन सटीक स्थानों को उच्च स्कोर दिया जहाँ इंसानों ने टकटकी लगाई थी।
"आकार मिलान" परीक्षण (KL डाइवर्जेंस - KL Divergence): क्या AI का ध्यान केंद्रित करने का वितरण (distribution) इंसान के ध्यान के आकार जैसा था?
- परिणाम: GPT-4o वास्तव में मानव ध्यान के आकार से मेल खाने में सबसे अच्छा था, भले ही अन्य मॉडल सटीक स्थानों को खोजने में थोड़े बेहतर थे।
"खतरे को पहचानें" परीक्षण (AUC-Judd): यदि आपको अनुमान लगाना हो कि चित्र के कौन से हिस्से जोखिम भरे हैं, तो क्या AI रैंडम अनुमान लगाने से बेहतर कर सकता है?
- परिणाम: बिल्कुल। AI ने 1.0 में से 0.80 का स्कोर प्राप्त किया, जबकि रैंडम अनुमान लगाने पर केवल 0.5 स्कोर मिलता।

निष्कर्ष

अध्ययन से पता चला कि GPT-4o सुरक्षा जोखिमों को लगभग ठीक उसी जगह देख सकता है जहाँ इंसान देखते हैं, भले ही उसने कभी आई-ट्रैकिंग चश्मा न पहना हो।

"नेगेटिविटी बायस" का संबंध: AI ने अपने विशाल प्रशिक्षण डेटा (इंटरनेट पर पढ़ी गई सभी टेक्स्ट और छवियों) से यह सीख लिया है कि इंसान डरावनी या खतरनाक चीजों पर ध्यान केंद्रित करते हैं। यह स्वाभाविक रूप से हमारे "नेगेटिविटी बायस" की नकल करता है।
यह केवल एक मॉडल तक सीमित नहीं है: शोधकर्ताओं ने अन्य AI (जैसे जेमिनी प्रो और क्लॉड) का भी परीक्षण किया। वे सभी रैंडम अनुमान से बेहतर प्रदर्शन कर रहे थे, लेकिन GPT-4o मानव ध्यान के पैटर्न से मेल खाने में सबसे अच्छा था, जबकि जेमिनी प्रो जोखिमों के सटीक स्थान को बताने में थोड़ा बेहतर था।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

शोध पत्र निष्कर्ष निकालता है कि हमें रोबोट या आत्म-चालित कारों (self-driving cars) के लिए सुरक्षा प्रणालियाँ बनाने हेतु महंगे आई-ट्रैकिंग चश्मों की आवश्यकता नहीं हो सकती है। यदि एक बड़ा AI मॉडल केवल चित्र के बारे में "सोचकर" यह अनुमान लगा सकता है कि एक इंसान खतरे के लिए कहाँ देखेगा, तो हम मशीनों को सुरक्षित रूप से नेविगेट करने में मदद करने के लिए उस AI का उपयोग कर सकते हैं।

संक्षेप में: AI को यह सीखने की ज़रूरत नहीं थी कि कैसे देखना है; उसे बस पूछा गया, और उसने समझ लिया कि हमारी तरह, उसे डरावनी चीज़ों पर ध्यान देना चाहिए।

तकनीकी सारांश: सुरक्षा-संबंधित वातावरण में मानव दृष्टि (Gaze) और विजन-लैंग्वेज मॉडल अटेंशन की तुलना

समस्या विवरण
सुरक्षा-जागरूक आर्टिफिशियल इंटेलिजेंस (AI) प्रणालियों, विशेष रूप से स्वायत्त ड्राइविंग (autonomous driving) और रोबोटिक्स में, उन दृश्य क्षेत्रों को पहचानने की क्षमता की आवश्यकता होती है जिन्हें मनुष्य संभावित रूप से जोखिमपूर्ण मानते हैं। जबकि आई-ट्रैकिंग तकनीक मानव दृश्य ध्यान (visual attention) का एक सीधा माप प्रदान करती है और एक "नकारात्मकता पूर्वाग्रह" (negativity bias - खतरों के प्रति अत्यधिक संवेदनशीलता) को प्रकट करती है, मौजूदा कम्प्यूटेशनल मॉडल अक्सर सामान्य दृश्य सलीएंस (visual saliency) पर ध्यान केंद्रित करते हैं न कि सुरक्षा धारणा पर। यह समझने में एक महत्वपूर्ण अंतर मौजूद है कि क्या आधुनिक लार्ज विजन-लैंग्वेज मॉडल्स (VLMs), जिनमें सिमेंटिक समझ होती है, बिना आई-ट्रैकिंग डेटा पर प्रशिक्षित हुए, सुरक्षा-संबंधित वातावरण में मानव दृष्टि के साथ अपने अटेंशन को स्थानिक रूप से संरेखित (align) कर सकते हैं।

कार्यप्रणाली
अध्ययन में मानव डेटा संग्रह और AI अनुमान को शामिल करते हुए दो-आयामी दृष्टिकोण अपनाया गया:

मानव आई-ट्रैकिंग डेटासेट निर्माण:
- उद्दीपन (Stimuli): 33 दृश्य चित्र जो विभिन्न प्रकार के रोजमर्रा के वातावरण (सड़कें, गलियारे, सार्वजनिक स्थान, हरित क्षेत्र) का प्रतिनिधित्व करते हैं, जिनमें जोखिम के विभिन्न स्तर (जैसे वाहन, बाधाएं, बाढ़ के संकेत) शामिल हैं।
- प्रतिभागी: सामान्य या ठीक की गई दृष्टि वाले 10 विश्वविद्यालय छात्र।
- उपकरण: 'प्यूपिल इनविजिबल' (Pupil Invisible) पहनने योग्य चश्मे (200 हर्ट्ज द्विनेत्री दृष्टि ट्रैकिंग, 30 fps सीन कैमरा) का उपयोग किया गया था, जिसमें प्रतिभागियों ने प्रत्येक चित्र को 10 सेकंड तक देखने के लिए एक 24-इंच मॉनिटर पर दृश्य रिकॉर्ड किए।
- प्रसंस्करण (Processing): कच्चे दृष्टि डेटा (raw gaze data) को वैधता के लिए फ़िल्टर किया गया, दृश्य कैमरे के क्षेत्र (field of view) से स्टिमुलस रिज़ॉल्यूशन (1,536 × 1,024 पिक्सेल) में मैप किया गया, और गॉसियन स्मूथिंग ( $\sigma = 30$ px) का उपयोग करके व्यक्तिगत फिक्सेशन डेंसिटी मैप्स में परिवर्तित किया गया। इन्हें 33 जनसंख्या-स्तरीय मानव दृष्टि हीटमैप्स बनाने के लिए औसत निकाला गया।
AI सलीएंस मैप जनरेशन:
- मॉडल: इसके मल्टीमॉडल रीजनिंग क्षमताओं के लिए GPT-4o का चयन किया गया।
- पाइपलाइन: एक स्वचालित पायथन स्क्रिप्ट ने GPT-4o को OpenAI विजन API के माध्यम से एक "विजुअल-सलीएंस एक्सपर्ट" के रूप में प्रॉम्प्ट किया। मॉडल को एक संरचित JSON ऑब्जेक्ट लौटाने का निर्देश दिया गया जिसमें 20-25 सामान्यीकृत फिक्सेशन बिंदु $(x, y)$ और सलीएंस वेट $(w)$ शामिल थे, जो यह भविष्यवाणी करते थे कि मुक्त दृश्य (free viewing) के दौरान मनुष्य कहाँ देखेंगे।
- रेंडरिंग: JSON आउटपुट को एक कैनवास पर भरे हुए डिस्क ( $r=40$ px) के रूप में रस्टर किया गया, जिसके बाद निरंतर सलीएंस मैप्स बनाने के लिए गॉसियन स्मूथिंग ( $\sigma = 60$ px) की गई, जो मानव हीटमैप्स के तुलनीय हैं। मॉडल को प्रशिक्षित करने के लिए किसी भी आई-ट्रैकिंग डेटा का उपयोग नहीं किया गया।
मूल्यांकन:
- सभी 33 छवियों में मानव और AI हीटमैप्स के बीच स्थानिक संरेखण को चार मेट्रिक्स का उपयोग करके मापा गया:
  - पियर्सन सहसंबंध (Pearson Correlation, $r$ ): रैखिक स्थानिक समझौता।
  - नॉर्मलाइज्ड स्कैनपाथ सलीएंस (NSS): मानव फिक्सेशन बिंदुओं पर AI मूल्यों का पत्राचार।
  - कुलबैक-लीब्लर (KL) डाइवर्जेंस: दोनों मैप्स के बीच वितरण संबंधी अंतर।
  - AUC-Judd: फिक्सेटेड बनाम गैर-फिक्सेटेड स्थानों के बीच अंतर करने की क्षमता।
- एक क्रॉस-मॉडल तुलना Gemini Pro, Gemini Flash और Claude का उपयोग करके की गई।

मुख्य परिणाम

GPT-4o का प्रदर्शन: मॉडल ने पूर्व आई-ट्रैकिंग प्रशिक्षण के बिना मानव दृष्टि के साथ सार्थक स्थानिक संरेखण प्रदर्शित किया।
- AUC-Judd: $0.806 \pm 0.076$ (चांस बेसलाइन 0.5 से काफी ऊपर)।
- NSS: $0.988 \pm 0.323$ (सकारात्मक स्कोर जो मानव फिक्सेशन बिंदुओं पर औसत से अधिक मान दर्शाता है)।
- Pearson $r$ : $0.515 \pm 0.117$ (मध्यम लेकिन सुसंगत रैखिक सहसंबंध)।
- KL डाइवर्जेंस: $1.766 \pm 0.844$ ।
क्रॉस-मॉडल तुलना: सभी परीक्षण किए गए मॉडल्स (GPT-4o, Gemini Pro, Gemini Flash, Claude) ने AUC-Judd चांस बेसलाइन को पार किया और सकारात्मक NSS स्कोर प्राप्त किया।
- Gemini Pro ने पियर्सन सहसंबंध ($0.571$), NSS ($1.131$) और AUC-Judd ($0.840$) में उच्चतम स्कोर प्राप्त किया, जो बेहतर स्थानिक स्थानीयकरण (spatial localization) का सुझाव देता है।
- GPT-4o ने सबसे कम KL डाइवर्जेंस ($1.766$) प्राप्त किया, जो इंगित करता है कि इसकी अनुमानित सलीएंस वितरण आकृति मानव अटेंशन वितरण के सबसे करीब थी, भले ही इसका स्थानिक स्थानीयकरण स्कोर Gemini Pro की तुलना में थोड़ा कम था।
दृश्य परिवर्तनशीलता (Scene Variability): संरेखण उन दृश्यों में सबसे मजबूत था जहाँ जोखिम-संबंधित सामग्री स्थानिक रूप से केंद्रित थी (जैसे, इमेज 05, इमेज 02) और उन दृश्यों में कमजोर था जहाँ मानव दृष्टि पैटर्न विसरित (diffuse) थे।

मुख्य योगदान

डेटासेट निर्माण: अध्ययन ने जोखिम के विभिन्न स्तरों वाले 33 विविध रोजमर्रा के दृश्य प्रकारों को कवर करने वाला एक समर्पित आई-ट्रैकिंग डेटासेट बनाया, जो सुरक्षा धारणा के लिए ग्राउंड ट्रुथ के रूप में जनसंख्या-औसत मानव दृष्टि हीटमैप्स प्रदान करता है।
जीरो-शॉट एलाइनमेंट प्रदर्शन: इसने अनुभवजन्य रूप से प्रदर्शित किया कि बड़े VLMs, जिन्हें जोखिमों की पहचान करने के लिए प्रॉम्प्ट किया जाता है, विशिष्ट आई-ट्रैकिंग प्रशिक्षण डेटा की आवश्यकता के बिना मानव ध्यान पैटर्न के साथ संरेखित स्थानिक भविष्यवाणियां उत्पन्न कर सकते हैं।
मूल्यांकन ढांचा: यह पेपर सुरक्षा-संबंधित संदर्भों में AI-जनरेटेड रिस्क मैप्स और मानव दृष्टि के बीच स्थानिक पत्राचार को मात्रात्मक रूप से मापने के लिए पूरक सलीएंस मेट्रिक्स के एक व्यापक सेट को लागू करता है।

महत्व और दावे
लेखकों का दावा है कि लार्ज विजन-लैंग्वेज मॉडल्स उन क्षेत्रों की पहचान कर सकते हैं जो संभावित जोखिम के हैं और जो व्यापक रूप से उन स्थानों के अनुरूप होते हैं जहाँ मनुष्य अपना दृश्य ध्यान केंद्रित करते हैं। यह सुझाव देता है कि VLMs स्पष्ट रूप से मानव-जनित सामग्री पर प्रशिक्षित होने के कारण, जोखिमपूर्ण क्षेत्रों को प्राथमिकता देने की मानवीय प्रवृत्तियों को पकड़ सकते हैं, भले ही मॉडल स्वयं मनोवैज्ञानिक "नकारात्मकता पूर्वाग्रह" का अनुभव नहीं करते हों।

इन निष्कर्षों का महत्व सुरक्षा-जागरूक AI अनुप्रयोगों में मानव अटेंशनल पैटर्न के अनुमान के लिए एक स्केलेबल टूल के रूप में VLMs के उपयोग की क्षमता में निहित है। यह क्षमता ऐसे सिस्टम (जैसे स्वायत्त रोबोट या वाहन) के विकास का समर्थन कर सकती है जो समर्पित, महंगे आई-ट्रैकिंग हार्डवेयर के बिना मानव जोखिम धारणा के साथ संरेखित होते हैं। लेखक नोट करते हैं कि हालांकि परिणाम आशाजनक हैं, वे मामूली हैं; संरेखण पूर्ण नहीं है, और अध्ययन छोटे प्रतिभागी नमूने और सघन मानव दृष्टि डेटा की तुलना में AI के स्पार्स (sparse) JSON-आधारित आउटपुट के संबंध में सीमाओं को स्वीकार करता है। भविष्य के कार्य में इन निष्कर्षों को और प्रमाणित करने के लिए बड़े, विविध नमूनों और गतिशील वीडियो उत्तेजनाओं (dynamic video stimuli) को शामिल करने का सुझाव दिया गया है।

प्रयोग: "आप कहाँ देख रहे हैं?" का खेल

मुकाबला: मानचित्रों की तुलना

निष्कर्ष

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

इसी तरह के और पेपर