Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues
यह शोध पत्र प्रकट करता है कि विज़न-लैंग्वेज मॉडल दृष्टि दिशा (ग़ेज़ डायरेक्शन) का अनुमान लगाने में मनुष्यों से काफी पीछे रह जाते हैं क्योंकि वे आंखों की उपस्थिति के बजाय सिर के ओरिएंटेशन पर त्रुटिपूर्ण रूप से निर्भर करते हैं, एक ऐसा पूर्वाग्रह जिसका कारण मॉडल आर्किटेक्चर के बजाय प्रशिक्षण डेटा है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "सिर-प्रथम" अनुमान लगाने वाला खेल
कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको यह अनुमान लगाना है कि फोटो में मौजूद व्यक्ति किस वस्तु की ओर देख रहा है। मेज पर तीन चीजें रखी हैं: एक खरगोश (bunny), एक केतली (kettle) और कुछ ट्यूलिप्स (tulips)।
यदि व्यक्ति खरगोश की ओर देख रहा है, लेकिन उसका सिर थोड़ा केतली की ओर मुड़ा हुआ है, तो आप क्या करेंगे?
- एक इंसान बारीकी से व्यक्ति की आँखों को देखेगा, देखेगा कि पुतलियाँ खरगोश की ओर इशारा कर रही हैं, और कहेगा, "वे खरगोश की ओर देख रहे हैं।"
- वर्तमान AI (विज़न-लैंग्वेज मॉडल्स) अक्सर आँखों को अनदेखा कर देते हैं। इसके बजाय, वे व्यक्ति के चेहरे की दिशा (उनके सिर) को देखते हैं और कहते हैं, "वे केतली की ओर देख रहे हैं।"
यह शोध पत्र तर्क देता है कि ये AI मॉडल "आलसी" अनुमान लगाने वाले हैं। वे एक शॉर्टकट का उपयोग करते हैं: यदि सिर किसी वस्तु की ओर है, तो आँखें भी वहीं देख रही होंगी। वे आँखों को वास्तव में पढ़ने का कठिन काम करने में विफल रहते हैं।
शोधकर्ताओं ने इसका परीक्षण कैसे किया
शोधकर्ताओं ने इस AI का परीक्षण करने के लिए एक विशेष "गेज़ लैब" (gaze lab) बनाई। उन्होंने 1,360 वास्तविक फोटो लिए जिनमें लोग मेज पर बैठे हुए अलग-अलग वस्तुओं के साथ थे। उन्होंने AI को फँसाने के लिए तीन विशिष्ट स्थितियाँ बनाईं:
- "सहमत" परिदृश्य (The "Agreeing" Scenario): व्यक्ति खरगोश की ओर देख रहा है, और उसका सिर भी खरगोश की ओर ही है। (सभी के लिए आसान)।
- "प्राकृतिक" परिदृश्य (The "Natural" Scenario): व्यक्ति खरगोश की ओर देख रहा है, और उसका सिर स्वाभाविक रूप से उसी दिशा में है जहाँ वह सहज महसूस करता है (आमतौर पर खरगोश की ओर)।
- "ट्रिक" परिदृश्य (असंगत/Incongruent): यह मुख्य हिस्सा है। व्यक्ति अपना सिर केतली की ओर रखता है, लेकिन अपनी आँखों को खरगोश की ओर घुमा देता है।
परिणाम:
- इंसानों ने इसे लगभग हर बार सही पहचाना (लगभग 89% सटीकता)। उन्होंने आँखों को देखा।
- AI मॉडल्स (जैसे GPT-4o, GPT-5.2, Qwen3) बहुत खराब प्रदर्शन करते हैं, जो अक्सर रैंडम अनुमान लगाने से भी थोड़ा बेहतर होता है। जब सिर और आँखें अलग-अलग दिशा में थीं, तो AI ने लगभग हमेशा उस वस्तु का अनुमान लगाया जिसकी ओर सिर था, न कि उस वस्तु का जिसकी ओर आँखें देख रही थीं।
AI क्यों विफल हुआ? (जासूसी कार्य)
शोधकर्ताओं ने केवल यह नहीं कहा कि "AI बुरा है।" उन्होंने यह पता लगाने के लिए जासूसी की कि क्यों। उन्होंने कई बहानों को खारिज कर दिया:
- क्या यह इसलिए है क्योंकि फोटो धुंधली हैं? नहीं। जब उन्होंने फोटो को सुपर हाई-डेफिनिशन बनाया, तब भी AI विफल रहा।
- क्या यह इसलिए है क्योंकि AI वस्तुओं के नाम नहीं जानता? नहीं। AI ने पूछा जाने पर "खरगोश" और "केतली" को सही ढंग से पहचान लिया।
- क्या यह इसलिए है क्योंकि AI छोटा है? नहीं। बड़े, अधिक शक्तिशाली मॉडल भी छोटे मॉडल्स की तरह ही विफल रहे।
असली अपराधी: ट्रेनिंग डेटा (Training Data)
शोधकर्ताओं का मानना है कि समस्या वह है जो AI ने इंटरनेट से सीखा है।
- उपमा (Analogy): कल्पना कीजिए कि एक बच्चा जिसने केवल उन लोगों को देखा है जो उसी दिशा में देखते हैं जिस दिशा में उनका चेहरा है। वास्तविक दुनिया में, ऐसा कम ही देखा जाता है कि कोई व्यक्ति सीधा देखते हुए भी तिरछी नज़र से देख रहा हो।
- क्योंकि इंटरनेट डेटा "सिर और आँखें सहमत हैं" वाले उदाहरणों से भरा है, AI ने एक नियम सीख लिया: "सिर की दिशा = दृष्टि की दिशा।" उसने कभी यह नहीं सीखा कि आँखें सिर से स्वतंत्र रूप से घूम सकती हैं।
"सिक्का उछालने" वाला टेस्ट (The "Coin Flip" Test)
यह साबित करने के लिए कि AI केवल भ्रमित नहीं था, शोधकर्ताओं ने एक विशिष्ट परीक्षण किया। उन्होंने पूछा: क्या AI आँखों की परवाह करता भी है?
उन्होंने पाया कि AI का व्यवहार एक सिक्का उछालने या एक पक्षपाती तराजू जैसा था:
- जब सिर और आँखें सहमत थे, तो AI आश्वत (confident) था।
- जब वे असहमत थे, तो AI ने आँखों को समझने की कोशिश नहीं की। उसने बस सिर की दिशा को ही मान लिया।
- यहाँ तक कि जब शोधकर्ताओं ने "आँखों पर ध्यान केंद्रित करें" जैसे निर्देश जोड़कर AI को "सिखाने" की कोशिश की, तो AI ने उन्हें ज्यादातर अनदेखा कर दिया और सिर के आधार पर अनुमान लगाने पर वापस आ गया।
"प्रूफ ऑफ कॉन्सेप्ट" प्रयोग
यह दिखाने के लिए कि यह AI के दिमाग (आर्किटेक्चर) में स्थायी दोष नहीं है, बल्कि केवल एक बुरी आदत है, शोधकर्ताओं ने एक छोटा प्रयोग किया:
उन्होंने एक AI मॉडल को लिया और उसे विशेष रूप से अपने "ट्रिक" फोटो (जहाँ सिर और आँखें अलग-अलग दिशा में थे) पर पुनः प्रशिक्षित (re-trained) किया।
- पुनः प्रशिक्षण से पहले: मॉडल ट्रिक परिदृश्य में बहुत खराब था (15% सटीकता)।
- पुनः प्रशिक्षण के बाद: मॉडल बहुत बेहतर हो गया (34% सटीकता)। इसने केवल सिर पर निर्भर रहना छोड़ दिया और वास्तव में आँखों को देखना सीख लिया।
सबक: AI आँखों को पढ़ सकता है, लेकिन इसे ऐसे विशिष्ट डेटा की आवश्यकता है जो इसे ऐसा करने के लिए सिखाए। मानक इंटरनेट डेटा, जिससे यह आमतौर पर सीखता है, में इन "ट्रिक" उदाहरणों की कमी है।
सारांश
- समस्या: वर्तमान AI मॉडल यह बताने में बहुत खराब हैं कि कोई व्यक्ति कहाँ देख रहा है यदि उसका सिर दूसरी दिशा में मुड़ा हुआ है। वे चेहरे की दिशा को आँखों की दिशा समझ लेते हैं।
- कारण: उन्हें ऐसे डेटा पर प्रशिक्षित किया गया था जहाँ सिर और आँखें आमतौर पर एक ही दिशा में होते हैं, इसलिए उन्होंने एक आलसी शॉर्टकट सीख लिया।
- समाधान: हमें AI को अधिक ऐसा डेटा खिलाने की आवश्यकता है जहाँ लोग स्थिर सिर के साथ तिरछा या ऊपर की ओर देख रहे हों, जिससे AI को वास्तव में आँखों को पढ़ना सीखने के लिए मजबूर किया जा सके।
शोध पत्र निष्कर्ष निकालता है कि जब तक हम इस डेटा समस्या को ठीक नहीं करते, AI मानवीय गैर-मौखिक संकेतों (non-verbal cues) को समझने में संघर्ष करेगा, जो रोबोट और कंप्यूटर के लिए मनुष्यों के साथ स्वाभाविक रूप से बातचीत करने के लिए आवश्यक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।