Can Vision Language Models Judge Action Quality? An Empirical Evaluation
यह शोध पत्र एक व्यापक अनुभवजन्य मूल्यांकन प्रस्तुत करता है जो यह प्रकट करता है कि अत्याधुनिक विजन लैंग्वेज मॉडल्स वर्तमान में व्यवस्थित पूर्वाग्रहों और सूक्ष्म गति विश्लेषण में मौलिक सीमाओं के कारण एक्शन क्वालिटी असेसमेंट में केवल यादृच्छिक संभावना (रैंडम चांस) से थोड़ा ही ऊपर प्रदर्शन करते हैं, जो यह संकेत देता है कि विश्वसनीय वास्तविक दुनिया के परिनियोजन से पहले महत्वपूर्ण प्रगति की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक जिम्नास्टिक प्रतियोगिता, एक डाइविंग मीट और एक जिम वर्कआउट सत्र के लिए एक बहुत ही बुद्धिमान, विद्वान रोबोट को जज के रूप में काम पर रखा है। आप इस रोबोट को कहते हैं, "इन वीडियो को देखो, और मुझे बताओ कि क्या एथलीट सही ढंग से मूव कर रहा है, या उन्हें 1 से 10 तक का स्कोर दो।"
यह पेपर अनिवार्य रूप से इस बात की रिपोर्ट कार्ड है कि ये "विज़न लैंग्वेज मॉडल्स" (VLMs)—हमारे पास मौजूद सबसे स्मार्ट AI रोबोट—वास्तव में यह काम कितनी अच्छी तरह से करते हैं। संक्षिप्त उत्तर? वे वर्तमान में इसमें बहुत खराब हैं।
यहाँ सरल उपमाओं (analogies) का उपयोग करके अध्ययन का विवरण दिया गया है:
1. सेटअप: "किताबी ज्ञान" बनाम "व्यावहारिक ज्ञान" की समस्या
इन AI मॉडल्स को ऐसे अति-उत्साही छात्रों के रूप में सोचें जिन्होंने जिम्नास्टिक की हर किताब पढ़ ली है लेकिन वास्तव में कभी कोई लाइव गेम नहीं देखा है।
- अपेक्षा: क्योंकि ये AI चैट कर सकते हैं, कविताएं लिख सकते हैं और जटिल निर्देशों को समझ सकते हैं, शोधकर्ताओं को उम्मीद थी कि वे स्वाभाविक रूप से मानव गति (movement) को समझ पाएंगे। उन्होंने सोचा, "यदि यह किताब से पुश-अप के नियमों को जानता है, तो यह वीडियो में एक खराब पुश-अप को पहचान सकता है।"
- वास्तविकता: जब स्क्वैट्स, डाइविंग या फिगर स्केटिंग करते हुए लोगों के वास्तविक वीडियो पर इनका परीक्षण किया गया, तो AI का प्रदर्शन लगभग उतना ही खराब था जितना कि यदि उन्होंने अपनी आँखें बंद कर ली होतीं और केवल अनुमान लगाया होता।
- उपमा: यह एक ऐसे शेफ से पूछने जैसा है जिसने दुनिया की हर कुकबुक पढ़ ली है, कि वह सूप को चखकर बताए कि क्या वह नमकीन है। वे नमक के सिद्धांत को तो जानते होंगे, लेकिन सामने रखे विशिष्ट कटोरे को चखे बिना, वे उसका निर्णय नहीं ले सकते।
2. प्रयोग: सिस्टम को "धोखा" देने की कोशिश
शोधकर्ताओं ने AI की मदद करने के लिए उन्हें विभिन्न उपकरण दिए, इस उम्मीद में कि इससे उनके प्रदर्शन में सुधार होगा। यहाँ उन्होंने क्या कोशिश की और क्यों वह विफल रही:
- "कंकाल" वाले चश्मे (The "Skeleton" Glasses): उन्होंने AI को पूरे वीडियो के बजाय केवल व्यक्ति का स्टिक-फिगर कंकाल दिखाया, इस उम्मीद में कि वह हड्डियों और कोणों (angles) पर ध्यान केंद्रित करेगा।
- परिणाम: यह एक जासूस को अपराध स्थल का नक्शा देने जैसा था लेकिन वास्तविक शवों को छिपा देने जैसा। AI भ्रमित हो गया क्योंकि वह मांसपेशियों की गति या क्रिया के "प्रवाह" (flow) को नहीं देख सका।
- "प्रॉम्प्ट" के साथ हेरफेर (The "Prompt" Hacks): उन्होंने सवाल बदलने की कोशिश की।
- "ग्राउंडिंग" की ट्रिक: उन्होंने AI को कहा, "पहले वीडियो देखो, फिर उत्तर दो।"
- "स्टेप-बाय-स्टेप" की ट्रिक: उन्होंने AI को कहा, "पहले जो तुम देख रहे हो उसका वर्णन करो, फिर सोचो, फिर उत्तर दो।"
- "उदाहरण" की ट्रिक: उन्होंने AI को एक नए मूव का निर्णय लेने से पहले कुछ अच्छे और बुरे मूव्स के उदाहरण दिखाए।
- परिणाम: इन ट्रिक्स ने बहुत ही विशिष्ट स्थितियों में (जैसे एक अकेली फोटो को देखने में) थोड़ी मदद की, लेकिन वीडियो के लिए, AI अभी भी लड़खड़ा गया। यह एक छात्र को यह बताने जैसा है कि, "जवाब देने से पहले प्रश्न को दो बार पढ़ें," जो थोड़ी मदद तो करता है, लेकिन यह ठीक नहीं करता कि वे विषय को समझते ही नहीं हैं।
3. दो बड़ी खामियां (पक्षपात/Biases)
अध्ययन में पाया गया कि AI के दो प्रमुख व्यक्तित्व दोष हैं जो उनके निर्णय को खराब कर देते हैं:
खामी A: "आशावादी" पक्षपात (The "Optimist" Bias)
AI में यह मानने की प्रबल प्रवृत्ति है कि सब कुछ सही ढंग से किया जा रहा है, भले ही वह स्पष्ट रूप से गलत हो।
- उपमा: एक माता-पिता की कल्पना करें जो अपने बच्चे को साइकिल चलाते देख रहे हैं। भले ही बच्चा डगमगा रहा हो और गिरने ही वाला हो, माता-पिता कहते हैं, "बहुत बढ़िया! एकदम सही संतुलन!" AI ऐसा इसलिए करता है क्योंकि उसके ट्रेनिंग डेटा में यह दर्ज है कि लोग आमतौर पर व्यायाम सही ढंग से करने की कोशिश करते हैं, इसलिए वह तब तक "सही" मान लेता है जब तक कि उसे सोचने के लिए मजबूर न किया जाए।
खामी B: "शब्द-संवेदनशील" पक्षपात (The "Word-Sensitive" Bias)
AI इस बात से आसानी से धोखा खा जाता है कि सवाल कैसे पूछा गया है।
- उपमा: यदि आप पूछते हैं, "क्या व्यक्ति की पीठ सीधी है?" तो AI कह सकता है "हाँ।" लेकिन यदि आप पूछते हैं, "क्या व्यक्ति की पीठ सीधी नहीं है?" तो AI अचानक "नहीं" कह सकता है, भले ही वीडियो बिल्कुल वैसा ही हो। यह वीडियो के बजाय शब्दों पर प्रतिक्रिया दे रहा है। यह उस छात्र जैसा है जो तथ्यों की जांच किए बिना, केवल इसलिए "सत्य" (True) उत्तर देता है क्योंकि वाक्य सकारात्मक लगता है।
4. "आमने-सामने" का परीक्षण
यह देखने के लिए कि क्या AI कम से कम एक "अच्छे" मूव और एक "बुरे" मूव के बीच अंतर कर सकता है, शोधकर्ताओं ने उन्हें दो वीडियो अगल-बगल दिखाए और पूछा, "कौन सा बेहतर है?"
- परिणाम: वे केवल तभी बेहतर प्रदर्शन कर पाए जब अंतर बहुत बड़ा था (जैसे एक पेशेवर डाइवर की तुलना उस व्यक्ति से करना जो डाइविंग बोर्ड से गिर रहा हो)। लेकिन जब अंतर सूक्ष्म था (जैसे एक पेशेवर डाइवर द्वारा एक बहुत मामूली छपाके बनाम एक सटीक प्रवेश के बीच का अंतर), तो AI अंतर नहीं बता सका। वे मूल रूप से केवल अनुमान लगा रहे थे।
निष्कर्ष: अभी रोबोट को काम पर न रखें
पेपर यह निष्कर्ष निकालता है कि जबकि ये AI मॉडल कहानियाँ लिखने और सामान्य ज्ञान के प्रश्नों के उत्तर देने में अद्भुत हैं, वे मानव गति के सूक्ष्म विवरणों को जज करने के मामले में मौलिक रूप से दोषपूर्ण हैं।
- क्यों? वे जो वे सोचते हैं (उनका "किताबी ज्ञान") उस पर बहुत अधिक निर्भर करते हैं और जो वे वास्तव में देख रहे हैं (उनका "व्यावहारिक ज्ञान") उस पर बहुत कम।
- सीख: हम अभी इन मॉडल्स को फिजिकल थेरेपी या खेलों में मानव कोच या जजों की जगह लेने के लिए भरोसा नहीं कर सकते। वास्तविक दुनिया में उपयोग करने से पहले, हमें उन्हें वास्तव में गति को देखने और विश्लेषण करने के लिए सिखाना होगा, न कि केवल पढ़े गए शब्दों के आधार पर अनुमान लगाने के लिए।
संक्षेप में: AI एक प्रतिभाशाली लाइब्रेरियन है जो खेल के हर नियम को जानता है, लेकिन वह वर्तमान में एक बुरा रेफरी है क्योंकि वह मैदान पर खिलाड़ियों को वास्तव में देख नहीं सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।