EgoArgus: Benchmarking VLMs as Situational Assistants for Modality-Grounded User Supports
यह शोध पत्र EgoArgus को प्रस्तुत करता है, जो एक मानव-एनोटेटेड बेंचमार्क डेटासेट है जिसे विज़न-लैंग्वेज मॉडल्स की दैनिक परिदृश्यों में दृश्य साक्ष्य और उपयोगकर्ता संवाद के बीच मध्यस्थता करके विश्वसनीय एर्गोसेंट्रिक सहायक के रूप में कार्य करने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो मोडैलिटी ट्रस्ट असेसमेंट में वर्तमान सीमाओं और मौजूदा बायस मिटिगेशन विधियों की प्रतिबंधित प्रभावशीलता को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे चश्मे की कल्पना करें जो देख सके जो आप देखते हैं, सुन सके जो आप कहते हैं, और वास्तविक समय में उपयोगी सलाह दे सके। यह विजन-लैंग्वेज मॉडल्स (दृष्टि-भाषा मॉडलों) के रूप में जानी जाने वाली कृत्रिम बुद्धिमत्ता की एक नई पीढ़ी का वादा है। इन प्रणालियों को दैनिक सहायकों के रूप में कार्य करने के लिए डिज़ाइन किया गया है, जो आपके सिर या छाती पर लगे कैमरे के माध्यम से दुनिया को देखते हुए और आपकी बातचीत को सुनते हुए काम करते हैं। उन्हें आपकी स्थिति को समझने, यह अनुमान लगाने के लिए बनाया गया है कि आप आगे क्या कर सकते हैं, और आवश्यकता पड़ने पर चेतावनी या सुझाव के साथ हस्तक्षेप करने के लिए बनाया गया है। लेकिन इन सहायकों के वास्तव में विश्वसनीय होने के लिए, उन्हें एक कठिन पहेली को हल करना होगा: जब उनके द्वारा देखा गया वीडियो और आपके द्वारा बोले गए शब्द अलग-अलग कहानियाँ बताते हैं, तो उन्हें किस पर भरोसा करना चाहिए?
ताइवान के नेशनल यांग मिंग च्याओ तुंग यूनिवर्सिटी के शोधकर्ताओं ने यह देखने के लिए एक नया परीक्षण बनाया है कि क्या वर्तमान कृत्रिम बुद्धिमत्ता इस संघर्ष को संभाल सकती है। उन्होंने 'ईगोआर्गस' (EgoArgus) नामक एक डेटासेट बनाया, जो एक उपयोगकर्ता और एक सहायक के बीच दैनिक बातचीत के पांच अलग-अलग प्रकार के परिदृश्यों का अनुकरण करता है। कुछ परिदृश्यों में, वीडियो और बातचीत एक-दूसरे से सहमत होते हैं, जो एक स्पष्ट तस्वीर बनाने के लिए मिलकर काम करते हैं। अन्य में, बातचीत स्क्रीन पर जो हो रहा है उससे पूरी तरह से असंबंधित हो सकती है, या वह विनम्रतापूर्वक भ्रामक हो सकती है। सबसे चुनौतीपूर्ण मामले तब होते हैं जब उपयोगकर्ता एक बात कहता है जबकि कैमरा स्पष्ट रूप से कुछ और दिखाता है, जैसे कि एक व्यक्ति दावा करता है कि उसने नल बंद कर दिया है जबकि पानी अभी भी बह रहा है। शोधकर्ता यह देखना चाहते थे कि क्या एआई भ्रामक शब्दों को अनदेखा कर दृश्य साक्ष्य पर भरोसा कर सकता है, या क्या वह भ्रमित होकर गलत रास्ते पर चल पड़ेगा।
इसका परीक्षण करने के लिए, टीम ने खाना पकाने, खरीदारी करने या गाड़ी चलाने जैसे दैनिक कार्यों को करने वाले लोगों के वास्तविक जीवन के वीडियो से हजारों उदाहरण एकत्र किए। उन्होंने इन वीडियो को उन संवादों के साथ जोड़ा जो उनके पांच परिदृश्यों में फिट बैठते थे। उन्होंने सिंथेटिक एपिसोड भी बनाए जहाँ एक एआई सहायक को यह निर्णय लेना था कि उसे बोलना चाहिए या चुप रहना चाहिए। परिणाम चौंकाने वाले थे। जब उपयोगकर्ता के शब्द वीडियो के साथ विरोधाभासी थे, तो कृत्रिम बुद्धिमत्ता मॉडल नाटकीय रूप से विफल रहे। कैमरे पर भरोसा करने के बजाय, जो सच्चाई दिखा रहा था, मॉडल उपयोगकर्ता के गलत कथनों का अंधाधुंध अनुसरण करने लगे। इन विरोधाभासी स्थितियों में, मॉडल का प्रदर्शन उस स्थिति से भी खराब था जब उन्होंने केवल रैंडम अनुमान लगाया होता। वे उपयोगकर्ता की गलती को सुधारने के बजाय उसकी पुष्टि करने लगे, या उन्होंने ऐसी क्रियाओं का सुझाव दिया जिनका स्क्रीन पर वास्तव में हो रही घटनाओं के संदर्भ में कोई अर्थ नहीं था।
अध्ययन ने यह भी जांचा कि क्या एआई यह तय कर सकता है कि कब हस्तक्षेप करना है। एक अच्छा सहायक जानता है कि कब बोलना है और कब शांत रहना है। शोधकर्ताओं ने पाया कि यहाँ तक कि सबसे मजबूत मॉडल भी इस संतुलन के साथ संघर्ष करते हैं। कुछ मॉडल बहुत अधिक उत्सुक थे, जो बिना किसी समस्या के भी चेतावनी देने लगे, जबकि अन्य वास्तविक सुरक्षा खतरों को पूरी तरह से चूक गए। जब उन्होंने हस्तक्षेप किया, तो उनका समय अक्सर गलत था, या तो पर्याप्त सबूत होने से पहले बहुत जल्दी, या समस्या होने के बाद बहुत देर से। टीम ने इन त्रुटियों को ठीक करने के लिए कई तरीकों का प्रयास किया, जैसे कि मॉडलों को वीडियो पर अधिक ध्यान देने के लिए मजबूर करना या उन्हें पाठ (टेक्स्ट) के बजाय दृश्य साक्ष्य को प्राथमिकता देने के लिए प्रशिक्षित करना। इन प्रयासों ने केवल सीमित मदद प्रदान की। मॉडल जिद्दी रूप से टेक्स्ट की ओर पक्षपाती रहे, जिससे पता चलता है कि केवल उनके ध्यान को समायोजित करना उन्हें विश्वसनीय बनाने के लिए पर्याप्त नहीं है।
मॉडलों के सोचने के तरीके की आगे की जांच से पता चला कि समस्या बहुत गहरी है। शोधकर्ताओं ने मॉडलों के भीतर देखा कि वे वीडियो और शब्दों को कैसे संसाधित करते हैं। उन्होंने पाया कि मॉडल लंबे समय तक दोनों प्रकार की जानकारी को आपस में मिलाए रखते हैं। यह केवल उनके प्रसंस्करण के अंतिम चरणों में था कि मॉडलों ने दृश्य साक्ष्य को बोले गए शब्दों से अलग करना शुरू किया। हालाँकि, उस बिंदु तक, निर्णय अक्सर भ्रामक संवादों से प्रभावित हो चुका था। यह सुझाव देता है कि मॉडलों के पास वास्तविक समय में विरोधाभासी साक्ष्य को तौलने के लिए एक मजबूत तंत्र नहीं है। वे एक चित्र और एक वाक्य के बीच अंतर तो कर सकते हैं, लेकिन वे यह तय नहीं कर पाते कि जब दोनों असहमत हों तो सत्य क्या है।
निष्कर्ष बताते हैं कि हालांकि ये कृत्रिम बुद्धिमत्ता सिस्टम दुनिया को समझने में बेहतर हो रहे हैं, लेकिन वे अभी तक स्वतंत्र दैनिक सहायकों के रूप में भरोसे के लायक नहीं हैं। उनमें एक शोर भरे वातावरण में नेविगेट करने के लिए आवश्यक महत्वपूर्ण निर्णय लेने की क्षमता की कमी है जहाँ मानवीय भाषण गलत, अप्रासंगिक या यहाँ तक कि भ्रामक हो सकता है। इन सहायकों के वास्तव में उपयोगी होने के लिए, उन्हें न केवल देखना और सुनना सीखना होगा, बल्कि यह भी जानना होगा कि अपने कानों के ऊपर अपनी आँखों पर कब भरोसा करना है। जब तक वे ऐसा नहीं कर सकते, वे गलत दिशा में जाने के प्रति संवेदनशील बने रहेंगे, भले ही उत्तर उनके ठीक सामने हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।