From Sports to Safety: Benchmarking Proactive Risk Inference in MLLMs
यह शोध पत्र SPRINT प्रस्तुत करता है, जो वास्तविक दुनिया के खेल वीडियो का एक व्यापक बेंचमार्क है जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की सक्रिय जोखिम अनुमान क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि जहाँ वर्तमान मॉडल खतरों का पता लगाने में उत्कृष्ट हैं, वहीं वे उनके अंतर्निहित कारणों को पहचानने में संघर्ष करते हैं और बार-बार गलत अलार्म उत्पन्न करते हैं, जो गतिशील भौतिक वातावरण के लिए विश्वसनीय सक्रिय सुरक्षा में एक महत्वपूर्ण अंतर को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं, लेकिन केवल स्क्रीन पर जो हो रहा है उसे देखने के बजाय, आपके पास बगल में बैठा एक बहुत ही बुद्धिमान मित्र है जो होने से पहले ही कहानी के मोड़ (प्लॉट ट्विस्ट) की भविष्यवाणी कर सकता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस मित्र को मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) कहा जाता है। ये शक्तिशाली कंप्यूटर मस्तिष्क हैं जो छवियों और वीडियो को "देख" सकते हैं और टेक्स्ट को "पढ़" सकते हैं, जिससे वे दुनिया को लगभग इंसानों की तरह समझने में सक्षम होते हैं। लंबे समय से, वैज्ञानिक इन AI मित्रों को बुरा होने के बाद चीजों को पहचानने के लिए सिखा रहे हैं, जैसे कि आग की तस्वीर पहचानना या किसी खतरनाक जानवर के बारे में टेक्स्ट पढ़ना। लेकिन असली जादू—और असली सुरक्षा चुनौती—प्रोएक्टिव (सक्रिय) सोच में निहित है। यह एक दृश्य को देखने, एक सूक्ष्म संकेत (जैसे एक डगमगाती सीढ़ी या बहुत अधिक झुकता हुआ धावक) को पकड़ने और आपदा आने से पहले चिल्लाने की क्षमता है, "रुको! कुछ बुरा होने वाला है!" यह आग लगने के बाद फायर ब्रिगेड को बुलाने और आग की लपटें उठने से पहले धुआं देखकर उन्हें बुलाने के बीच का अंतर है।
यह बिल्कुल वही है जिसे चीन की रेनमिन यूनिवर्सिटी के शोधकर्ताओं की एक टीम का परीक्षण करना था। उन्होंने एक सरल लेकिन डरावना सवाल पूछा: क्या हमारे वर्तमान AI सुपर-ब्रेन वास्तव में वास्तविक समय में शारीरिक दुर्घटनाओं की भविष्यवाणी कर सकते हैं, या वे केवल स्मार्ट होने का नाटक कर रहे हैं? यह पता लगाने के लिए, उन्होंने SPRINT (स्पोर्ट्स प्रोएक्टिव रिस्क इनफरेंस टेस्टबेड) नामक एक नया परीक्षण मैदान बनाया। उन्होंने स्पोर्ट्स एक्सीडेंट्स के लगभग 3,000 वास्तविक वीडियो एकत्र किए—स्केटबोर्डिंग क्रैश से लेकर जिम्नास्टिक फॉल्स तक—और उन्हें सुरक्षित वीडियो के साथ जोड़ा जहाँ कुछ भी बुरा नहीं हुआ। उन्होंने AI से केवल यह नहीं पूछा, "क्या किसी को चोट लगी?" (जिसे बाद में बताना आसान है)। इसके बजाय, उन्होंने पूछा, "क्या बुरा होने वाला है, और क्यों?" वे यह देखना चाहते थे कि क्या AI खतरे को तब पहचान सकता है जब वह अभी पनप ही रहा हो, जैसे कि जमीन से टकराने से पहले स्केटबोर्डर के पैर फिसलने को नोटिस करना।
परिणाम एक चेतावनी की तरह थे। शोधकर्ताओं ने पाया कि जबकि ये AI मॉडल खतरे को पहचानने में उत्कृष्ट हैं जब वह स्पष्ट हो चुका हो (जैसे कि जमीन पर लेटे हुए व्यक्ति को देखना), वे इसे होने से पहले भविष्यवाणी करने में आश्चर्यजनक रूप से खराब हैं। जब AI को एक स्पोर्ट्स एक्सीडेंट का वीडियो दिया गया और बिना यह बताए कि खतरे को देखें, स्थिति का वर्णन करने के लिए कहा गया, तो वह चेतावनी संकेतों को पूरी तरह से मिस कर गया। इससे भी बदतर यह हुआ कि जब शोधकर्ताओं ने स्पष्ट रूप से पूछा, "क्या यहाँ कोई खतरा है?", तो AI घबराने लगा। यह सुरक्षित वीडियो में भी खतरे देखने लगा, जैसे कि एक जिम्नास्ट का परफेक्ट फ्लिप या एक धावक का दौड़ना, क्योंकि उस सवाल ने उसे संदिग्ध बना दिया था। ऐसा लग रहा था जैसे AI "मुझे एक समस्या मिल गई!" कहने के लिए इतना उत्सुक था कि उसने वहां भी समस्याएं गढ़ लीं जहां कोई समस्या नहीं थी।
इस अध्ययन ने, जिसने 14 अलग-अलग खेलों के 2,888 वीडियो का विश्लेषण किया, यह खुलासा किया कि AI की खतरे को 'महसूस' करने की क्षमता और उसे 'समझने' की क्षमता के बीच एक गहरा अंतर है। सबसे अच्छे AI मॉडल दुर्घटना होने पर खतरे के संकेत देने में 95% से अधिक बार सही थे। हालांकि, जब यह समझाने के लिए पूछा गया कि दुर्घटना क्यों हो रही है या शुरुआती कुछ सेकंडों में इसकी भविष्यवाणी करने के लिए कहा गया, तो उनका प्रदर्शन 50% से नीचे गिर गया। वास्तव में, जब शोधकर्ताओं ने एक प्रॉम्प्ट का उपयोग करके सुरक्षित वीडियो पर AI का परीक्षण किया जिसमें खतरे के बारे में पूछा गया था, तो कुछ मॉडलों ने उच्च-ऊर्जा वाली गतिविधियों को दुर्घटना के रूप में आधे से अधिक समय तक फ्लैग करना शुरू कर दिया।
शोधकर्ताओं ने एक AI मॉडल को उनके नए डेटासेट का उपयोग करके "सिखाने" का भी प्रयास किया, इस उम्मीद में कि वे इन कमियों को ठीक कर सकें। कुछ प्रशिक्षण के बाद, AI दुर्घटनाओं के कारणों को पहचानने में बहुत बेहतर हो गया और सुरक्षित वीडियो पर "गलत अलार्म" बजाने की संभावना कम हो गई। हालांकि, इस मदद के बावजूद, AI अभी भी सबसे कठिन काम के साथ संघर्ष कर रहा था: एक वीडियो को उसके शुरुआती चरणों में देखना और बिना किसी संकेत के यह पहचानना कि दुर्घटना का विशिष्ट भौतिक कारण क्या हो सकता है।
अंत में, यह पेपर सुझाव देता है कि जबकि हमारे वर्तमान AI मित्र जो वे देखते हैं उसका वर्णन करने में बेहतर हो रहे हैं, उन्होंने अभी तक "प्रोएक्टिव सेफ्टी" की कला में महारत हासिल नहीं की है। वे अभी भी मुख्य रूप से रिएक्टिव (प्रतिक्रियाशील) हैं, दुर्घटना होने का इंतजार करते हैं, उसके बाद ही वे समझते हैं। अध्ययन का निष्कर्ष है कि यदि AI को वास्तविक दुनिया में वास्तव में सुरक्षित होना है—चाहे वह कार चला रहा हो, किसी बुजुर्ग की मदद कर रहा हो, या कोई खेल देख रहा हो—तो उसे केवल स्पष्ट खतरों को पहचानने से आगे बढ़ने की आवश्यकता है। उसे खतरे के कारणों को समझने की आवश्यकता है और केवल उन सवालों पर प्रतिक्रिया देने के बजाय अपनी आँखों पर भरोसा करना सीखना होगा जो हम उससे पूछते हैं। जब तक ऐसा नहीं होता, हमें मानव आँख रखने की आवश्यकता हो सकती है, ताकि यह सुनिश्चित हो सके कि AI एक परफेक्ट जंप को आपदा न मान ले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।