SOVABench: A Vehicle Surveillance Action Retrieval Benchmark for Multimodal Large Language Models

कल्पना कीजिए कि आप एक रोबोट को केवल एक फोटो देखकर नहीं, बल्कि एक फिल्म देखकर दुनिया को समझना सिखाने की कोशिश कर रहे हैं। यह मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की दुनिया है। इन मॉडल्स को उन सुपर-स्मार्ट छात्रों के रूप में सोचें जिन्होंने इंटरनेट पर मौजूद हर किताब पढ़ी है और हर वीडियो देखा है। वे "इस तस्वीर में क्या हो रहा है?" या "वहाँ कितनी बिल्लियाँ हैं?" जैसे सवालों के जवाब देने में माहिर हैं। लेकिन एक पेचीदा हिस्सा है: वे अक्सर दो ऐसी चीजों के बीच अंतर करने में संघर्ष करते हैं जो दिखने में लगभग एक जैसी होती हैं लेकिन बिल्कुल विपरीत तरीके से हो रही होती हैं, जैसे कि एक कार का पीछे जाना बनाम एक कार का आगे बढ़ना।

वीडियो निगरानी (video surveillance) की दुनिया में, यह एक बहुत बड़ी समस्या है। सुरक्षा कैमरों को न केवल यह जानने की जरूरत है कि वहाँ एक कार है; उन्हें यह भी जानना चाहिए कि कार क्या कर रही है। क्या वह बक्से लोड कर रही है या अनलोड कर रही है? क्या वह बाईं ओर मुड़ रही है या दाईं ओर? यदि रोबोट भ्रमित हो जाता है, तो वह एक वास्तविक अपराध को मिस कर सकता है या गलत अलार्म बजा सकता है। वैज्ञानिक इन रोबोटों के लिए बेहतर "आंखें" बनाने की कोशिश कर रहे हैं, लेकिन उनके द्वारा उपयोग किए जाने वाले अधिकांश परीक्षण एक पार्टी की स्थिर फोटो देखने जैसे हैं—वे यह जांचते हैं कि क्या रोबोट दृश्य को पहचानता है, न कि यह कि वह वीडियो में हो रही विशिष्ट क्रियाओं को समझता है या नहीं। यह शोध पत्र उस कमी को दूर करने के लिए एक नया, कठिन परीक्षण विशेष रूप से वाहन क्रियाओं (vehicle actions) के लिए बनाकर और रोबोटों को अंतर पहचानने का तरीका सिखाने का एक चतुर नया तरीका दिखाकर आगे आता है।

---

नया "विपरीत क्रिया" टेस्ट ड्राइव

इस अध्ययन के पीछे के शोधकर्ताओं ने महसूस किया कि मौजूदा परीक्षण निगरानी के कठिन कार्य के लिए बहुत आसान थे। उन्होंने SOVABench (सर्वेलांस अपोजिट व्हीकल एक्शन्स बेंचमार्क) नामक एक नया बेंचमार्क बनाया। एक ड्राइविंग टेस्ट की कल्पना करें जहाँ, छात्र को केवल गाड़ी चलाने के लिए कहने के बजाय, आप उनसे "ट्रंक खोलना" और "ट्रंक बंद करना", या "कार में सामान लोड करना" और "कार से सामान उतारना" के बीच अंतर करने के लिए कहते हैं। ये क्रियाएं मानवीय आंख के लिए बहुत समान दिखती हैं, लेकिन समय के क्रम में ये बिल्कुल विपरीत हैं।

SOVABench वास्तविक दुनिया के सुरक्षा कैमरा क्लिप्स का एक संग्रह है जो इन "विपरीत जोड़ों" (opposite pairs) में व्यवस्थित हैं। शोधकर्ताओं ने रोबोटों के लिए कठिनाई के दो स्तर निर्धारित किए:

1. "आसान" स्तर (Inter-pair): क्या रोबोट एक कार के बाईं ओर मुड़ने और एक कार के रुकने के बीच अंतर कर सकता है? (ये स्पष्ट रूप से अलग हैं)।
2. "कठिन" स्तर (Intra-pair): क्या रोबोट एक कार का दरवाजा खोलने और एक कार का दरवाजा बंद करने के बीच अंतर कर सकता है? (ये लगभग एक जैसे दिखते हैं, बस उलटे क्रम में चलते हैं)।

जब उन्होंने अपने परीक्षण चलाए, तो उन्होंने पाया कि बाजार में मौजूद सबसे उन्नत रोबोट भी "कठिन" स्तर के साथ संघर्ष कर रहे थे। वे अक्सर भ्रमित हो जाते थे, और "खोलने" और "बंद करने" को एक ही चीज़ मान लेते थे। इससे यह सिद्ध हुआ कि केवल एक शक्तिशाली कैमरा होना पर्याप्त नहीं है; रोबोट को गति की कहानी समझने के लिए बेहतर तरीके की आवश्यकता है।

"वर्णन करो" वाली ट्रिक

तो, शोधकर्ताओं ने रोबोटों को स्मार्ट बनाने में कैसे मदद की? एक नए, जटिल रोबोट को शून्य से बनाने के बजाय, उन्होंने पहले बताए गए "सुपर-स्टूडेंट्स" (MLLMs) का उपयोग करके एक चतुर, मुफ्त ट्रिक का उपयोग किया।

आमतौर पर, जब एक रोबोट किसी वीडियो को देखता है, तो वह पूरी चीज़ को एक एकल, विशाल गणितीय संख्या (एक "एम्बेडिंग") में बदलने की कोशिश करता है ताकि उसकी अन्य वीडियो के साथ तुलना की जा सके। लेखकों ने पाया कि यह विधि अक्सर उन सूक्ष्म विवरणों को छोड़ देती है जो महत्वपूर्ण होते हैं। इसके बजाय, उन्होंने रोबोट को जो वह देख रहा है उसके बारे में बात करने के लिए कहा।

यहाँ उनकी रेसिपी है:

1. एक स्मार्ट AI मॉडल को वीडियो दिखाएं।
2. उससे एक सवाल पूछें: "इस वीडियो की क्रियाओं को संक्षेप में वर्गीकृत करें" या "गति का वर्णन करें।"
3. जवाब सुनें: AI एक वाक्य लिखता है जैसे, "एक व्यक्ति कार का ट्रंक बंद कर रहा है।"
4. वाक्य को संख्या में बदलें: वे उस लिखित विवरण को लेते हैं और एक मानक टेक्स्ट टूल का उपयोग करके उस लिखित विवरण को एक गणितीय संख्या में बदलते हैं।
5. कहानियों की तुलना करें: यह देखने के लिए कि क्या दो वीडियो समान हैं, वे उन कहानियों की तुलना करते हैं जो AI ने उनके बारे में लिखी हैं, न कि केवल कच्चे चित्रों की तुलना करते हैं।

यह तरीका एक मानव गवाह से अपराध स्थल का शब्दों में वर्णन करने के लिए कहने जैसा है, बजाय इसके कि केवल उन्हें एक धुंधली फोटो दिखाई जाए। यदि एक गवाह कहता है, "कार पीछे जा रही थी," और दूसरा कहता है, "कार आगे जा रही थी," तो शब्दों में अंतर स्पष्ट है, भले ही फोटो समान दिखें।

उन्हें क्या मिला

परिणाम आश्चर्यजनक रूप से अच्छे थे। इस "वर्णन करो" वाली ट्रिक का उपयोग करके, उनका सिस्टम अन्य रोबोटों द्वारा उपयोग किए जाने वाले मानक तरीकों की तुलना में विपरीत क्रियाओं के बीच अंतर पहचानने में बहुत बेहतर हो गया।

• बुनियादी बातों को पछाड़ना: वस्तुओं को गिनने और स्थानिक संबंधों (जैसे "क्या बॉक्स बाईं ओर है या दाईं ओर?") से संबंधित परीक्षणों में, "बातूनी" AI मॉडल का उपयोग करने वाला उनका तरीका पिछले शीर्ष प्रदर्शन करने वालों की तुलना में काफी बेहतर था। उदाहरण के लिए, गिनती वाले कार्यों में, उनके सर्वश्रेष्ठ सेटअप ने पुराने मानक की तुलना में सटीकता में 34% से अधिक सुधार किया।
• कठिन कोड को तोड़ना: SOVABench के "कठिन" स्तर पर (विपरीत क्रियाओं के बीच अंतर करना), MiniCPM-V 4.5 नामक एक विशिष्ट मॉडल और एक "टास्क-अवेयर" प्रॉम्प्ट (एक विशिष्ट निर्देश जो AI को बताता है कि क्या देखना है) का उपयोग करने वाले उनके तरीके ने उच्चतम स्कोर प्राप्त किया। इसने लगभग हर अन्य मॉडल को हराकर, जिसमें बड़ी कंपनियों के महंगे, प्रोप्रायटरी मॉडल भी शामिल थे, 53.6 का स्कोर प्राप्त किया।
• निर्देशों की शक्ति: उन्होंने पाया कि आप सवाल कैसे पूछते हैं, यह मायने रखता है। यदि आप केवल "इसका वर्णन करें" कहते हैं, तो AI ठीक-ठाक है। लेकिन यदि आप कहते हैं "क्रियाओं की सूची बनाएं," तो AI काम में बहुत बेहतर हो जाता है। यह सुझाव देता है कि रोबोट को एक स्पष्ट कार्य विवरण देने से उसे सही विवरणों पर ध्यान केंद्रित करने में मदद मिलती है।

उन्होंने क्या नहीं पाया (और क्या उन्होंने खारिज कर दिया)

यह ध्यान रखना महत्वपूर्ण है कि इस शोध पत्र ने क्या नहीं किया। उन्होंने यह नहीं पाया कि रोबोट अब पूर्ण हो गए हैं; वे अभी भी गलतियाँ करते हैं, और स्कोर, हालांकि सबसे अच्छे हैं, 100% नहीं हैं। उन्होंने इस विचार को भी खारिज कर दिया कि केवल वीडियो के लिए डिज़ाइन किए गए मॉडल (Video-MLLMs) होने से स्वचालित रूप से बेहतर परिणाम मिलते हैं। वास्तव में, कुछ सामान्य-उद्देश्य वाले मॉडल जो छवियों और टेक्स्ट दोनों को संभाल सकते हैं, वे इन छोटी, विशिष्ट क्रियाओं के लिए विशेष वीडियो मॉडल की तुलना में बेहतर काम कर रहे थे।

उन्होंने यह भी दिखाया कि इन परिणामों के लिए आपको रोबोट को हजारों नए उदाहरणों के साथ फिर से प्रशिक्षित (re-train) करने की आवश्यकता नहीं है। उनका तरीका "ट्रेनिंग-फ्री" है, जिसका अर्थ है कि आप बस AI का उपयोग कर सकते हैं जैसा वह है, उसे वीडियो का वर्णन करने के लिए कहें, और एक शानदार परिणाम प्राप्त करें। यह एक बड़ी बात है क्योंकि नए रोबोट को प्रशिक्षित करना महंगा और धीमा होता है।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि कभी-कभी, रोबोट को वीडियो समझने में मदद करने का सबसे अच्छा तरीका उसकी "आंखों" को तेज बनाना नहीं, बल्कि उसकी "आवाज" को स्पष्ट बनाना है। AI को शब्दों में वह बताने के लिए मजबूर करके जो वह देख रहा है, हम "लोडिंग" और "अनलोडिंग" जैसी क्रियाओं के सूक्ष्म अंतर को पकड़ सकते हैं जिसे शुद्ध विजुअल मैथ (visual math) अक्सर मिस कर देता है। यह एक याद दिलाता है कि निगरानी की दुनिया में, गति के पीछे की कहानी जानना उतना ही महत्वपूर्ण है जितना कि गति को देखना।