तकनीकी सारांश: CrossView – क्या विजन-लैंग्वेज मॉडल कई कैमरों के बीच तर्क कर सकते हैं?

समस्या विवरण

वर्तमान विजन-लैंग्वेज मॉडल्स (VLMs) और वीडियो समझ के बेंचमार्क मुख्य रूप से एक "सिंगल-कैमरा धारणा" (single-camera assumption) के तहत संचालित होते रहे हैं, जहाँ मॉडल्स का मूल्यांकन एक एकल दृश्य स्ट्रीम पर तर्क करने की उनकी क्षमता पर किया जाता है। जबकि अत्याधुनिक मॉडल्स VQAv2 और Video-MME जैसे बेंचमार्क पर मानव-तुल्य प्रदर्शन प्राप्त करते हैं, वास्तविक दुनिया की प्रणालियाँ (स्वायत्त वाहन, सुरक्षा नेटवर्क, रोबोटिक्स) स्वाभाविक रूप से मल्टी-कैमरा नेटवर्क पर निर्भर करती हैं।

लेखक तर्क देते हैं कि मल्टी-कैमरा तर्क करना केवल सिंगल-कैमरा समस्या का विस्तार नहीं है, बल्कि एक मौलिक रूप से भिन्न चुनौती है जो दो विशिष्ट बाधाओं द्वारा चिह्नित है:

1. कॉन्टेक्स्ट स्केलिंग (Context Scaling): $N$ समानांतर वीडियो स्ट्रीम को प्रोसेस करना आवश्यक कॉन्टेक्स्ट विंडो को बढ़ा देता है, जो अक्सर लॉन्ग-कॉन्टेक्स्ट मॉडल्स की प्रभावी सीमाओं से बाहर निकल जाता है।
2. क्रॉस-व्यू स्पेशियल रीजनिंग (Cross-View Spatial Reasoning): मॉडल्स को स्पैटियो-टेम्पोरल स्टिचिंग (spatio-temporal stitching) करना होगा, यानी अलग-अलग दृष्टिकोणों को एक सुसंगत दृश्य में संश्लेषित करना होगा। इसके लिए उन अवरोधों (occlusions) को हल करने की आवश्यकता होती है जो केवल विशिष्ट कैमरों से दिखाई देते हैं, सबसे सूचनात्मक दृश्यों का चयन करने, और ओवरलैपिंग या भिन्न दृष्टिकोणों से साक्ष्य को एकीकृत करने की आवश्यकता होती है।

मौजूदा डेटासेट या तो संकीर्ण धारणा कार्यों (जैसे, दृश्यों को बर्ड्स-आई-व्यू प्रतिनिधित्व में मर्ज करना) पर ध्यान केंद्रित करते हैं या एर्गोसेंट्रिक (egocentric) गतिविधि समझ जैसे विशिष्ट डोमेन तक सीमित हैं। ऐसे बेंचमार्क की स्पष्ट कमी है जो मॉडल्स को कच्चे, समानांतर और विषम कैमरा फीड के माध्यम से स्पैटियो-टेम्पोरल रूप से तर्क करने के लिए मजबूर करते हैं।

कार्यप्रणाली (Methodology)

डेटासेट निर्माण: CrossView

लेखक CrossView पेश करते हैं, जो एक मल्टी-कैमरा वीडियो क्वेश्चन-आंसरिंग (VQA) बेंचमार्क है जिसमें चार वास्तविक दुनिया के डोमेन में 6,000 प्रश्न शामिल हैं: ऑटोनॉमस ड्राइविंग (nuScenes), सर्विलांस (MEVA), एर्गोसेंटिक-एक्सोसेंट्रिक इंटरेक्शन (Ego-Exo4D), और रोबोटिक्स (AgiBot)।

डेटासेट का निर्माण सिमेंटिक शुद्धता सुनिश्चित करने और मॉडल के मतिभ्रम (hallucination) से बचने के लिए एक दो-चरणीय पाइपलाइन के माध्यम से किया गया है:

1. स्पैटियो-टेम्पोरल सीन ग्राफ (STSG) निर्माण:
   • स्रोत डेटासेट्स से मेटाडेटा को समेकित किया जाता है। nuScenes के लिए, LiDAR पॉइंट क्लाउड्स 3D लोकलाइजेशन को परिष्कृत करते हैं; अन्य के लिए, 3D या बाउंडिंग-बॉक्स एनोटेशन का उपयोग किया जाता है।
   • जहाँ मूल लेबल अनुपलब्ध हैं, वहाँ VLMs (जैसे, InternVL-3.5) का उपयोग करके ऑब्जेक्ट-केंद्रित गतिविधियों और विवरणों को जेनरेट किया जाता है।
   • कैमरा दृश्यों के बीच संस्थाओं (entities) के बीच युग्मवार स्थानिक संबंधों (जैसे, पीछे, बाएँ, दाएँ) और ओरिएंटेशन डेल्टा की गणना की जाती है।
   • इवेंट अंतराल $[t_{start}, t_{end}]$ को उन निरंतर टाइमस्टैम्प के समूहों द्वारा बनाया जाता है जहाँ एक ऑब्जेक्ट एक सुसंगत गतिविधि बनाए रखता है।
   • ये तत्व ग्राफ स्नैपशॉट की एक कालानुक्रमिक श्रृंखला $G_t$ बनाते हैं, जो अंतिम STSG बनाता है।
2. प्रोग्रामेटिक प्रश्न पीढ़ी:
   • एक "ग्राउंडिंग-टारगेट" आर्किटेक्चर STSG को क्वेरी करता है। सिस्टम ग्राउंडिंग इवेंट्स/ऑब्जेक्ट्स की पहचान करता है, टारगेट इवेंट्स का चयन करता है, और नेगेटिव कैंडिडेट्स (डिस्ट्रैक्टर्स) को सैंपल करता है।
   • इस संरचित मेटाडेटा को प्राकृतिक-भाषा के प्रश्न संश्लेषित करने के लिए GPT-5.2 को पास किया जाता है, जिससे यह सुनिश्चित होता है कि प्रश्न जेनेरिक लेबल के बजाय ऑब्जेक्ट के स्वरूप और गतिविधि के आधार पर ग्राउंडेड विवरणों पर आधारित हों।

प्रश्न श्रेणियाँ

बेंचमार्क में पाँच विशिष्ट रीजनिंग श्रेणियाँ, साथ ही एक विशिष्ट "कैमरा-ID" कार्य शामिल है:

• टेम्पोरल (Temporal): पहले, बाद में, दौरान, या बीच में के संबंधों के बारे में तर्क करना।
• इवेंट ऑर्डरिंग (Event Ordering): 3-5 अलग-अलग घटनाओं के कालानुक्रमिक क्रम का पुनर्निर्माण करना।
• स्पेशियल (Spatial): विभिन्न दृष्टिकोणों के माध्यम से 3D संबंधों (जैसे, एक पार्क की गई कार के सापेक्ष ट्रैफिक पोल की स्थिति) को निर्धारित करना।
• काउंटिंग (Counting): ऑक्लूजन और पुन: उपस्थिति को संभालने के लिए पूर्ण टेम्पोरल स्पैन और कई दृश्यों में अद्वितीय ऑब्जेक्ट इंस्टेंस (UIDs) को एकत्रित करना।
• समराइजेशन (Summarization): सभी कैमरा दृष्टिकोणों से दृश्य की गतिशीलता का एक समग्र वृत्तांत तैयार करना।
• बेस्ट कैमरा (Camera-ID): यह पहचानना कि कौन सा विशिष्ट कैमरा दृश्य किसी दिए गए इवेंट के लिए सबसे अधिक सूचनात्मक या निरंतर साक्ष्य प्रदान करता है।

मूल्यांकन रणनीति

लेखों ने 11 VLMs का मूल्यांकन किया, जिसमें प्रोप्रायटरी मॉडल्स (GPT-5.2) और ओपन-सोर्स परिवार (Qwen, InternVL, Gemma) शामिल हैं।

• सैंपलिंग रणनीतियाँ: दो रणनीतियों की तुलना की गई: यूनिफॉर्म (प्रति कैमरा स्वतंत्र रूप से $N$ फ्रेम सैंपल करना) और स्टिच्ड (सभी कैमरा फ्रेम को एक एकल कंपोजिट इमेज में टाइल करना)।
• मेट्रिक्स: मल्टी-चॉइस कार्यों (काउंटिंग, टेम्पोरल, इवेंट ऑर्डरिंग, स्पेशियल, कैमरा-ID) के लिए सटीकता और ओपन-एंडेड समराइजेशन के लिए ROUGE स्कोर।

मुख्य परिणाम

1. मल्टी-कैमरा रीजनिंग गैप

मूल्यांकन एक सुसंगत और महत्वपूर्ण प्रदर्शन अंतर प्रकट करता है, यहाँ तक कि अत्याधुनिक मॉडल्स में भी।

• कम सटीकता: GPT-5.2, जो सिंगल-कैमरा बेंचमार्क पर संतृप्ति (saturation) के करीब पहुँचता है, nuScenes टेम्पोरल रीजनिंग में 50% से कम और Ego-Exo4D में कैमरा पहचान में 35% से कम स्कोर करता है।
• स्केल इंडिपेंडेंस: यह घाटा विभिन्न मॉडल परिवारों और पैरामीटर काउंट्स (3B से 14B+ तक) में बना रहता है, जो यह सुझाव देता है कि बॉटलनेक मॉडल क्षमता नहीं है, बल्कि प्रीट्रेनिंग डेटा में मल्टी-कैमरा समझ का संरचनात्मक अभाव है।
• कार्य की कठिनाई: वे कार्य जिनमें कैमरों के बीच संयुक्त संश्लेषण की आवश्यकता होती है (काउंटिंग और बेस्ट कैमरा चयन), सबसे कम स्कोर (अक्सर 20-35%) देते हैं, जो उन्हीं वीडियो से प्राप्त टेम्पोरल या इवेंट-ऑर्डरिंग कार्यों (40-55%) की तुलना में काफी कम है।

2. दृश्य जटिलता और कैमरा घनत्व

जैसे-जैसे दृश्य जटिलता बढ़ती है, प्रदर्शन निरंतर घटता जाता है।

• नियंत्रित वातावरण: AgiBot (रोबोटिक्स, फिक्स्ड कैमरे, कम क्लटर) उच्चतम सटीकता (टेम्पोरल रीजनिंग पर 69.6% तक) प्रदान करता है।
• जटिल वातावरण: MEVA (वाइड-एरिया सर्विलांस, कई ओवरलैपिंग कैमरे) सभी श्रेणियों में सबसे कम स्कोर उत्पन्न करता है, विशेष रूप से काउंटिंग और समराइजेशन में।

3. इनपुट रणनीतियाँ: यूनिफॉर्म बनाम स्टिच्ड

• स्टिच्ड सैंपलिंग: एक ही समय में स्थानिक तुलना (जैसे, nuScenes काउंटिंग में +10.5%, MEVA स्पेशियल रीजनिंग में +16.6%) के लिए फ्रेम को टाइल करने से प्रदर्शन में सुधार होता है।
• यूनिफॉर्म सैंपलिंग: सरल, कम क्लटर वाले वातावरण (AgiBot) में, स्टिचिंग दृश्य शोर (visual noise) पैदा कर सकता है और प्रदर्शन को थोड़ा कम कर सकता है, जिससे पता चलता है कि फ्रेम सैंपलिंग रणनीतियाँ कार्य-निर्भर होनी चाहिए।

4. मल्टी-व्यू इनपुट्स की आवश्यकता

इनपुट को केवल एक "सर्वश्रेष्ठ" कैमरे तक सीमित करने से मल्टी-कैमरा बेसलाइन की तुलना में प्रदर्शन आमतौर पर कम हो जाता है।

• nuScenes पर, केवल फ्रंट कैमरा उपयोग करने से मल्टी-कैमरा बेसलाइन की तुलना में काउंटिंग सटीकता में 8.8% और स्पेशियल रीजनिंग में 4.4% की गिरावट आई।
• यह पुष्टि करता है कि कई प्रश्नों के लिए वास्तव में कई दृष्टिकोणों से साक्ष्य की आवश्यकता होती है जिसे एकल स्ट्रीम से अनुमानित नहीं किया जा सकता है।

महत्व और दावे

यह पेपर दावा करता है कि CrossView पहला ऐसा बेंचमार्क है जिसे विशेष रूप से विविध वास्तविक दुनिया के डोमेन में 2 से 8 समानांतर कैमरा स्ट्रीम पर संयुक्त तर्क का मूल्यांकन करने के लिए क्यूरेट किया गया है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

1. एक मौलिक सीमा को उजागर करना: यह प्रदर्शित करता है कि वर्तमान VLMs, सिंगल-व्यू कार्यों में अपनी सफलता के बावजूद, कई दृष्टिकोणों के बीच साक्ष्य को प्रभावी ढंग से एकीकृत करने के लिए आवश्यक आर्किटेक्चरल तंत्र या प्रशिक्षण डेटा की कमी रखते हैं।
2. एक नई चुनौती को परिभाषित करना: यह स्थापित करता है कि मल्टी-कैमरा रीजनिंग में विशिष्ट चुनौतियाँ शामिल हैं (कॉन्टेक्स्ट स्केलिंग, स्पैटियो-टेम्पोरल स्टिचिंग, व्यू सिलेक्शन) जिन्हें केवल मॉडल स्केल या कॉन्टेक्स्ट विंडो का आकार बढ़ाकर हल नहीं किया जा सकता है।
3. बेंचमार्किंग की कठोरता: यह सत्यापित करके कि सिंगल-व्यू इनपुट कई प्रश्नों का उत्तर देने में विफल रहते हैं (तालिका 5), यह पेपर स्वायत्त प्रणालियों और रोबोटिक्स में वास्तविक दुनिया की तैनाती के लिए मल्टी-व्यू एकीकरण की आवश्यकता को मान्य करता है।

लेखक निष्कर्ष निकालते हैं कि CrossView आधुनिक VLMs के लिए एक कठोर स्ट्रैस-टेस्ट के रूप में कार्य करता है, जो नए आर्किटेक्चर, प्रशिक्षण उद्देश्यों और डेटा पाइपलाइनों की आवश्यकता पर प्रकाश डालता है जो स्पष्ट रूप से क्रॉस-व्यू साक्ष्य एकीकरण का समर्थन करते हैं।