तकनीकी सारांश: सत्य का पीछा करना: वीडियो लार्ज लैंग्वेज मॉडल्स के लिए ऑब्जेक्ट-सेंट्रिक स्पैटियो-टेम्पोरल मॉनिटरिंग

1. समस्या विवरण

यद्यपि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) ने वीडियो समझ में प्रगति की है, फिर भी वे गतिशील दृश्यों (dynamic scenes) में भ्रम (hallucinations) के प्रति अत्यधिक संवेदनशील बने हुए हैं। लेखक तर्क देते हैं कि यह विफलता स्पैटियो-टेम्पोरल मॉनिटरिंग (स्थानिक-कालिक निगरानी) की कमी के कारण है: यानी समय के साथ वस्तुओं की पहचान, अवस्था और संबंधों को निरंतर ट्रैक करने की क्षमता।

वर्तमान मूल्यांकन बेंचमार्क दो महत्वपूर्ण सीमाओं से ग्रस्त हैं जो इस कमी को स्पष्ट करती हैं:

1. स्थानीय संकेतों पर निर्भरता (Local Cue Reliance): कई प्रश्नों को केवल एक फ्रेम या छोटे खंड के निरीक्षण से हल किया जा सकता है, जिससे मॉडल वैश्विक टेम्पोरल रीजनिंग (कालिक तर्क) को दरकिनार कर देते हैं।
2. अंतिम-उत्तर अस्पष्टता (Final-Answer Obscurity): केवल अंतिम उत्तर पर आधारित मूल्यांकन तर्क प्रक्रिया को छिपा देता है। एक मॉडल सांख्यिकीय पूर्वग्रहों (statistical priors) या संयोगवश सही होने के माध्यम से सही उत्तर दे सकता है, बिना अंतर्निहित स्पैटियो-टेम्पोरल निर्भरताओं को वास्तव में हल किए।

परिणामस्वरूप, मौजूदा बेंचमार्क मॉडल की वास्तविक समझ क्षमताओं का एक सीमित दृश्य प्रदान करते हैं, जो वास्तविक टेम्पोरल रीजनिंग और "शॉर्टकट लर्निंग" के बीच अंतर करने में विफल रहते हैं।

2. कार्यप्रणाली

लेखक दो-आयामी दृष्टिकोण प्रस्तावित करते हैं: कठोर मूल्यांकन के लिए एक नया बेंचमार्क (STEMO-Bench) और वीडियो समझ के लिए एक नया ऑब्जेक्ट-सेंट्रिक फ्रेमवर्क (STEMO-Track)।

2.1 STEMO-Bench: स्पैटियो-टेम्पोरल मॉनिटरिंग बेंचमार्क

STEMO-Bench को विशेष रूप से एक MLLM की ऑब्जेक्ट-सेंट्रिक डायनेमिक्स को ट्रैक करने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह एक स्ट्रक्चर-फर्स्ट डेटा कंस्ट्रक्शन पाइपलाइन और एक सूक्ष्म-स्तरीय (fine-grained) मूल्यांकन प्रोटोकॉल पेश करता है।

• डेटा निर्माण:
  • विशेषज्ञ-संचालित तथ्य एनोटेशन: कच्चे वीडियो से सीधे QA जोड़े उत्पन्न करने के बजाय, लेखक पहले एक मानव-सत्यापित संरचनात्मक प्रतिनिधित्व का निर्माण करते हैं। प्रशिक्षित एनोटेटरों का एक समूह संस्थाओं (entities) की पहचान करता है, उन्हें कैनोनिकल आइडेंटिफायर असाइन करता है, और अवलोकन योग्य अवस्थाओं एवं संबंधों को संरचित टुपल्स (जैसे, (t, object, state)) के रूप में रिकॉर्ड करता है।
  • पहचान बंधन (Identity Binding): एनोटेटर बाधा (occlusion) या अवस्था परिवर्तन के बावजूद निरंतर पहचान ट्रैकिंग सुनिश्चित करने के लिए टेम्पोरल एंकर्स के माध्यम से संस्थाओं को मैन्युअल रूप से ट्रैक करते हैं।
  • स्वचालित QA जनरेशन: एक LLM इन सत्यापित तथ्यों के आधार पर जटिल लक्षित प्रश्न उत्पन्न करता है, यह सुनिश्चित करते हुए कि उनके लिए समय के माध्यम से बहु-चरणीय तर्क की आवश्यकता हो।
  • विखंडन (Decomposition): प्रत्येक लक्षित प्रश्न को स्पैटियो-टेम्पोरल मॉनिटरिंग के प्रमुख चरणों (जैसे, एक वस्तु की पहचान करना, एक विशिष्ट समय पर उसकी अवस्था प्राप्त करना, एक संक्रमण को सत्यापित करना) के अनुरूप परमाणु उप-प्रश्नों (atomic sub-questions) के एक अनुक्रम में विभाजित किया जाता है।
• मूल्यांकन मेट्रिक्स:
  • लक्षित सटीकता ($A_{target}$): अंतिम प्रश्न पर मानक सटीकता।
  • उप-प्रश्न सटीकता ($A_{sub}$): सभी पूर्ववर्ती उप-प्रश्नों पर सटीकता।
  • संगति ($A_{cons}$): उन उप-प्रश्नों का अनुपात जिनका उत्तर सही दिया गया था जब लक्षित उत्तर सही था। कम $A_{cons}$ के साथ उच्च $A_{target}$ यह दर्शाता है कि मॉडल स्पूरियस कोरिलेशन (झूठे सहसंबंधों) पर निर्भर है न कि मजबूत मॉनिटरिंग पर।

2.2 STEMO-Track: ऑब्जेक्ट-सेंट्रिक फ्रेमवर्क

STEMO द्वारा उजागर की गई विफलता मोड को संबोधित करने के लिए, लेखक STEMO-Track प्रस्तावित करते हैं, जो वीडियो को अनस्ट्रक्चर्ड फ्रेम अनुक्रम के रूप में मानने के बजाय संस्थाओं और उनके टेम्पोरल विकास को स्पष्ट रूप से मॉडल करता है।

• पाइपलाइन आर्किटेक्चर:
  1. टेम्पोरल चंकिंग: वीडियो को अलग-अलग टेम्पोरल चंक्स में विभाजित किया जाता है।
  2. चंक-वार अवस्था निष्कर्षण (Chunk-wise State Extraction): एक VLM-आधारित स्टेट एक्सट्रैक्टर ($E_\phi$) प्रत्येक चंक को स्वतंत्र रूप से प्रोसेस करता है ताकि दृश्य वस्तुओं की पहचान की जा सके और उनकी अवस्था का अनुमान लगाया जा सके, जिससे स्थानीय अवलोकन प्राप्त होते हैं।
  3. टेम्पोरल एकत्रीकरण (Temporal Aggregation): एक टेम्पोरल एकत्रीकरण मॉड्यूल ($A_\psi$) स्थानीय अवलोकनों को वैश्विक, सुसंगत ऑब्जेक्ट ट्राजेक्टरीज में समेकित करता है। इसमें चार-चरणीय पहचान-लिंकिंग एल्गोरिदम शामिल है:
     • समानता स्कोरिंग (Similarity Scoring): दृश्य विशेषताओं और स्थानिक निकटता के आधार पर चंक्स के बीच वस्तुओं का मिलान करना।
     • कन्स्ट्रेंट फ़िल्टरिंग (Constraint Filtering): टेम्पोरल निकटता और कॉन्फिडेंस थ्रेशोल्ड लागू करना।
     • संघर्ष समाधान (Conflict Resolution): वन-टू-वन पहचान मैपिंग सुनिश्चित करने के लिए बाइपार्टाइट मैचिंग का उपयोग करना।
     • ट्राजेक्टरी जनरेशन (Trajectory Generation): लिंक्ड अवलोकनों को सुसंगत ट्राजेक्टरीज ($S_o$) में मर्ज करना।
  4. क्वेरी-आधारित ट्राजेक्टरी रिट्रीवल: एक दिए गए क्वेरी के लिए, एक रिट्रीवर ($R_\omega$) आवश्यक लक्षित ट्राजेक्टरीज के प्रासंगिक उपसमुच्चय ($S_Q$) का चयन करता है।
  5. ट्राजेक्टरी-गाइडेड आंसरिंग: एक उत्तर जनरेटर ($G_\eta$) रिट्रीव की गई ट्राजेक्टरीज पर तर्क करता है ताकि अंतिम उत्तर दिया जा सके।

यह डिज़ाइन प्रतिनिधित्व निर्माण को क्वेरी-विशिष्ट तर्क से अलग करता है, जिससे वीडियो प्रतिनिधित्व को एक बार बनाया जा सकता है और कई प्रश्नों के लिए पुन: उपयोग किया जा सकता है।

3. मुख्य योगदान

1. STEMO-Bench: एक ऐसा बेंचमार्क जिसमें मानव-सत्यापित ऑब्जेक्ट-सेंट्रिक तथ्य शामिल हैं जो परमाणु उप-प्रश्नों के माध्यम से मध्यवर्ती तर्क का मूल्यांकन करता है, जिससे वास्तविक टेम्पोरल समझ और संयोगवश सही होने के बीच अंतर किया जा सके।
2. STEMO-Track: एक नया ऑब्जेक्ट-सेंट्रिक पाइपलाइन जो व्यवस्थित रूप से संरचित ऑब्जेक्ट ट्राजेक्टरीज का निर्माण और क्वेरी करता है, और उत्तरों को रिट्रीव किए गए टेम्पोरल डेटा में स्पष्ट रूप से ग्राउंड करता है।
3. व्यवस्थित मूल्यांकन: लक्षित बनाम मध्यवर्ती संगति पर आधुनिक MLLMs का व्यापक मूल्यांकन, जो स्पैटियो-टेम्पोरल कमियों को उजागर करता है और स्पष्ट मॉनिटरिंग की प्रभावकारिता को प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने STEMO-Bench पर प्रोप्रायटरी एंड-टू-एंड MLLMs (जैसे, Gemini-3.1-Pro, GPT-5), ओपन-वेट मॉडल्स (जैसे, Qwen3-VL, InternVL3), और स्ट्रक्चर्ड पाइपलाइन्स (जैसे, VideoMind, TraveLER) के विरुद्ध STEMO-Track का मूल्यांकन किया।

• प्रदर्शन: STEMO-Track (Gemini-3-Flash का उपयोग करते हुए) ने 77.1% लक्षित सटीकता प्राप्त की, जो सबसे मजबूत प्रोप्रायटरी बेसलाइन (Gemini-3.1-Pro 61.4% पर) और ओपन-वेट मॉडल्स को काफी पीछे छोड़ देती है।
• संगति: STEMO-Track ने 81.3% की श्रेष्ठ संगति ($A_{cons}$) प्रदर्शित की, जबकि Gemini-3.1-Pro के लिए यह 69.2% थी। यह इंगित करता है कि STEMO-Track के सही उत्तरों के पीछे वफादार मध्यवर्ती तर्क होने की संभावना अधिक होती है।
• सांख्यिकीय महत्व: पेयर्ड बूटस्ट्रैप टेस्ट के माध्यम से सुधार सांख्यिकीय रूप से महत्वपूर्ण ($p < 0.005$) थे।
• एब्लेशन अध्ययन:
  • विजुअल बजट: उत्तर जनरेटर के लिए विजुअल बजट को कम करने का STEMO-Track (Gemini) पर न्यूनतम प्रभाव पड़ा, लेकिन इसने ओपन-वेट मॉडल्स को गंभीर रूप से खराब कर दिया, जो सुझाव देता है कि ट्राजेक्टरी मेमोरी टेम्पोरल संकेतों को प्रभावी ढंग से एनकोड करती है।
  • एकत्रीकरण (Aggregation): ट्राजेक्टरीज का नियत (deterministic) संयोजन LLM-आधारित सारांशीकरण से बेहतर रहा, जिससे महत्वपूर्ण लो-सेलिएंस (कम प्रमुखता वाले) विवरणों के छूटने से बचाव हुआ।
• गुणात्मक विश्लेषण: केस स्टडीज ने खुलासा किया कि बेसलाइन मॉडल अक्सर लक्षित प्रश्नों का सही उत्तर देते हैं जबकि पूर्ववर्ती उप-प्रश्नों (जैसे, किसी वस्तु की पहचान को गलत बताना) में विफल रहते हैं, जो पुष्टि करता है कि केवल लक्षित मेट्रिक्स वास्तविक समझ को बढ़ा-चढ़ाकर दिखाते हैं।

5. महत्व और दावे

यह शोध दावा करता है कि वर्तमान वीडियो MLLMs की प्राथमिक सीमा स्पष्ट स्पैटियो-टेम्पोरल मॉनिटरिंग की कमी है। STEMO-Bench पेश करके, लेखक इस विफलता का कड़ाई से निदान करने के लिए एक उपकरण प्रदान करते हैं, जो "संयोगवश सही होने" से आगे बढ़ता है।

STEMO-Track का महत्व इसके ऑब्जेक्ट-सेंट्रिक फॉर्मूलेशन में निहित है, जो मॉडल की आंतरिक गणना को वीडियो समझ की आवश्यकताओं के साथ संरेखित करता है: निरंतर पहचान बनाए रखना और अवस्था के विकास को ट्रैक करना। लेखक का कहना है कि स्पष्ट ट्राजेक्टरी निर्माण, भ्रम को कम करने और तर्क की निरंतरता में सुधार करने में एक प्रमुख कारक है। वे निष्कर्ष निकालते हैं कि भविष्य के कार्यों को केवल एंड-टू-एंड स्केलिंग पर निर्भर रहने के बजाय, इन ट्राजेक्टरीज के भीतर सूक्ष्म दृश्य विशेषता बंधन (visual attribute binding) को बेहतर बनाने पर ध्यान केंद्रित करना चाहिए।