तकनीकी सारांश: लो-फ्रीक्वेंसी ट्रैप: वीडियो-लैंग्वेज मॉडल्स सरल इवेंट बुककीपिंग में विफल होते हैं

समस्या विवरण

वास्तविक दुनिया के वीडियो बेंचमार्क अक्सर कई चरों (variables)—इवेंट काउंट, दर (rate), अवधि, दृश्य जटिलता और अर्थ विज्ञान (semantics)—को आपस में उलझा देते हैं, जिससे विशिष्ट विफलता मोड (failure modes) को अलग करना कठिन हो जाता है। जबकि मौजूदा प्रोग्रामेटिक बेंचमार्क बेहतर नियंत्रण प्रदान करते हैं, वे आमतौर पर केवल अंतिम उत्तर को स्कोर करते हैं, यह ऑडिट करने में विफल रहते हैं कि क्या मॉडल ने इवेंट्स को मिस किया, उनके समय को भ्रमित किया, एक अनुक्रम (sequence) का ट्रैक खो दिया, या केवल एकत्रीकरण (aggregation) के दौरान त्रुटि की। फलस्वरूप, अंतिम-उत्तर सटीकता मेट्रिक्स कमजोर टेम्पोरल एक्सेस या भंगुर तर्क (brittle reasoning) को छिपा सकते हैं, जिससे यह तथ्य छिप जाता है कि जैसे-जैसे टेम्पोरल लोड बढ़ता है, मॉडल बुनियादी इवेंट बुककीपिंग में विफल हो सकते हैं।

कार्यप्रणाली

लेखक ट्रेस-ग्राउंडेड पैरामेट्रिक प्रोफाइलिंग (trace-grounded parametric profiling) पेश करते हैं, जो एक नियंत्रित मूल्यांकन ढांचा है जिसे दृश्य जटिलता से टेम्पोरल रीजनिंग क्षमताओं को अलग करने के लिए डिज़ाइन किया गया है।

नियंत्रित कार्य स्थान (Controlled Task Space)

अध्ययन स्थानिक प्रक्षेपवक्र (spatial trajectories) और समय पर फ्रेम-सटीक नियंत्रण सुनिश्चित करने के लिए Manim एनिमेशन इंजन का उपयोग करके प्रोग्रामेटिक रूप से जनरेट किए गए वीडियो का उपयोग करता है। तीन अलग-अलग डोमेन का मूल्यांकन किया जाता है:

1. बाउंस बॉल (Bounce Ball): बाउंस होती गेंद के दीवार के संपर्कों को गिनना।
2. ब्लिंकिंग (Blinking): एक दृश्य वस्तु के ऑन-पल्स (transient events) को गिनना।
3. स्टेट मशीन (State Machine): श्रेणीगत अवस्था संक्रमणों (categorical state transitions - persistent events) को गिनना।

प्रयोगात्मक पैरामीटर

यह ढांचा दो ऑर्थोगोनल मापदंडों को व्यवस्थित रूप से बदलता है, जबकि रेंडरिंग, अर्थ विज्ञान और कार्य नियमों को स्थिर रखता है:

• इवेंट काउंट ($N$): 0 से 12 तक।
• इवेंट फ्रीक्वेंसी ($F$): 0.5 Hz से 4.0 Hz तक।
• अवधि (Duration): सभी क्लिप्स 24 सेकंड पर स्थिर हैं। सक्रिय इवेंट अनुक्रम लगभग $N/F$ सेकंड तक फैला है, शेष भाग को स्टैटिक फ्रेम्स भरते हैं।

ग्राउंड ट्रुथ और मेट्रिक्स

प्रत्येक वीडियो को एक एग्जीक्यूटेबल ग्राउंड-ट्रुथ ट्रेस के साथ जोड़ा गया है जिसमें इवेंट टाइमस्टैम्प, स्टेट परिवर्तन और संचयी गणना (cumulative counts) शामिल हैं। यह सरल अंतिम-उत्तर सटीकता से परे एक सूक्ष्म मूल्यांकन की अनुमति देता है। मुख्य मेट्रिक्स हैं:

• फाइनल आंसर एक्जैक्ट मैच (Acc): क्या रिपोर्ट की गई गणना $N$ के बराबर है।
• ट्रेस प्रिसिजन ($P$) और रिकॉल ($R$): रेट-रिलेटिव विंडो $\delta(F) = 1/(2F)$ के भीतर मॉडल-रिपोर्टेड टाइमस्टैम्प और ग्राउंड ट्रुथ के बीच संरेखण।
• विजुअल ऑब्जर्वेशन रेशियो (VOR): रिपोर्ट किए गए इवेंट्स और वास्तविक इवेंट्स का अनुपात ($M/N$), जो ओवर- या अंडर-रिपोर्टिंग को दर्शाता है।
• एक्सीडेंटल करेक्टनेस रेट (ACR): वे मामले जहाँ कम-फिडेलिटी ट्रेस के बावजूद अंतिम गणना सही है।
• रीज़निंग फेल्योर रेट (RFR): वे मामले जहाँ ट्रेस वफादार (हाई F1) है लेकिन अंतिम गणना गलत है।

मूल्यांकित मॉडल

प्राथमिक मूल्यांकन Gemini 3.6 Flash (~1 FPS इनपुट प्राप्त कर रहा है) और Qwen3-VL-235B (2 FPS इनपुट प्राप्त कर रहा है) पर केंद्रित है। पूरक क्रॉस-सिस्टम चेक में Qwen3-VL और InternVL3.5 के विभिन्न स्केल शामिल हैं।

मुख्य योगदान

1. नियंत्रित मूल्यांकन ढांचा: सिंगल एग्रीगेट स्कोर के स्थान पर इवेंट काउंट ($N$) और फ्रीक्वेंसी ($F$) पर मैप की गई कैपेबिलिटी सतहों (capability surfaces) को प्रतिस्थापित करता है।
2. ट्रेस-ग्राउंडेड बेंचमार्क: निष्पादने योग्य ग्राउंड ट्रुथ के विरुद्ध मॉडल-रिपोर्टेड इवेंट्स का ऑडिट करता है, जो अनसपोर्टेड करेक्ट काउंट्स और वफादार इवेंट रिकवरी के बीच अंतर करता है।
3. लक्षित हस्तक्षेप (Targeted Interventions): डेंसर सैंपलिंग, इवेंट-केंद्रित कीफ्रेम्स (ओरेकल एविडेंस), और विभिन्न प्रॉम्प्टिंग रणनीतियों (जैसे, चेन-ऑफ-थॉट, स्ट्रक्चर्ड ट्रेसिंग) के माध्यम से त्रुटि स्रोतों का निदान करता है।
4. नेचुरल-वीडियो ट्रांसफर: यह सत्यापित करता है कि नियंत्रित सेटिंग्स में देखे गए विफलता पैटर्न वास्तविक दुनिया के रिपीटेड-इवेंट वीडियो (TransRAC डेटासेट) में बने रहते हैं या नहीं।

परिणाम

स्टेज्ड टेम्पोरल फेल्योर (Staged Temporal Failure)

परिणाम इवेंट रिप्रेजेंटेशन (परसिस्टेंट बनाम ट्रांजिएंट) पर निर्भर एक "स्टेज्ड" विफलता पैटर्न प्रकट करते हैं:

• परसिस्टेंट इवेंट्स (स्टेट मशीन): Gemini 3.6 Flash 0.5 Hz और 1.0 Hz पर $N=12$ तक विश्वसनीय रूप से गिनती है। फ्रीक्वेंसी बढ़ने के साथ प्रदर्शन गिरता है, जो 1.5 Hz पर $N=2$ तक आ जाता है।
• ट्रांजिएंट इवेंट्स (ब्लिंकिंग): कोई विश्वसनीय पॉजिटिव-काउंट रीजन मौजूद नहीं है; मॉडल कम काउंट और फ्रीक्वेंसी पर भी ट्रांजिएंट इवेंट्स तक पहुँचने में विफल रहता है।
• हाई-लोड रिजीम: उच्च-काउंट, उच्च-फ्रीक्वेंसी स्थितियों में, केवल 0.2% अंतिम गणनाएँ सही हैं, और मॉडल केवल 18.1% वास्तविक इवेंट्स को रिकवर कर पाता है।

विजुअल एक्सेस बनाम रीजनिंग की भूमिका

• सैंपलिंग डेंसिटी: सैंपलिंग रेट को 1 FPS से बढ़ाकर 4 FPS करने से बाउंस बॉल की सटीकता 19.6% से बढ़कर 29.3% हो गई। हालांकि, रिपोर्ट किया गया अनुक्रम ग्राउंड ट्रुथ के साथ केवल 3.7% समय सहमत था। यह इंगित करता है कि अतिरिक्त फ्रेम 'एक्सीडेंटल करेक्टनेस' के माध्यम से अंतिम स्कोर को बढ़ा सकते हैं, बिना वफादार इवेंट रिकवरी के।
• ओरेकल कीफ्रेम्स: इवेंट-केंद्रित कीफ्रेम्स प्रदान करने से (सर्च के बोझ को हटाकर) $N \le 5$ के लिए सटीकता बढ़कर 68.6% हो गई, लेकिन $N \ge 6$ के लिए प्रदर्शन ध्वस्त हो गया। यह सुझाव देता है कि जबकि विजुअल एक्सेस एक बॉटलनेक है, इवेंट्स के परफेक्टली लोकलाइज होने पर भी रिटेंशन और एक्यूमुलेशन सीमित कारक बने रहते हैं।
• प्रॉम्प्टिंग रणनीतियाँ: विभिन्न प्रॉम्प्टिंग तकनीकें (डायरेक्ट आंसर, स्ट्रक्चर्ड ट्रेस, मल्टी-टर्न, CoT, रोल प्रॉम्प्टिंग) समान रूप से सीमित लाभ देती हैं और विश्वसनीय ऑपरेटिंग रीजन का विस्तार नहीं करती हैं।

ट्रेस-लेवल डायग्नोस्टिक्स

• लो लोड: मॉडल अक्सर ओवर-रिपोर्टिंग (VOR > 1) और एक्सीडेंटल करेक्टनेस प्रदर्शित करते हैं, जहाँ मिसिंग या हैलुसिनेटेड टाइमस्टैम्प के बावजूद अंतिम काउंट सही होता है।
• हाई लोड: प्रमुख विफलता मोड अंडर-रिपोर्टिंग (VOR < 1) और ओमिशन (छूट जाना) की ओर स्थानांतरित हो जाता है। मॉडल होने वाले इवेंट्स की तुलना में कम इवेंट्स रिपोर्ट करता है, और रिपोर्ट किए गए कुछ इवेंट्स अक्सर टेम्पोरली सटीक होते हैं लेकिन अधूरे होते हैं।
• एग्रीगेशन एरर्स: एक नॉन-जीरो रीजनिंग फेल्योर रेट (RFR) यह संकेत देता है कि भले ही मॉडल सफलतापूर्वक इवेंट सीक्वेंस को रिकवर कर ले (हाई ट्रेस F1), वह कभी-कभी उन्हें अंतिम काउंट में सही ढंग से एग्रीगेट करने में विफल रहता है।

नेचुरल वीडियो ट्रांसफर

TransRAC डेटासेट पर मूल्यांकन पुष्टि करता है कि कम इवेंट काउंट ($N \le 4$) पर सफलता का संकेंद्रण कैमरा मोशन और क्लटर वाले प्राकृतिक वीडियो में भी बना रहता है, जो यह पुख्ता करता है कि विफलता पैटर्न डोमेन केAcross रोबस्ट है।

महत्व और दावे

पेपर का तर्क है कि केवल फाइनल-आंसर एक्यूरेसी टेम्पोरल रीजनिंग का गलत चित्रण करती है। एक मॉडल गेसिंग या हैलुसिनेटेड इवेंट्स को एग्रीगेट करके सही संख्या तक पहुँच सकता है, जो टेम्पोरल सीक्वेंस को ट्रैक करने की मौलिक अक्षमता को छिपा देता है।

लेखक दावा करते हैं कि:

1. इवेंट रिप्रेजेंटेशन मायने रखता है: इवेंट परसिस्टेंट है या ट्रांजिएंट, यह साक्ष्य तक प्रारंभिक पहुंच को निर्धारित करता है।
2. विजुअल एक्सेस आवश्यक है लेकिन पर्याप्त नहीं है: फ्रेम डेंसिटी बढ़ाने या ओरेकल कीफ्रेम्स प्रदान करने से प्रदर्शन में सुधार होता है, लेकिन यह सीक्वेंस लेंथ और रिटेंशन द्वारा लगाई गई सीमा को समाप्त नहीं करता है।
3. स्टेज्ड फेल्योर: विफलता की प्रक्रिया में अलग-अलग चरण शामिल हैं: पहले, इवेंट तक पहुँचना; दूसरा, अनुक्रम को बनाए रखना; और तीसरा, गणना को एग्रीगेट करना।
4. मूल्यांकन शिफ्ट: ट्रेस-ग्राउंडेड प्रोफाइलिंग वीडियो मूल्यांकन को एग्रीगेट मेट्रिक्स से बदलकर टेम्पोरल रीजनिंग के विफल होने के विस्तृत डायग्नोस्टिक (एक्सेस बनाम रिटेंशन बनाम एग्रीगेशन) में बदल देती है, और यह भी देखती है कि क्या रिपोर्ट किया गया साक्ष्य वास्तव में अंतिम उत्तर का समर्थन करता है।

अध्ययन निष्कर्ष निकालता है कि वर्तमान VLMs बढ़ते टेम्पोरल लोड के साथ बुनियादी इवेंट बुककीपिंग में संघर्ष करते हैं, एक ऐसी सीमा जो उन्नत प्रॉम्प्टिंग या बढ़ी हुई विजुअल सैंपलिंग के बावजूद बनी रहती है।