तकनीकी सारांश: PaSBench-Video

समस्या विवरण

वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) में वीडियो समझने की क्षमता तो है, लेकिन उनमें सक्रिय सुरक्षा निगरानी (proactive safety monitor) के रूप में कार्य करने की क्षमता का अभाव है। जबकि दुर्घटनाओं से पहले अक्सर दृश्य रूप से पहचानने योग्य चेतावनी संकेत मिलते हैं, मौजूदा बेंचमार्क पहले दृश्य खतरे के संकेत और नुकसान होने के क्षण के बीच के महत्वपूर्ण अंतराल का मूल्यांकन करने में विफल रहते हैं। वर्तमान सुरक्षा बेंचमार्क तीन प्राथमिक सीमाओं से ग्रस्त हैं:

1. स्थिर इनपुट (Static Inputs): वे निरंतर स्ट्रीमिंग वीडियो के बजाय स्थिर छवियों या इमेज अनुक्रमों पर निर्भर करते हैं।
2. टेम्पोरल कैलिब्रेशन का अभाव: वे समयपूर्व चेतावनियों (जो जोखिम दिखने से पहले जारी की जाती हैं) और विलंबित चेतावनियों (जो नुकसान होने के बाद जारी की जाती हैं) के बीच अंतर नहीं करते हैं।
3. फॉल्स-पॉजिटिव मापन का अभाव: वे सौहार्दपूर्ण (benign) दृश्यों पर मूल्यांकन को छोड़ देते हैं, जिससे बार-बार होने वाले गलत अलार्म की गंभीर समस्या की अनदेखी होती है जो उपयोगकर्ता के विश्वास को कम करती है और 'अलार्म थकान' (alarm fatigue) का कारण बनती है।

परिणामस्वरूप, ऐसा कोई नियंत्रित परीक्षण मंच (testbed) नहीं है जो यह निर्धारित कर सके कि क्या MLLMs एक वीडियो स्ट्रीम का कारणत्मक (causally) अवलोकन कर सकते हैं, जोखिम के सटीक क्षण की पहचान कर सकते हैं, समय पर चेतावनी जारी कर सकते हैं, और सुरक्षित दृश्यों पर मौन रह सकते हैं।

कार्यप्रणाली

डेटासेट निर्माण: PaSBench-Video

लेखक PaSBench-Video पेश करते हैं, जो ड्राइविंग, स्वास्थ्य सेवा (healthcare), दैनिक जीवन (स्मार्ट होम), और औद्योगिक उत्पादन के चार डोमेन में 740 वीडियो वाला एक बेंचमार्क है।

• जोखिम स्प्लिट (481 वीडियो): मैन्युअल रूप से सत्यापित क्लिप जिनमें विकसित होते सुरक्षा जोखिम शामिल हैं। प्रत्येक वीडियो को फ्रेम-स्तरीय सीमाओं के साथ एनोटेट किया गया है:
  • जोखिम-आरंभ ($r$): वह प्रारंभिक फ्रेम जहाँ दृश्य साक्ष्य एक कार्रवाई योग्य चेतावनी का समर्थन करते हैं।
  • दुर्घटना ($a$): वह फ्रेम जहाँ प्रतिकूल घटना शुरू होती है।
  • जोखिम स्रोत और बचाव क्रिया: विशिष्ट खतरा एजेंट और अनुशंसित हस्तक्षेप।
• जोखिम-रहित स्प्लिट (259 वीडियो): सामान्य ड्राइविंग, निगरानी और होम मॉनिटरिंग से लिए गए सौहार्दपूर्ण क्लिप, जिनका उपयोग विशेष रूप से फॉल्स-पॉजिटिव दरों को मापने के लिए किया जाता है।
• डेटा स्रोत: इसमें वास्तविक दुनिया के डेटासेट (जैसे DADA-2000, Nexar, OOPS) और Kling v3 Omni के माध्यम से जनरेट किया गया सिंथेटिक डेटा शामिल है, जिसका उपयोग उन स्वास्थ्य सेवा और औद्योगिक परिदृश्यों के लिए किया गया जहाँ विशिष्ट एनोटेशन ग्रैनुलैरिटी वाला वास्तविक डेटा उपलब्ध नहीं था।
• फिल्टरिंग: एक कठोर दो-चरणीय फ़िल्टर (Qwen3.5 और Gemini-3.1-Pro का उपयोग करके मॉडल-आधारित, उसके बाद मानव निर्णय) यह सुनिश्चित करता है कि क्लिप अनुमानित (predictable) (अतीत/वर्तमान फ्रेम से जोखिम का अनुमान लगाया जा सके), टालने योग्य (avoidable) (हस्तक्षेप संभव हो), गैर-इरादतन (non-intentional) (तैयार किए गए स्टंट नहीं), और दृश्य रूप से आधारित (visually grounded) हों।

मूल्यांकन प्रोटोकॉल

बेंचमार्क एक स्ट्रीमिंग मूल्यांकन प्रोटोकॉल का उपयोग करता है:

• कारणत्मक अवलोकन (Causal Observation): मॉडल केवल स्लाइडिंग विंडो (3-सेकंड की विंडो, 0.3s स्ट्राइड) के भीतर पिछले और वर्तमान फ्रेम प्राप्त करता है।
• कार्य: मॉडल को यह तय करना होगा कि क्या एक संरचित चेतावनी (जोखिम स्रोत और क्रिया की पहचान करना) जारी करनी है या मौन रहना है।
• मेट्रिक्स: हस्तक्षेप लीड टाइम $\tau$ (डिफ़ॉल्ट 1.0s) द्वारा पैरामीटराइज्ड बढ़ते हुए सख्त मेट्रिक्स का एक पदानुक्रम:
  1. Any-Det@$\tau$: दुर्घटना से पहले किसी भी चेतावनी का पता लगाना।
  2. Any-Hit@$\tau$: वैध जोखिम विंडो $[r, a-\tau]$ के भीतर चेतावनी का पता लगाना।
  3. First-Hit@$\tau$: वीडियो की पहली चेतावनी $[r, a-\tau]$ के भीतर आती है।
  4. First-Act@$\tau$: पहली चेतावनी सही समय पर होती है और सही ढंग से जोखिम स्रोत और सामग्री की पहचान करती है।
• फॉल्स-पॉजिटिव रेट: उन अंश के रूप में मापा जाता है जहाँ बिना-जोखिम वाले वीडियो $\ge K$ चेतावनियाँ ट्रिगर करते हैं।

प्रयोगात्मक सेटअप

लेखकों ने 13 MLLMs का बेंचमार्क किया, जिसमें ओपन-वेट मॉडल (Qwen3.5, Gemma) और प्रोप्रायटरी मॉडल (Gemini, Claude, GPT) शामिल हैं। सभी मॉडलों का मूल्यांकन समान प्रॉम्प्ट, टेम्परेचर 0, और फ्रेम सैंपलिंग के साथ किया गया।

मुख्य परिणाम

1. निम्न प्रदर्शन और गुणात्मक विफलता

किसी भी मॉडल ने सबसे सख्त मेट्रिक (First-Act@1) पर 20.0% से अधिक स्कोर नहीं किया। यह इंगित करता है कि पांच में से एक से भी कम वीडियो को सही समय पर चेतावनी मिलती है जो जोखिम स्रोत को भी सही ढंग से पहचानती है। डिटेक्शन (Any-Det) और एक्शन योग्य चेतावनी (First-Act) के बीच का अंतर बहुत बड़ा है; उदाहरण के लिए, Gemini 3.1 Pro 93.6% वीडियो में जोखिम का पता लगा लेता है लेकिन केवल 20.0% का First-Act स्कोर प्राप्त करता है।

2. रिकॉल और फॉल्स-पॉजिटिव का गहरा संबंध

रिकॉल और फॉल्स-पॉजिटिव दरों के बीच एक मजबूत सकारात्मक सहसंबंध (Pearson $\rho=0.64$) है। मॉडल बिना आनुपातिक रूप से गलत अलार्म बढ़ाए डिटेक्शन में सुधार नहीं कर सकते। यह सुझाव देता है कि वर्तमान मॉडल वास्तविक जोखिम तर्क (reasoning) करने के बजाय सेंसिटिविटी-थ्रेशोल्ड डिटेक्टर्स के रूप में कार्य करते हैं। संवेदनशीलता बढ़ाने से चेतावनियाँ "मिस्ड" से "बहुत जल्दी" में बदल जाती हैं, लेकिन यह "वैध" चेतावनियों के अनुपात को नहीं बढ़ाता है।

3. डोमेन-निर्भर प्रदर्शन

दृश्य विभेदन क्षमता के आधार पर प्रदर्शन काफी भिन्न होता है:

• दैनिक जीवन (Daily Life): मॉडल कम फॉल्स-पॉजिटिव दरों पर मध्यम रिकॉल प्राप्त करते हैं क्योंकि जोखिम अक्सर स्वाभाविक रूप से असामान्य होते हैं (जैसे, किसी व्यक्ति का गिरना, खुली लपटें)।
• ड्राइविंग (Driving): मॉडल खराब प्रदर्शन करते हैं, और अंधाधुंध रूप से ट्रिगर होते हैं। नियमित दृश्य (मर्जिंग, क्रॉसिंग) और टक्कर-पूर्व दृश्य दृश्य रूप से समान दिखते हैं, जिससे मॉडल वास्तव में जोखिम दृश्यमान होने से पहले ही चेतावनी देने लगते हैं (उच्च-संवेदनशीलता वाले मॉडलों के लिए 90% विफलताएं "बहुत जल्दी" होने के कारण थीं)।

4. विफलता मोड (Failure Modes)

समय सही होने पर भी, मॉडल अक्सर जोखिम स्रोत की पहचान करने में विफल रहते हैं:

• गलत जोखिम ऑब्जेक्ट (36.9%): सही एंटिटी क्लास की पहचान करना लेकिन गलत विशिष्ट इंस्टेंस (जैसे, सेडान के बजाय बस की भविष्यवाणी करना)।
• एंटिटी-टाइप स्वैप (33.9%): एक अलग श्रेणी के एजेंट की कल्पना करना (जैसे, जब खतरा वाहन हो तो पैदल यात्री की भविष्यवाणी करना)।
  ये त्रुटियां दर्शाती हैं कि मॉडल कारणत्मक तर्क के बजाय सीन-लेवल एक्टिविटी क्यूज़ (scene-level activity cues) पर निर्भर हैं।

5. परिनियोजन बाधाएं (Deployment Constraints)

क्षमता अंतराल के अलावा, इंजीनियरिंग बाधाएं तत्काल परिनियोजन को रोकती हैं:

• विलंबता (Latency): यहाँ तक कि सबसे तेज़ मॉडल (GPT-5.4 mini) की भी मीडियन लेटेंसी (~3.5s) 0.3s विंडो स्ट्राइड से एक क्रम (order of magnitude) अधिक है।
• लागत: शीर्ष-स्तरीय प्रोप्रायटरी मॉडलों के लिए निरंतर निगरानी की लागत प्रति कैमरा $2,000/दिन से अधिक है, जबकि ओपन-वेट मॉडल अत्यधिक विलंबता से ग्रस्त हैं।

महत्व और दावे

पेपर का दावा है कि PaSBench-Video सक्रिय वीडियो सुरक्षा चेतावनियों के मूल्यांकन के लिए पहला नियंत्रित परीक्षण मंच प्रदान करता है जो एल्गोरिदम की प्रगति को इंफ्रास्ट्रक्चर सुधारों से अलग करता है। गति के दबाव को हटाकर और मॉडलों को केवल कारणत्मक अवलोकन तक सीमित करके, बेंचमार्क यह प्रकट करता है कि वर्तमान MLLMs वास्तविक जोखिम तर्क के बजाय सतही गतिविधि संकेतों पर निर्भर हैं।

लेखक इस बात पर जोर देते हैं कि सक्रिय चेतावनी कार्य इंजीनियरिंग बाधाओं (विलंबता, लागत) और अपर्याप्त क्षमता (कम रिकॉल, उच्च फॉल्स-पॉजिटिव) दोनों के कारण अभी परिनियोजन के लिए तैयार नहीं है। हालांकि, वे तर्क देते हैं कि इस क्षमता को अभी बेंचमार्क करना "समयोचित और आवश्यक" है ताकि सरल गतिविधि पहचान से आगे बढ़कर वास्तविक टेम्पोरल रिस्क रीजनिंग की ओर एल्गोरिदम की प्रगति को निर्देशित किया जा सके। इस शोध को सुगम बनाने के लिए डेटासेट जारी किया गया है, जिसका स्पष्ट लक्ष्य ऐसे मॉडल विकसित करना है जो सामान्य गतिविधि और आसन्न खतरे के बीच अंतर कर सकें।