Passive Construction Site Safety Monitoring via Persona-Scaffolded Adversarial Chain-of-Thought VLM Verification
यह शोध पत्र एक निष्क्रिय, शिफ्ट-समाप्ति निर्माण सुरक्षा निगरानी प्रणाली प्रस्तुत करता है जो फाइन-ट्यून्ड YOLO11 डिटेक्शन, SAM 3 सेगमेंटेशन, और Qwen3-VL-8B का उपयोग करते हुए एक नवीन पर्सोना-स्कैफोल्डेड एडवरसैरियल चेन-ऑफ-थॉट प्रोटोकॉल को एकीकृत करता है, जो कार्यकर्ता के दृष्टिकोण (POV) और फिक्स्ड कैमरा फुटेज से OSHA-मैप्ड सुरक्षा रिपोर्ट तैयार करते समय अनुपालन सत्यापन सटीकता में उल्लेखनीय सुधार करता है और मतिभ्रम (hallucinations) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक निर्माण स्थल (construction site) की कल्पना एक व्यस्त और अस्त-व्यस्त रसोई के रूप में करें। आमतौर पर, सभी को सुरक्षित रखने के लिए, आपको वहां 24/7 एक मुख्य शेफ (head chef) की आवश्यकता होती है, जो हर व्यक्ति पर नज़र रखे ताकि यह सुनिश्चित हो सके कि वे अपना एप्रन (हेलमेट) पहने हुए हैं, ओवन मिट्स (दस्ताने) का उपयोग कर रहे हैं, और खुली लौ (मशीनरी) के बहुत करीब नहीं खड़े हैं। लेकिन हर शिफ्ट के लिए शेफ को काम पर रखना महंगा है, और वे हर जगह मौजूद नहीं हो सकते।
यह शोध पत्र रसोई चलाने का एक नया तरीका प्रस्तावित करता है: "शिफ्ट-के-अंत" का सुरक्षा ऑडिट (The "End-of-Shift" Safety Audit)।
वास्तविक समय (real-time) में रसोई की निगरानी करने के बजाय, यह प्रणाली दो प्रकार के कैमरों पर सब कुछ रिकॉर्ड करती है:
- वॉल कैमरे (Wall Cameras): छत पर लगे सुरक्षा कैमरों की तरह, जो पूरे कमरे को देखते हैं।
- बॉडी कैमरे (Body Cameras): एक वर्कर के सीने पर बंधे गोप्रो (GoPro) की तरह, जो बिल्कुल वही दिखाते हैं जो वे देख रहे हैं और कर रहे हैं।
दिन के अंत में, सिस्टम प्रत्येक कार्यकर्ता के लिए एक सुरक्षा रिपोर्ट लिखने के लिए वीडियो फुटेज की समीक्षा करता है। यह इस प्रकार काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:
चरण 1: "ईगल आई" (YOLO)
सबसे पहले, एक तेज़ कंप्यूटर प्रोग्राम (जिसे YOLO11 कहा जाता है) वीडियो को स्कैन करता है। यह एक बहुत ही तेज़, उत्साही इंटर्न की तरह है जो चीजों को पहचान तो लेता है लेकिन एकदम सटीक नहीं होता।
- यह लोगों की ओर इशारा करता है और कहता है, "यह एक वर्कर है!"
- यह गियर की ओर इशारा करता है और कहता है, "यह एक हेलमेट है!" या "यह एक वेस्ट (vest) है!"
- ट्रिक: इस इंटर्न को बहुत अधिक संवेदनशील होने के लिए कहा गया है। एक वास्तविक खतरे को मिस करने के बजाय 100 ऐसी चीजों को फ्लैग करना बेहतर है जो गलत लग सकती हैं। इसलिए, यह सब कुछ फ्लैग कर देता है, भले ही वह केवल एक छाया हो जो दस्ताने जैसी दिख रही हो। यह "संभावित उल्लंघन" की एक लंबी सूची बना देता है।
चरण 2: "ज़ूम-इन" विशेषज्ञ (SAM 3)
इसके बाद, दूसरा टूल (SAM 3) इंटर्न की सूची लेता है और ज़ूम इन करता है।
- अनावश्यक चीज़ों को हटाना (Cutting the Clutter): यदि दो वर्कर एक-दूसरे के करीब खड़े हैं, तो इंटर्न इस बात को लेकर भ्रमित हो सकता है कि हेलमेट कौन सा है। यह टूल प्रत्येक व्यक्ति के सटीक आकार को काटता है, उन्हें बैकग्राउंड और एक-दूसरे से अलग करता है।
- गियर को लोगों से मिलाना: यह सुनिश्चित करता है कि हेलमेट उसी व्यक्ति का है जो ठीक उसके नीचे खड़ा है, न कि उसके बगल में खड़े व्यक्ति का।
- परिणाम: यह प्रत्येक वर्कर की एक साफ, अलग तस्वीर बनाता है जिसमें उनका गियर स्पष्ट रूप से दिखाई देता है, जो अंतिम निर्णय के लिए तैयार है।
चरण 3: "तीन-सदस्यीय जूरी" (The Adversarial VLM)
यही इस शोध पत्र का सबसे बड़ा नवाचार है। एक अकेले उन्नत AI (Qwen3-VL) से, जो तीन अलग-अलग भूमिकाएँ निभा रहा है, निर्णय लेने के लिए कहने के बजाय, यह प्रणाली एक तीन-सदस्यीय जूरी का उपयोग करती है।
इसे एक कोर्टरूम ड्रामा की तरह समझें जहाँ एक ही अभिनेता तीन अलग-अलग पात्र निभाता है जो अंतिम फैसले तक एक-दूसरे से बात नहीं करते:
- फील्ड इंस्पेक्टर (पास 1): यह पात्र बिना किसी कंप्यूटर नोट्स के कच्चे वीडियो को देखता है। वे वही लिखते हैं जो वे अपनी आँखों से देखते हैं, ठीक वैसे ही जैसे कोई मानव सुरक्षा अधिकारी साइट पर घूम रहा हो। वे कह सकते हैं, "मैंने किसी को दौड़ते हुए देखा," या "मुझे लगता है कि वह दस्ताना गायब है।"
- सीनियर ऑफिसर (पास 2): यह पात्र कंप्यूटर के नोट्स (बाउंडिंग बॉक्स और कॉन्फिडेंस स्कोर) के साथ वीडियो को देखता है। वे कंप्यूटर के काम की जाँच करते हैं। "कंप्यूटर कहता है कि वेस्ट गायब है। क्या वीडियो इसकी पुष्टि करता है?"
- जज (पास 3): यह पात्र फील्ड इंस्पेक्टर और सीनियर ऑफिसर के नोट्स पढ़ता है। वे वीडियो को दोबारा नहीं देखते; वे केवल उन सबूतों को देखते हैं जो अन्य दोनों ने लिखे हैं। उन्हें तय करना होता है: "क्या वास्तव में कोई उल्लंघन हुआ था?"
हम ऐसा क्यों कर रहे हैं?
शोध पत्र में पाया गया कि यदि आप केवल एक बार AI से पूछते हैं, तो वह बहुत अधिक आत्मविश्वासी हो जाता है और ऐसी चीजें बना देता है जो उसने देखी ही नहीं (hallucinations)। इसलिए, AI को खुद के साथ तीन अलग-अलग कोणों से बहस करने के लिए मजबूर करके, यह बहुत अधिक सावधान हो जाता है।
- यदि फील्ड इंस्पेक्टर कहता है "दस्ताना नहीं है" लेकिन सीनियर ऑफिसर (कंप्यूटर डेटा को देखते हुए) कहता है "नहीं, कंप्यूटर आश्वस्त है कि वह वहाँ है," तो जज को कॉल करने से पहले गहराई से सोचना पड़ता है।
- यदि कंप्यूटर बहुत अनिश्चित है, तो जज मानवीय पर्यवेक्षक की पुष्टि का इंतजार करता है। यदि पर्यवेक्षक कुछ खतरनाक देखता है (जैसे कोई दौड़ रहा है), तो जज उन पर भरोसा करता है भले ही कंप्यूटर ने उसे मिस कर दिया हो।
अंतिम रिपोर्ट
एक बार जब "जज" निर्णय ले लेता है, तो सिस्टम प्रत्येक वर्कर के लिए एक रिपोर्ट लिखता है।
- सुरक्षा स्कोर (Safety Score): यह जाँचता है कि क्या वे बहुत अधिक झुक रहे हैं (REBA नामक विधि का उपयोग करके, जो एक फिजियोथेरेपिस्ट द्वारा आपकी मुद्रा/पोस्चर की जाँच करने जैसा है)।
- OSHA नियम: यह हर गलती को विशिष्ट सरकारी सुरक्षा कानूनों (जैसे "फॉल प्रोटेक्शन") से जोड़ता है।
- सबूत: इसमें एक टाइमस्टैम्प और वीडियो का एक विशिष्ट फ्रेम शामिल होता है जो दिखाता है कि वास्तव में क्या हुआ था, ताकि वर्कर सबूत देख सके।
निचोड़ (The Bottom Line)
लेखकों ने निर्माण वीडियो के एक सेट पर इसका परीक्षण किया। उन्होंने पाया कि इस "तीन-सदस्यीय जूरी" पद्धति का उपयोग करने से यह प्रणाली केवल एक बार AI से पूछने की तुलना में 12% अधिक सटीक हो गई। इसने वास्तविक खतरों को अधिक पकड़ा और AI को नकली उल्लंघन बनाने से रोका।
महत्वपूर्ण नोट: शोध पत्र स्वीकार करता है कि यह अभी भी एक "बीटा" संस्करण है। उन्होंने अभी तक हजारों घंटों के वीडियो पर इसका परीक्षण नहीं किया है, और "जूरी" का निर्णय उन लोगों द्वारा किया गया था जिन्होंने इसे बनाया था (स्वतंत्र विशेषज्ञों द्वारा नहीं)। लेकिन परिणाम बताते हैं कि शिफ्ट के अंत तक प्रतीक्षा करना और फिर यह जटिल, बहु-चरणीय जाँच चलाना, बिना 24/7 स्क्रीन देखने की आवश्यकता के निर्माण स्थलों को सुरक्षित रखने का एक स्मार्ट और किफायती तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।