ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance
यह शोधपत्र ForeSea को प्रस्तुत करता है, जो मल्टीमॉडल वीडियो रिट्रीवल और रीजनिंग के लिए एक तीन-चरणीय पाइपलाइन वाला एक एआई फॉरेंसिक सर्च सिस्टम है, साथ ही इसमें ForeSeaQA भी शामिल है, जो लंबी अवधि के निगरानी फुटेज में सटीक टेम्पोरल ग्राउंडिंग के साथ जटिल इमेज-एंड-टेक्स्ट क्वेरीज़ का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अपराध को सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास कुछ घंटों की फुटेज नहीं, बल्कि सैकड़ों सुरक्षा कैमरों से हफ्तों के वीडियो हैं। आपको एक विशिष्ट व्यक्ति या एक विशिष्ट क्षण ढूंढना है, जैसे कि "लाल टोपी वाला आदमी लड़ाई में कब शामिल हुआ?"
इसे मैन्युअल रूप से करना हर एक रेत के कण को एक-एक करके देखने जैसा है। यह असंभव है।
यह शोध पत्र ForeSea पेश करता है, जो एक नया AI सिस्टम है जिसे निगरानी वीडियो (surveillance video) के लिए परम "डिजिटल जासूस" के रूप में डिज़ाइन किया गया है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:
1. समस्या: "भूसे के ढेर में सुई" (The Needle in a Haystack)
वर्तमान AI उपकरण उस लाइब्रेरियन की तरह हैं जो केवल किताबों के शीर्षक पढ़ता है। यदि आप पूछते हैं, "मुझे लाल टोपी वाले आदमी के बारे में किताब दिखाओ," तो लाइब्रेरियन शीर्षक के आधार पर अनुमान लगा सकता है, लेकिन वह वास्तव में उस व्यक्ति को देख नहीं सकता जिसे आपने फोटो में दिखाया है, और न ही वह आपको बता सकता है कि वह क्रिया ठीक किस पन्ने पर (या वीडियो के किस सेकंड पर) हुई।
- पुराना AI: "यहाँ 'लड़ाई' का उल्लेख करने वाले वीडियो की एक सूची है।" (लेकिन इसे यह नहीं पता कि कौन लड़ रहा है या कब)।
- अंतराल (The Gap): असली जासूसों को यह कहने की आवश्यकता होती है, "यहाँ संदिग्ध की एक फोटो है। मुझे दिखाएं कि यह विशिष्ट व्यक्ति हर बार कब दिखाई दिया और वह क्या कर रहा था।"
2. समाधान: ForeSea (द "स्मार्ट फ़िल्टर")
लेखकों ने एक सिस्टम बनाया है जिसे ForeSea कहा जाता है, जो इस समस्या को हल करने के लिए तीन-चरणीय असेंबली लाइन की तरह काम करता है।
चरण 1: "ह्यूमन ट्रैकर" (द बाउंसर)
एक क्लब के बाउंसर की कल्पना करें जो केवल उन लोगों को अंदर जाने देता है जो एक विशिष्ट विवरण से मेल खाते हैं।
- पूरे वीडियो को देखने के बजाय, ForeSea पहले केवल वीडियो में लोगों को खोजने के लिए एक ट्रैकर का उपयोग करता है।
- यह खाली सड़कों, पेड़ों और कारों को हटा देता है। यह केवल उन छोटे वीडियो क्लिप्स को रखता है जहाँ कोई व्यक्ति दिखाई दे रहा हो।
- उपमा: यदि वीडियो 10 घंटे की फिल्म है, तो यह चरण इसे केवल उन 30 मिनटों तक सीमित कर देता है जहाँ संदिग्ध वास्तव में दिखाई देता है।
चरण 2: "मल्टीलिंगुअल इंडेक्सर" (द स्मार्ट लाइब्रेरियन)
अब, सिस्टम के पास लोगों के हजारों छोटे क्लिप हैं। इसे व्यवस्थित करने की आवश्यकता है ताकि आप इसे बाद में खोज सकें।
- अधिकांश सिस्टम केवल टेक्स्ट (पाठ) समझते हैं। यदि आप "लाल टोपी" टाइप करते हैं, तो यह उस टेक्स्ट वाले क्लिप को ढूंढ लेता है।
- ForeSea एक मल्टीमॉडल एनकोडर (Multimodal Encoder) का उपयोग करता है। इसे एक ऐसे लाइब्रेरियन के रूप में सोचें जो शब्दों और चित्रों दोनों को समझता है।
- आप पूछ सकते हैं: "मुझे लाल टोपी वाला आदमी दिखाओ" (टेक्स्ट) या आप उस आदमी की एक फोटो अपलोड कर सकते हैं और पूछ सकते हैं "यह व्यक्ति कब प्रवेश किया?" (इमेज + टेक्स्ट)। सिस्टम एक ही समय में दोनों को समझता है और उनके लिए एक "सर्च इंडेक्स" बनाता है।
चरण 3: "डिटेक्टिव ब्रेन" (द रीज़नर)
एक बार जब सिस्टम सबसे संभावित शीर्ष 3 क्लिप ढूंढ लेता है, तो यह उन्हें एक शक्तिशाली AI मस्तिष्क (वीडियो लार्ज लैंग्वेज मॉडल) को भेज देता है।
- यह मस्तिष्क क्लिप को देखता है, प्रश्न पढ़ता है, और कहता है: "हाँ, मैं उसे देख रहा हूँ। वह सुबह 10:35 बजे इमारत में दाखिल हुआ और उसने लाल टोपी पहनी थी।"
- महत्वपूर्ण रूप से, यह आपको सटीक टाइमस्टैम्प (टेम्पोरल ग्राउंडिंग) देता है ताकि आपको खुद वीडियो को स्क्रब न करना पड़े।
3. नया खेल का मैदान: ForeSeaQA
यह सिद्ध करने के लिए कि उनका सिस्टम काम करता है, लेखकों ने महसूस किया कि इस तरह की विशिष्ट, इमेज-आधारित खोज के लिए कोई "परीक्षण" मौजूद नहीं था। इसलिए, उन्होंने एक नया बेंचमार्क बनाया जिसे ForeSeaQA कहा जाता है।
- परीक्षण: उन्होंने वास्तविक अपराध वीडियो के आधार पर 1,000+ प्रश्न बनाए।
- ट्विस्ट: कुछ प्रश्न केवल टेक्स्ट आधारित हैं ("क्या लड़ाई हुई?") लेकिन अन्य मल्टीमॉडल हैं (यहाँ एक व्यक्ति की फोटो है + "यह व्यक्ति कब भागना शुरू हुआ?")।
- परिणाम: ForeSea ने प्रतियोगिता को पछाड़ दिया। यह न केवल उत्तर खोजने में अधिक सटीक था बल्कि सटीक समय बताने में भी बहुत बेहतर था।
4. यह क्यों मायने रखता है (द "अहा!" मोमेंट)
- गति: क्योंकि ForeSea पहले वीडियो के उबाऊ हिस्सों को फ़िल्टर कर देता है, यह अन्य प्रणालियों की तुलना में दोगुनी तेजी से उत्तर देता है। यह खाली गलियारों को देखने में समय बर्बाद नहीं करता है।
- सटीकता: यह केवल अनुमान नहीं लगाता; यह सबूत दिखाता है। यदि आप पूछते हैं "क्या उसने बैग चुराया?", तो यह आपको वह 5 सेकंड का क्लिप दिखाता है जहाँ चोरी हुई थी।
- लचीलापन: यह तब भी काम करता है जब आप व्यक्ति का नाम नहीं जानते, बस यह जानते हैं कि वह कैसा दिखता है (फोटो)।
सारांश उपमा
कल्पive करें कि आप एक विशाल, बिखरे हुए अटारी (attic) में खोए हुए खिलौने को ढूंढ रहे हैं।
- पुराना AI: अटारी की वस्तुओं की सूची पढ़ता है और अनुमान लगाता है, "शायद खिलौना बक्सों के पास है।" आपको जांच करने के लिए पूरी अटारी में चढ़ना पड़ता है।
- ForeSea:
- फ़िल्टर: केवल उन ढेरों को देखता है जहाँ बच्चा खेल रहा था।
- खोज: आप खिलौने की एक तस्वीर दिखाते हैं। यह तुरंत उन 3 ढेरों को ढूंढ लेता है जो उस खिलौने से मेल खाते दिखते हैं।
- उत्तर: यह आपको खिलौना थमाता है और कहता है, "यह दोपहर 2:00 बजे लाल बॉक्स में था।"
यह शोध पत्र एक बड़ी उपलब्धि है क्योंकि यह निगरानी AI को "टेक्स्ट के आधार पर अनुमान लगाने" से "इमेज और समय के आधार पर देखने और समझने" की ओर ले जाता है, जिससे यह वास्तविक दुनिया की जांच के लिए एक सच्चा साथी बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।