⚡ electrical engineering

Deep Learning-based Event Data Coding: A Joint Spatiotemporal and Polarity Solution

यह शोध पत्र एक नवीन लॉस़ी (lossy) डीप लर्निंग-आधारित जॉइंट इवेंट डेटा कोडिंग (DL-JEC) फ्रेमवर्क प्रस्तावित करता है जो पोलरिटी को एक विशेषता के रूप में उपयोग करते हुए सिंगल-पॉइंट क्लाउड रिप्रजेंटेशन और एडेप्टिव वोक्सेल बाइनराइजेशन का उपयोग करता है ताकि कंप्यूटर विज़न कार्यों के लिए उच्च प्रदर्शन बनाए रखते हुए अत्याधुनिक मानकों की तुलना में महत्वपूर्ण संपीड़न लाभ प्राप्त किया जा सके।

मूल लेखक: Abdelrahman Seleem (Instituto Superior Técnico - Universidade de Lisboa, Lisbon, Portugal), André F. R. Guarda (Instituto de Telecomunicações, Portugal), Nuno M. M. Rodrigues (Instituto de Telecomunic

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdelrahman Seleem (Instituto Superior Técnico - Universidade de Lisboa, Lisbon, Portugal), André F. R. Guarda (Instituto de Telecomunicações, Portugal), Nuno M. M. Rodrigues (Instituto de Telecomunicações, Portugal), Fernando Pereira (Instituto Superior Técnico - Universidade de Lisboa, Lisbon, Portugal)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपने एक दोस्त को हमिंगबर्ड (hummingbird) के पंख फड़फड़ाने का एक वीडियो भेजना चाह रहे हैं। एक सामान्य कैमरा एक सेकंड में 30 बार फोटो खींचता है, जो हर बार बैकग्राउंड, हवा और पक्षी को कैप्चर करता है, भले ही कुछ भी न बदल रहा हो। यह बहुत बड़ी फाइल बना देता है जिसमें दोहराव वाला डेटा भरा होता है।

इवेंट कैमरे (Event cameras) अलग हैं। वे अत्यधिक सतर्क सुरक्षा गार्डों की तरह हैं। वे केवल तभी चिल्लाते हैं जब कुछ बदलता है। यदि हमिंगबर्ड का पंख हिलता है, तो कैमरा कहता है, "हे, (x,y) पिक्सेल समय (t) पर चमकीला हुआ!" यदि वह फिर से हिलता है, तो वह फिर से चिल्लाता है। वह स्थिरता को अनदेखा कर देता है। यह अविश्वसनीय रूप से तेज़ और कुशल है, लेकिन यह "चिल्लाहटों" (इवेंट्स) का एक विशाल, अराजक प्रवाह बनाता है जिसे स्टोर करना या भेजना कठिन होता है।

यह पेपर उनके समाधान, DL-JEC को पेश करता है, जो इन "चिल्लाहटों" को एक छोटे से सूटकेस में पैक करने का एक नया तरीका है ताकि उन्हें आसानी से भेजा जा सके बिना इस क्षमता को खोए कि बाद में हमिंगबर्ड को पहचाना जा सके।

यहाँ उनके समाधान का विवरण दिया गया है, DL-JEC, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:

1. पुराना तरीका: रंग के आधार पर छाँटना (दो अलग ढेर)

पहले, लोग इस डेटा को दो अलग-अलग ढेरों में छाँटकर इसे कंप्रेस करने की कोशिश करते थे: एक ढेर "चमकीले" इवेंट्स के लिए और दूसरा "गहरे" इवेंट्स के लिए। फिर वे प्रत्येक ढेर को अलग-अलग ज़िप करते थे।

समस्या: कल्पना कीजिए कि आपके पास लाल और नीले कंचे (marbles) का एक बैग है। यदि आप उन्हें दो अलग बैगों में छाँटते हैं, तो आप यह खो देते हैं कि वे आपस में कैसे मिले हुए थे। आप उस संबंध को खो देते हैं जो एक लाल कंचे और एक नीले कंचे के बीच था जो ठीक उसके बगल में हुआ था।

2. नया तरीका: "एक बड़ा बैग" (सिंगल पॉइंट क्लाउड)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे DL-JEC कहा जाता है। कंचों को दो अलग बैगों में डालने के बजाय, वे सभी लाल और नीले कंचों को एक ही बड़े बैग में डाल देते हैं।

जादू: इस नए बैग में, "रंग" (पोलैरिटी) कंचे से जुड़ा हुआ सिर्फ एक लेबल है, न कि अलग होने का कारण। यह कंप्यूटर को लाल और नीले कंचों के बीच के पैटर्न को एक साथ देखने की अनुमति देता है। क्योंकि कंप्यूटर एक ही समय में पूरी तस्वीर को समझता है, इसलिए वह दो अलग-अलग बैगों को संभालने के बजाय एक बैग को बहुत अधिक मजबूती से कंप्रेस कर सकता है।

3. "स्मार्ट फिल्टर" (बाइनराइजेशन रणनीतियाँ)

जब आप दूसरे छोर पर बैग खोलते हैं, तो आपको तय करना होता है कि कौन से कंचों को रखना है। यह पेपर तीन अलग-अलग "फिल्टर" (रणनीतियाँ) पेश करता है, जो इस बात पर निर्भर करती हैं कि आपको डेटा के लिए क्या चाहिए:

"काउंट कीपर" (CoB): यह फिल्टर सुनिश्चित करता है कि आपके पास उतने ही कंचे हों जितने आपके पास शुरुआत में थे। यह तब बहुत अच्छा है जब आपको यह जानने की आवश्यकता हो कि हमिंगबर्ड ने कितनी बार अपने पंख फड़फड़ाए।
"क्वालिटी प्यूरिस्ट" (QuB): यह फिल्टर कोशिश करता है कि अनपैक किया गया बैग मूल की तरह जितना संभव हो उतना समान, पिक्सेल-परफेक्ट दिखे। यह एक पुरानी फोटो को उसकी मूल तीक्ष्णता (sharpness) के साथ बहाल करने जैसा है।
"टास्क मास्टर" (ClB): यह सबसे शानदार हिस्सा है। इस फिल्टर को इस बात की परवाह नहीं है कि बैग कैसा दिखता है; इसे केवल इस बात की परवाह है कि परिणाम कैसा है। यदि लक्ष्य कंप्यूटर को यह बताना है कि "यह एक हमिंगबर्ड है," तो यह फिल्टर कुछ "शोर वाले" (noisy) कंचों को हटा सकता है जो कंप्यूटर को भ्रमित करते हैं, जिससे केवल स्पष्ट कंचे बचते हैं।
- उपमा: कल्पना कीजिए कि आप भीड़ में एक चेहरा पहचानने की कोशिश कर रहे हैं। यदि आप उन लोगों को हटा देते हैं जिन्होंने अजीब टोपी पहनी है (शोर/noise), तो आप वास्तव में मूल चेहरे को और भी बेहतर तरीके से पहचान सकते हैं। "टास्क मास्टर" फिल्टर शोर को हटा देता है ताकि कंप्यूटर पैटर्न को स्पष्ट रूप से देख सके।

4. परिणाम: छोटी फाइलें, स्मार्ट कंप्यूटर

इस पेपर ने अपने नए तरीके का परीक्षण वर्तमान "गोल्ड स्टैंडर्ड" कंप्रेशन टूल्स के खिलाफ किया।

छोटा आकार: नए तरीके ने पुराने तरीकों की तुलना में काफी छोटी फाइलें (बेहतर कंप्रेशन) बनाईं।
बेहतर पहचान: भले ही फाइलें छोटी थीं और "लॉसी" (lossy) थीं (यानी कुछ सूक्ष्म विवरण छोड़ दिए गए थे), कंप्यूटर अभी भी वस्तुओं (जैसे हमिंगबर्ड या हाथ के इशारे) को उतनी ही अच्छी तरह से, या वास्तव में उससे भी बेहतर पहचान सकता था, जितनी कि मूल बड़ी फाइलों से।
क्यों? क्योंकि "टास्क मास्टर" फिल्टर ने डेटा के लिए 'नॉइज़-कैंसलिंग हेडफ़ोन' की तरह काम किया, जिससे उस स्टेटिक (static) को हटा दिया गया जो कंप्यूटर को भ्रमित कर रहा था।

मुख्य निष्कर्ष (The Big Takeaway)

लंबे समय तक, वैज्ञानिकों को लगा कि आपको इवेंट कैमरा डेटा को एकदम सटीक (lossless) रखना होगा क्योंकि कंप्यूटर को काम करने के लिए हर एक बिट की जानकारी की आवश्यकता होती है। यह पेपर साबित करता है कि आपको ऐसा करने की आवश्यकता नहीं है।

एक स्मार्ट, सिंगल-बैग दृष्टिकोण और एक ऐसे फिल्टर का उपयोग करके जो यह जानता है कि कंप्यूटर क्या करने की कोशिश कर रहा है, हम इन विशाल डेटा स्ट्रीम्स को उनके आकार के एक अंश तक सिकोड़ सकते हैं, बिना कंप्यूटर की दुनिया को देखने और समझने की क्षमता को नुकसान पहुँचाए। यह एक पूरी विश्वकोश भेजने के बजाय एक पोस्टकार्ड भेजने जैसा है, लेकिन पोस्टकार्ड अभी भी कहानी को पूरी तरह से बताता है।

यहाँ शोध पत्र "Deep Learning-based Event Data Coding: A Joint Spatiotemporal and Polarity Solution" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

इवेंट कैमरे (न्यूरोमॉर्फिक विजन सेंसर) विजुअल डेटा को इवेंट्स $(x, y, t, p)$ की स्ट्रीम के रूप में एसिंक्रोनसली कैप्चर करते हैं, जो उच्च टेम्पोरल रेजोल्यूशन, उच्च डायनेमिक रेंज और कम लेटेंसी प्रदान करते हैं। हालाँकि, यह भारी मात्रा में डेटा उत्पन्न करता है, जिससे स्टोरेज और ट्रांसमिशन में महत्वपूर्ण चुनौतियाँ पैदा होती हैं।

वर्तमान सीमाएँ: मौजूदा समाधान मुख्य रूप से कंप्यूटर विजन (CV) कार्यों के लिए डेटा अखंडता बनाए रखने के लिए लॉसलेस कोडिंग (lossless coding) पर निर्भर करते हैं, जिसके परिणामस्वरूप उच्च बिटरेट होता है।
अंतराल (The Gap): जबकि मानव-केंद्रित मीडिया (इमेज/वीडियो) के लिए लॉस लॉस कोडिंग (lossy coding) मानक है, इसे इवेंट डेटा के लिए इस धारणा के तहत टाल दिया गया है कि किसी भी प्रकार का विरूपण (distortion) CV प्रदर्शन को नुकसान पहुँचाता है। इसके अलावा, इवेंट डेटा के लिए मौजूदा पॉइंट क्लाउड कोडिंग (PCC) दृष्टिकोण आमतौर पर इवेंट्स को दो अलग-अलग पॉइंट क्लाउड्स (एक पॉजिटिव पोलैरिटी के लिए, एक नेगेटिव के लिए) के रूप में दर्शाते हैं, जो दोनों पोलैरिटी के बीच सहसंबंध (correlation) का लाभ उठाने में विफल रहते हैं और संयुक्त संपीड़न (joint compression) के अवसरों को खो देते हैं।
लक्ष्य: एक लॉस लॉस डीप लर्निंग (DL)-आधारित कोडिंग समाधान विकसित करना जो डाउनस्ट्रीम CV कार्यों (विशेष रूपकर वर्गीकरण/classification) के प्रदर्शन को बनाए रखते हुए या उसमें सुधार करते हुए महत्वपूर्ण कंप्रेशन रेट प्राप्त कर सके।

2. कार्यप्रणाली: DL-JEC आर्किटेक्चर

लेखक DL-JEC (Deep Learning-based Joint Event data Coding) प्रस्तावित करते हैं, जो एक नया फ्रेमवर्क है जो इवेंट डेटा को दो अलग-अलग क्लाउड्स के बजाय एक एकल पॉइंट क्लाउड (Single Point Cloud) के रूप में मानता है।

A. डेटा प्रतिनिधित्व (Data Representation)

Single PC Representation: डेटा को पोलैरिटी के आधार पर विभाजित करने के बजाय, DL-JEC इवेंट टुपल $(x, y, t, p)$ $(x, y, t, p)$ को एक एकल 3D पॉइंट क्लाउड में मैप करता है जहाँ:
- ज्यामिति (Geometry): $(x, y, z)$ स्थानिक निर्देशांक $(x, y)$ और स्केल्ड समय $t$ (जहाँ $z = t \times TSF$ ) के अनुरूप है।
- एट्रिब्यूट्स (Attributes): पोलैरिटी $p$ (पॉजिटिव/नेगेटिव) को ज्योमेट्री के साथ जुड़े एक बाइनरी एट्रिब्यूट के रूप में माना जाता है।
प्रीप्रोसेसिंग: इसमें टेम्पोरल स्केलिंग, वोक्सेलाइजेशन (voxelization), और डुप्लिकेट रिमूवल (एक ही पोलैरिटी और अलग-अलग पोलैरिटी वाले एक ही वोक्सेल पर डुप्लिकेट्स) शामिल है।

B. कोडिंग मॉडल

यह आर्किटेक्चर JPEG Pleno PCC मानक का एक विस्तार है लेकिन संयुक्त कोडिंग के लिए संशोधित किया गया है:

इनपुट: एक स्पार्स टेंसर जिसमें दो चैनल हैं: चैनल 1 ऑक्यूपेंसी (ज्योमेट्री) के लिए, चैनल 2 पोलैरिटी के लिए।
एनकोडर (Encoder): एक हाइपरप्रायर मॉडल के साथ वेरिएशनल ऑटोएनकोडर (VAE) का उपयोग करता है। JPEG PCC (जो स्केलेबिलिटी के लिए ज्योमेट्री और एट्रिब्यूट्स को अलग-अलग कोड करता है) के विपरीत, DL-JEC लेटेंट स्पेस में ज्योमेट्री और पोलैरिटी फीचर्स को शुरुआती स्तर पर फ्यूज (fuse) करता है। यह मॉडल को स्पैटियोटेम्पोरल डेटा और पोलैरिटी के बीच सहसंबंध का लाभ उठाने की अनुमति देता है।
डिकोडर (Decoder): प्रत्येक वोक्सेल के लिए ऑक्यूपेंसी प्रोबेबिलिटी और पोलैरिटी प्रोबेबिलिटी को पुनर्गठित (reconstruct) करता है।
लॉस फंक्शन (Loss Function): एक नया लॉस फंक्शन रेट ( $R$ ) और कुल डिस्टॉर्शन ( $D_{Total}$ ) को संतुलित करता है:
$Loss = D_{Total} + \lambda \times R$
जहाँ $D_{Total}$ , जियोमेट्री डिस्टॉर्शन और पोलैरिटी डिस्टॉर्शन का एक भारित योग (weighted sum) है, दोनों की गणना फोकल लॉस (Focal Loss) का उपयोग करके की जाती है।

C. एडेप्टिव बाइनराइजेशन रणनीतियाँ (Adaptive Binarization Strategies)

चूँकि डिकोडर प्रोबेबिलिटी आउटपुट देता है, इसलिए अंतिम इवेंट स्ट्रीम को पुनर्गठित करने के लिए एक बाइनराइजेशन चरण की आवश्यकता होती। पेपर में तीन अलग-अलग रणनीतियाँ पेश की गई हैं जो विभिन्न लक्ष्यों के लिए अनुकूलित हैं:

काउंट-ऑप्टिमाइज्ड (Count-optimized - CoB): सटीक इनपुट इवेंट्स की संख्या ( $k = N_{input}$ ) को पुनर्गठित करता है। यह उन कार्यों के लिए अच्छा है जो इवेंट डेंसिटी के प्रति संवेदनशील होते हैं।
क्वालिटी-ऑप्टिमाइज्ड (Quality-optimized - QuB): पुनर्निर्माण निष्ठा (fidelity) को अधिकतम करने के लिए $k$ का चयन करता है (जिसे एक नए मेट्रिक, PSNR E2E द्वारा मापा जाता है)।
क्लासिफिकेशन-ऑप्टिमाइज्ड (Classification-optimized - ClB): डाउनस्ट्रीम टास्क के Top-1 क्लासिफिकेशन एक्यूरेसी को अधिकतम करने के लिए $k$ का चयन करता है। यह रणनीति एक 'लर्नड डिनोइजिंग फिल्टर' के रूप में कार्य करती है, जो अक्सर उन शोर वाले (noisy) इवेंट्स को हटा देती है जो वर्गीकरण में बाधा डालते हैं।

D. नया क्वालिटी मेट्रिक: PSNR E2E

पेपर Peak Signal-to-Noise Ratio Event-to-Event Distance (PSNR E2E) प्रस्तावित करता है। मानक PCC मेट्रिक्स (PSNR D1) के विपरीत, जो केवल ज्योमेट्री पर विचार करते हैं, PSNR E2E निम्नलिखित को ध्यान में रखता है:

स्थानिक (spatial) और टेम्पोरल दूरियाँ।
पोलैरिटी मिलान (Polarity matching): यह रेफरेंस और पुनर्गठित सेट्स में समान पोलैरिटी के निकटतम पड़ोसियों (nearest neighbors) के बीच मीन स्क्वेर्ड एरर (MSE) की गणना करता है।

3. प्रमुख योगदान (Key Contributions)

प्रथम जॉइंट सिंगल-PC कोडिंग: इवेंट डेटा को सिंगल पॉइंट क्लाउड के रूप में कोड करने वाला पहला DL-आधारित समाधान, जो पोलैरिटी को एक एट्रिब्यूट के रूप में उपयोग करता है और स्पैटियोटेम्पोरल-पोलैरिटी सहसंबंधों का लाभ उठाता है।
टास्क-ओरिएंटेड बाइनराइजेशन: नवीन एडेप्टिव रणनीतियाँ (CoB, QuB, ClB) जो कोर मॉडल को फिर से प्रशिक्षित किए बिना डेटा फिडेलिटी या विशिष्ट CV कार्यों (वर्गीकरण) के लिए कोडक को ट्यून करने की अनुमति देती हैं।
PSNR E2E मेट्रिक: एक नया क्वालिटी मेट्रिक जो ज्योमेट्री और पोलैरिटी दोनों पर विचार करता है।
पैराडाइम शिफ्ट (Paradigm Shift): यह प्रदर्शित करता है कि लॉस लॉस कोडिंग, डेटा फिडेलिटी बनाए रखते हुए या उसमें सुधार करते हुए, रेट के मामले में लॉसलेस कोडिंग से बेहतर प्रदर्शन कर सकती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

समाधान का मूल्यांकन दो डेटासेट्स पर किया गया: N-Caltech101 (ऑब्जेक्ट क्लासिफिकेशन) और IBM DVS Gesture (जेस्चर रिकग्निशन), जिसमें EST (Event Spike Tensor) क्लासिफायर का उपयोग किया गया।

कंप्रेशन प्रदर्शन (Rate-Distortion):
- DL-JEC, QuB रणनीति का उपयोग करते समय, रेट-डिस्टॉर्शन (RD) कर्व्स में MPEG G-PCC (लॉस लॉस और लॉसलेस दोनों) और JPEG Pleno PCC (लॉस लॉस) की तुलना में काफी बेहतर प्रदर्शन करता है।
- यह लॉसलेस G-PCC बेसलाइन से बहुत कम बिटरेट पर उच्च पुनर्निर्माण गुणवत्ता प्राप्त करता है।
- कंप्यूटेशनल दक्षता: JPEG PCC की तुलना में DL-JEC का इन्फरेंस टाइम (एनकोडिंग/डिकोडिंग) कम है।
वर्गीकरण प्रदर्शन (Classification Performance):
- ClB स्ट्रैटेजी: Classification-optimized (ClB) रणनीति ने उच्चतम Top-1 और Top-5 एक्यूरेसी प्राप्त की, जो अक्सर मूल अनकंप्रेस्ड डेटा और वोक्सेलाइज्ड बेसलाइन से भी बेहतर थी।
- तर्क: ClB रणनीति शोर और अप्रासंगिक इवेंट्स को प्रभावी ढंग से फ़िल्टर करती है, जिससे क्लासिफायर को एक "साफ" इनपुट मिलता है।
- सामान्यीकरण (Generalization): N-Caltech101 पर प्रशिक्षित मॉडल IBM DVS Gesture डेटासेट पर भी अच्छी तरह से काम करते हैं, जो बेंचमार्क के मुकाबले प्रतिस्पर्धी प्रदर्शन बनाए रखते हैं।
बेंचमार्क के साथ तुलना:
- DL-JEC ने कंप्रेशन दक्षता और क्लासिफिकेशन एक्यूरेसी दोनों में "Two-PC" दृष्टिकोण (JPEG PCC) को लगातार पछाड़ दिया।
- CoB रणनीतियों के लिए अंतर अधिक व्यापक था, क्योंकि Two-PC दृष्टिकोण डुप्लिकेट इवेंट्स उत्पन्न करता है जिन्हें हटाना पड़ता है, जिससे बिट्स बर्बाद होते हैं।

5. महत्व और प्रभाव (Significance and Impact)

इवेंट कोडिंग को पुनर्परिभाषित करना: यह पेपर इस धारणा को चुनौती देता है कि इवेंट डेटा को लॉसलेसली कोड किया जाना चाहिए। यह सिद्ध करता है कि नियंत्रित लॉस लॉस कंप्रेशन न केवल व्यवहार्य है बल्कि मशीन विजन कार्यों के लिए फायदेमंद भी है।
मानकीकरण क्षमता (Standardization Potential): यह कार्य JPEG XE (इवेंट डेटा) मानकीकरण प्रयासों के अनुरूप है, जो भविष्य के लॉस लॉस इवेंट कोडिंग मानकों के लिए एक मजबूत तकनीकी आधार प्रदान करता है।
दक्षता: बैंडविड्थ-बाधित अनुप्रयोगों जैसे स्वायत्त ड्राइविंग, रोबोटिक्स और IoT में इवेंट कैमरों की तैनाती को सुगम बनाकर, DL-JEC कम बिटरेट को सक्षम बनाता है।
भविष्य की दिशाएँ: लेखक इस फ्रेमवर्क को अन्य CV कार्यों (जैसे सिमेंटिक सेगमेंटेशन) तक विस्तारित करने और विभिन्न इवेंट डेंसिटीज़ पर सामान्यीकरण में सुधार के लिए विविध डेटासेट्स पर प्रशिक्षण का सुझाव देते हैं।