🤖 AI

Learning Filters with Certainty

यह शोध पत्र मेंबरशिप संकेत (membership indications) की निश्चितता का अनुमान लगाने के लिए काउंटिंग ब्लूम फिल्टर्स (Counting Bloom Filters) में काउंटर मानों (counter values) का लाभ उठाने का प्रस्ताव करता है, जिससे उन हाइब्रिड आर्किटेक्चर को बढ़ावा मिलता है जो इन डेटा संरचनाओं को मशीन लर्निंग मॉडल्स के साथ जोड़ते हैं।

मूल लेखक: Yuval Banoun, Daniel Sadoc Menasche, Ori Rottenstreich

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuval Banoun, Daniel Sadoc Menasche, Ori Rottenstreich

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बड़े आयोजन में एक बहुत ही व्यस्त सुरक्षा चेकपॉइंट चला रहे हैं। आपके पास वीआईपी (VIPs) की एक सूची (सेट) है जिन्हें अंदर जाने की अनुमति है। आपका लक्ष्य यह तय करना है कि गेट के पास आने वाला व्यक्ति उस सूची में है या नहीं।

पुराना तरीका: "शायद" वाली सूची

पारंपरिक रूप से, सुरक्षा गार्ड एक ब्लूम फ़िल्टर (Bloom Filter) नामक टूल का उपयोग करते हैं। इसे एक विशाल, सुपर-फास्ट चेकलिस्ट के रूप में सोचें।

यह कैसे काम करता है: जब कोई वीआईपी आता है, तो गार्ड चेकलिस्ट के कुछ स्थानों पर निशान लगा देता है। बाद में, यदि कोई पूछता है, "क्या यह व्यक्ति वीआईपी है?" तो गार्ड उन्हीं स्थानों की जांच करता है। यदि वे सभी चिह्नित हैं, तो वह कहता है, "हाँ, वे संभवतः एक वीआईपी हैं।"
समस्या: क्योंकि चेकलिस्ट छोटी और साझा होती है, इसलिए कभी-कभी गलती से कुछ रैंडम लोग भी चिह्नित हो जाते हैं (जैसे दो लोगों का आपस में टकराना और गलती से एक ही जगह पर स्टैम्प लग जाना)। इसे फॉल्स पॉजिटिव (False Positive) कहा जाता है। गार्ड "हाँ" कह देता है जबकि वह व्यक्ति वास्तव में वीआईपी नहीं होता।
सुरक्षा नियम: सुरक्षित रहने के लिए, गार्ड कभी भी "नहीं" नहीं कहता यदि स्थान चिह्नित हैं। वह केवल तभी "नहीं" कहता है जब स्थान खाली हों। इसका मतलब है कि वह किसी वास्तविक वीआईपी को कभी नहीं चूकता (कोई फॉल्स नेगेटिव नहीं), लेकिन वह कुछ ढोंगी लोगों को अंदर जाने दे सकता है।

नया विचार: "कॉन्फिडेंस मीटर" (विश्वास का पैमाना)

लेखक एक स्मार्ट वर्शन पेश करते हैं जिसे काउंटिंग ब्लूम फ़िल्टर (Counting Bloom Filter - CBF) कहा जाता है। केवल एक साधारण "X" के साथ निशान लगाने के बजाय, कल्पना करें कि गार्ड प्रत्येक स्थान के लिए एक काउंटर (एक डिजिटल नंबर की तरह) का उपयोग करता है।

यह कैसे काम करता है: हर बार जब एक वास्तविक वीआईपी गुजरता है, तो उनके स्थानों पर नंबर बढ़ जाते हैं (1, 2, 3...)।
जादू: यदि कोई रैंडम ढोंगी अंदर आने की कोशिश करता है, तो वह गलती से ऐसे स्थान को हिट कर सकता है जिस पर "1" लिखा हो। लेकिन अगर वह ऐसे स्थान को हिट करता है जिस पर "12" है, तो इसकी संभावना बहुत कम है कि यह एक दुर्घटना है।
अंतर्दृष्टि: पेपर का तर्क है कि ये नंबर केवल गिनती के लिए नहीं हैं; वे एक कॉन्फिडेंस मीटर हैं। एक उच्च संख्या का अर्थ है, "मुझे पूरा विश्वास है कि यह व्यक्ति यहाँ का है।" एक कम संख्या का अर्थ है, "मैं इतना पक्का नहीं हूँ; यह एक संयोग हो सकता है।"

"स्मार्ट असिस्टेंट" (मशीन लर्निंग) को शामिल करना

पेपर में मशीन लर्निंग (ML) मॉडल के बारे में भी बात की गई है, जो एक अत्यधिक प्रशिक्षित सुरक्षा विशेषज्ञ की तरह है जो किसी व्यक्ति के चेहरे या आईडी को देखकर अनुमान लगा सकता है कि क्या वह एक वीआईपी है।

विशेषज्ञ के साथ समस्या: सबसे अच्छा विशेषज्ञ भी गलतियाँ करता है। कभी-कभी वे अनिश्चित होते हैं।
समाधान: पेपर चार अलग-अलग तरीके प्रस्तावित करता है जिनसे विशेषज्ञ (Expert) और कॉन्फिडेंस मीटर मिलकर बेहतर निर्णय ले सकते हैं।

यहाँ चार "टीम-अप रणनीतियाँ" दी गई हैं जिनका वर्णन पेपर में किया गया है:

1. "एक्सपर्ट फर्स्ट" टीम (मॉडल 1)

कैसे काम करता है: विशेषज्ञ पहले व्यक्ति को देखता है। यदि विशेषज्ञ 100% आश्वस्त है ("हाँ, यह निश्चित रूप से एक वीआईपी है!"), तो वह उन्हें तुरंत अंदर जाने देता है।
बैकअप: यदि विशेषज्ञ अनिश्चित है ("हम्म, शायद?"), तो वह व्यक्ति को कॉन्फिडेंस मीटर के पास भेज देता है। मीटर नंबरों की जांच करता है। यदि नंबर पर्याप्त ऊंचे हैं, तो यह "हाँ" कहता है। यदि नंबर कम हैं, तो यह "नहीं" कहता है।
क्यों अच्छा है: यह विशेषज्ञ द्वारा स्पष्ट मामलों को संभालने से समय बचाता है।

2. "गेटकीपर फर्स्ट" टीम (मॉडल 2)

कैसे काम करता है: एक सरल, तेज़ "गेटकीपर" (एक मानक चेकलिस्ट) पहले व्यक्ति की जांच करता है। यदि गेटकीपर "नहीं" कहता है, तो वे बाहर हैं। यदि यह "शायद" कहता है, तो वे विशेषज्ञ के पास जाते हैं।
ट्विस्ट: विशेषज्ञ केवल अंतिम "हाँ/नहीं" नहीं देता। इसके बजाय, विशेषज्ञ कॉन्फिडेंस मीटर को एक "कॉन्फिडेंस स्कोर" देता है। मीटर उस स्कोर का उपयोग यह तय करने के लिए करता है कि उसे कितना सख्त होना चाहिए।
क्यों अच्छा है: गेटकीपर स्पष्ट नकली लोगों को फ़िल्टर कर देता है, जिससे विशेषज्ञ और मीटर केवल कठिन मामलों को संभालते हैं।

3. "फास्ट-ट्रैक" टीम (मॉडल 3)

कैसे काम करता है: यह मॉडल 2 की तरह है, लेकिन इसमें एक शॉर्टकट है। गेटकीपर पहले जांच करता है। यदि वह "शायद" कहता है, तो विशेषज्ञ देखता है।
शॉर्टकट: यदि विशेषज्ञ बहुत आश्वस्त है, तो वह कॉन्फिडेंस मीटर को परेशान किए बिना व्यक्ति को तुरंत अंदर जाने देता है।
बैकअप: यदि विशेषज्ञ अनिश्चित है, तो कॉन्फिडेंस मीटर भारी काम करने के लिए आगे आता है।
क्यों अच्छा है: यह उन लोगों के लिए सबसे तेज़ है जिनके बारे में विशेषज्ञ आश्वस्त है, लेकिन अनिश्चित लोगों के लिए अभी भी बहुत सुरक्षित है।

4. "ऑल-इन-वन" टीम (मॉडल 4)

कैसे काम करता है: यह सबसे एकीकृत टीम है। एक ही कॉन्फिडेंस मीटर का उपयोग शुरुआत में और अंत में किया जाता है।
प्रक्रिया: पहले, मीटर यह जांचता है कि क्या नंबर शून्य हैं। यदि कोई भी शून्य है, तो व्यक्ति बाहर है। यदि नहीं, तो नंबर विशेषज्ञ को सौंप दिए जाते हैं।
जादू: विशेषज्ञ व्यक्ति और नंबरों को एक साथ देखता है और निर्णय लेता है। यदि विशेषज्ञ अभी भी अनिश्चित है, तो मीटर अंतिम निर्णय लेने के लिए उन्हीं नंबरों का एक आखिरी बार उपयोग करता है।
क्यों अच्छा है: यह एक ही टूल का दो बार उपयोग करता है, जिससे जगह बचती है, और विशेषज्ञ को सीधे नंबरों से सीखने में मदद मिलती है।

मुख्य निष्कर्ष

पेपर का मुख्य बिंदु यह है कि अनिश्चितता एक उपयोगी जानकारी है।

पुराने दिनों में, सुरक्षा उपकरण केवल बाइनरी उत्तर देते थे: "हाँ" या "नहीं"। यह पेपर दिखाता है कि काउंटिंग ब्लूम फिल्टर का उपयोग करके, हम एक "शायद" वाला उत्तर प्राप्त कर सकते हैं जो हमें बताता है कि हम कितने आश्वस्त हैं। इस "निश्चितता सिग्नल" को स्मार्ट कंप्यूटर मॉडल के साथ जोड़कर, हम पहले की तुलना में तेज़, कम मेमोरी उपयोग करने वाले और कम गलतियाँ करने वाले सिस्टम बना सकते हैं।

पेपर यह दावा नहीं करता कि वह चिकित्सा निदान को हल करता है या शेयर बाजार की भविष्यवाणी करता है; यह विशेष रूप से इस बात पर ध्यान केंद्रित करता है कि कैसे इन डिजिटल "चेकलिस्टों" को डेटा कैशिंग, नेटवर्क समस्याओं का पता लगाने या कंप्यूटर सिस्टम में सूचना को फ़िल्टर करने जैसे कार्यों के लिए स्मार्ट बनाया जाए।

तकनीकी सारांश: निश्चितता के साथ लर्निंग फिल्टर्स (Learning Filters with Certainty)

समस्या विवरण
ब्लूम फिल्टर्स (BFs) का उपयोग नेटवर्क सिस्टम और मशीन लर्निंग (ML) पाइपलाइनों में सेट प्रतिनिधित्व और सदस्यता प्रश्नों (membership queries) के लिए व्यापक रूप से किया जाता है। हालाँकि, मानक BFs केवल बाइनरी संकेत (सदस्य/गैर-सदस्य) प्रदान करते हैं और हैश कोलिजन (hash collisions) के कारण स्वाभाविक रूप से फाल्स पॉजिटिव (false positives) से ग्रस्त होते हैं। फाल्स नेगेटिव (false negatives) से बचने के लिए, BFs डिलीशन (deletion) का समर्थन नहीं कर सकते, जो गतिशील सेट्स (dynamic sets) में उनकी उपयोगिता को सीमित करता है। जबकि काउंटिंग ब्लूम फिल्टर्स (CBFs) काउंटर के बजाय बिट्स का उपयोग करके डिलीशन की सीमा को संबोधित करते हैं, उन्हें आमतौर पर केवल बाइनरी संरचनाओं के रूप में माना जाता है जहाँ सभी काउंटर गैर-शून्य होने पर एक सकारात्मक संकेत दिया जाता है।

लेखक तर्क देते हैं कि CBFs में हैश कोलिजन से जुड़ी अनिश्चितता में मूल्यवान जानकारी होती है। विशेष रूप से, काउंटर के मानों का उपयोग सदस्यता संकेत की 'निश्चितता' (पोस्टीरियर प्रोबेबिलिटी) का अनुमान लगाने के लिए किया जा सकता है। यह शोध पत्र इस बात का पता लगाता है कि कैसे इस "निश्चितता सिग्नल" (certainty signal) का उपयोग CBFs को सीखे गए सदस्यता मॉडलों (ML) के साथ संयोजित करने के लिए किया जा सकता है, जिससे बाइनरी निर्णयों से आगे बढ़कर संभाव्य तर्क (probabilistic reasoning) की ओर बढ़ा जा सके।

कार्यप्रणाली और आर्किटेक्चर
यह शोध पत्र पूर्व कार्य [12] के अवलोकन पर आधारित है कि CBF काउंटर $P(x \in S | V(x))$ के रूप में पोस्टीरियर मेंबरशिप प्रोबेबिलिटी का अनुमान लगाने की अनुमति देते हैं, जहाँ $V(x)$ काउंटर मानों का वेक्टर है। लेखक चार अलग-अलग आर्किटेक्चर प्रस्तावित करते हैं जो सीखे गए मॉडल के स्कोर $f(x)$ , CBF काउंटर वेक्टर $V(x)$ , और वैकल्पिक प्रीफिल्टरिंग को संयोजित करने की विभिन्न रणनीतियों का उपयोग करते हुए ब्लूम फिल्टर्स और CBFs को एकीकृत करते हैं।

मॉडल 1: लर्नड काउंटिंग ब्लूम फिल्टर (Learned Counting Bloom Filter)
- संरचना: एक सीखा हुआ ओरेकल (learned oracle) एक फ्रंट-एंड क्लासिफायर के रूप में कार्य करता है। यदि मॉडल आश्वस्त है ( $f(x) \ge \tau$ ), तो यह तुरंत एक सकारात्मक निर्णय देता है। यदि स्कोर कम है, तो क्वेरी को CBF को पास कर दिया जाता है।
- तंत्र: CBF केवल एक बाइनरी बैकअप के रूप में नहीं बल्कि एक पोस्टीरियर एस्टिमेटर के रूप में कार्य करता है। यह एक जनसंख्या-स्तरीय प्रायर ( $p_0 = P(x \in S)$ ) का उपयोग करके पोस्टीरियर प्रोबेबिलिटी की गणना करता है। यदि पोस्टीरियर $\eta$ से अधिक है, तो निर्णय सकारात्मक होता है; अन्यथा, नकारात्मक होता है।
- ट्रेड-ऑफ: यह सीखे गए BF के लिए सबसे सरल "ड्रॉप-इन" प्रतिस्थापन है लेकिन इसमें फ्रंट प्रीफिल्टर की कमी है, जिससे उच्च फाल्स-पॉजिटिव रेट (FPR) हो सकता है।
मॉडल 2: एसिमेट्रिक सैंडविच (Asymmetric Sandwich)
- संरचना: एक मानक ब्लूम फिल्टर ( $B_1$ ) सीखे गए मॉडल से पहले आता है। मॉडल को केवल तभी क्वेरी किया जाता है जब $B_1$ सदस्यता का संकेत देता है।
- तंत्र: सीखा गया मॉडल स्कोर $f(x)$ सीधे बाइनरी निर्णय के लिए उपयोग नहीं किया जाता है, बल्कि यह CBF के पोस्टीरियर कैलकुलेशन के लिए 'प्रायर' ( $p_1 = f(x)$ ) के रूप में कार्य करता है। अंतिम निर्णय इस सीखे गए प्रायर का उपयोग करके CBF पोस्टीरियर पर आधारित होता है।
- ट्रेड-ऑफ: फ्रंट BF स्पष्ट गैर-सदस्यों को फ़िल्टर करके FPR को कम करता है। सीखे गए प्रायर और संरचनात्मक काउंटर साक्ष्य का संयोजन अकेले किसी भी स्रोत की तुलना में अधिक सूचनात्मक पोस्टीरियर प्रदान करता है।
मॉडल 3: अर्ली डिसीजन के साथ एसिमेट्रिक सैंडविच (Asymmetric Sandwich with Early Decision)
- संरचना: मॉडल 2 के समान, जिसमें एक फ्रंट BF और एक सीखा गया मॉडल है, लेकिन इसमें एक 'अर्ली-एग्जिट' पथ भी जोड़ा गया है।
- तंत्र: यदि फ्रंट BF क्वेरी को पास करता है और सीखा गया मॉडल अत्यधिक आश्वस्त है ( $f(x) \ge \tau$ ), तो सिस्टम तुरंत एक सकारात्मक निर्णय देता है, जिससे CBF को छोड़ दिया जाता है। यदि आत्मविश्वास कम है ( $f(x) < \tau$ ), तो क्वेरी CBF की ओर बढ़ती है, जहाँ सीखा गया स्कोर पोस्टीरियर टेस्ट के लिए प्रायर के रूप में कार्य करता है।
- ट्रेड-ऑफ: यह आर्किटेक्चर उच्च-विश्वास वाले मामलों के लिए विलंबता (latency) और कम्प्यूटेशनल लागत को कम करता है, जबकि कम-विश्वास वाले मामलों के लिए निश्चितता-जागरूक तर्क को बनाए रखता है।
मॉडल 4: सिमेट्रिक MAP सैंडविच (Symmetric MAP Sandwich)
- संरचना: एक एकल CBF का उपयोग प्रारंभिक स्क्रीनिंग डिवाइस और अंतिम निर्णय मॉड्यूल दोनों के रूप में किया जाता है।
- तंत्र: CBF पहले यह जाँचता है कि क्या सभी काउंटर गैर-शून्य हैं। यदि ऐसा है, तो काउंटर वेक्टर $V(x)$ और तत्व $x$ को एक सीखे गए मॉडल (MAP ओरेकल) को भेजा जाता है जो स्पष्ट रूप से दोनों विशेषताओं का उपयोग करता है। मॉडल का आउटपुट $f(x, V(x))$ दो उद्देश्यों को पूरा करता है: (1) यदि $\tau$ से ऊपर है तो एक सीधा निर्णय, और (2) यदि $\tau$ से नीचे है तो अंतिम CBF पोस्टीरियर टेस्ट के लिए एक MAP-शैली का प्रायर ( $p_2$ )।
- ट्रेड-ऑफ: यह लर्निंग और फिल्टरिंग के बीच सबसे घनिष्ठ एकीकरण प्रदान करता है, जिससे मॉडल को निश्चितता सिग्नल से सीखने की अनुमति मिलती है। यह एक ही CBF का पुन: उपयोग करता है, जिससे अलग-अलग फिल्टरों वाले मॉडलों की तुलना में मेमोरी फुटप्रिंट कम हो जाता है, लेकिन यह चरणों के बीच सांख्यिकीय निर्भरता (statistical dependence) पैदा करता है।

प्रमुख योगदान

निश्चितता-जागरूक डेटा संरचनाएं (Certainty-Aware Data Structures): यह शोध पत्र CBFs को केवल डिलीशन-सपोर्टिंग संरचनाओं से बदलकर "निश्चितता-जागरूक" डेटा संरचनाओं के रूप में पुनर्परिभाषित करता है जो बाइनरी उत्तरों के बजाय कॉन्फिडेंस स्कोर आउटपुट करते हैं।
चार नवीन आर्किटेक्चर: लेखक चार विशिष्ट आर्किटेक्चर (मॉडल 1-4) प्रस्तावित करते हैं जो सदस्यता प्रश्नों में अनिश्चितता को मापने के लिए CBF के काउंटर मानों का लाभ उठाते हैं।
सैद्धांतिक विश्लेषण: शोध पत्र प्रत्येक आर्किटेक्चर के लिए फाल्स पॉजिटिव रेट (FPR) का औपचारिक विश्लेषण प्रदान करता है, जो सीखे गए ओरेकल की त्रुटि दरों, फिल्टर के फाल्स पॉजिटिव और पोस्टीरियर निर्णय थ्रेसहोल्ड के बीच परस्पर क्रिया को ध्यान में रखते हुए सूत्र व्युत्पन्न करता है।
ट्रेड-ऑफ लक्षण वर्णन: कार्य FPR, अनुमान लागत (inference cost), मेमोरी फुटप्रिंट और निश्चितता-जागरूक निर्णयों के लाभों के संबंध में आर्किटेक्चर के बीच ट्रेड-ऑफ पर चर्चा करता है।

परिणाम और महत्व
यह शोध पत्र विशिष्ट डेटासेट्स पर नए अनुभवजन्य प्रायोगिक परिणाम प्रस्तुत नहीं करता है, बल्कि काउंटर मानों की उपयोगिता प्रदर्शित करने के लिए सैद्धांतिक व्युत्पत्ति और पूर्व सिमुलेशन कार्य (जैसे, [12]) का संदर्भ देता है।

सैद्धांतिक निष्कर्ष: विश्लेषण दिखाता है कि काउंटर उत्पादों का गुणनफल पोस्टीरियर मेंबरशिप प्रोबेबिलिटी को महत्वपूर्ण रूप से प्रभावित करता है। कम प्रायर प्रोबेबिलिटी वाले तत्वों के लिए, काउंटर उत्पाद में मामूली वृद्धि भी अनुमानित सदस्यता की निश्चितता में पर्याप्त वृद्धि करती है।
महत्व: लेखक दावा करते हैं कि CBF काउंटर द्वारा पेश किए गए मेमोरी ओवरहेड को केवल डिलीशन का समर्थन करने के लिए एक लागत के रूप में नहीं, बल्कि एक "सूचना-समृद्ध सिग्नल" के रूप में देखा जाना चाहिए। इस सिग्नल का लाभ उठाकर, ML मॉडल अनिश्चितता के बारे में उस तरह से तर्क दे सकते हैं जैसे मानक BFs नहीं कर सकते।
व्यावहारिक निहितार्थ: यह शोध पत्र सुझाव देता है कि ये आर्किटेक्चर सिस्टम डिजाइनरों को फाल्स पॉजिटिव, फाल्स नेगेटिव और मेमोरी उपयोग के स्पेक्ट्रम पर ऑपरेटिंग पॉइंट्स चुनने की अनुमति देते हैं। यह एक व्यावहारिक चुनौती को भी रेखांकित करता है: जबकि CBFs को इंसर्शन/डिलीशन के माध्यम से ऑनलाइन अपडेट किया जा सकता है, सीखे गए मॉडलों को आमतौर पर आवधिक रिट्रेनिंग की आवश्यकता होती है, जो एक हाइब्रिड अपडेट रणनीति का सुझाव देता है।

निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि काउंटिंग ब्लूम फिल्टर्स कॉम्पैक्ट सेट प्रतिनिधित्व के लिए एक बहुमुखी तंत्र प्रदान करते हैं, जिन्हें जब सीखे गए मॉडलों के साथ जोड़ा जाता है, तो वे सूक्ष्म, संभाव्यता-आधारित सदस्यता निर्णय प्रदान कर सकते हैं। प्रस्तावित आर्किटेक्चर इन निश्चितता संकेतों को ML पाइपलाइनों में एकीकृत करने के लिए एक ढांचा प्रदान करते हैं, जो सटीकता, विलंबता और मेमोरी दक्षता के बीच संतुलन बनाते हैं। भविष्य के कार्य की दिशाओं में घटकों के बीच इष्टतम मेमोरी आवंटन, अनुकूलन योग्य निर्णय थ्रेसहोल्ड और अन्य संभाव्य डेटा संरचनाओं की खोज शामिल है जो आंतरिक निश्चितता सिग्नल को प्रदर्शित करते हैं।