Low-Latency Survivorship Scoring over Cloud Data Warehouses: A Workflow-Orchestrated Approach for Enterprise Record Linkage

द ग्रेट डिजिटल क्लीनअप: क्यों आपके डेटा को एक 'सुपर-ऑर्गनाइज़र' की ज़रूरत है

कल्पना कीजिए कि आप एक विशाल, अराजक भीड़ में अपने किसी विशिष्ट मित्र को खोजने की कोशिश कर रहे हैं जहाँ हर कोई चिल्ला रहा है, अलग-अलग वेशभूषा पहने हुए है, और एक ही नाम के थोड़े अलग संस्करण वाले नेम टैग पकड़े हुए है। कुछ "बॉब" कह रहे हैं, कुछ "रॉबर्ट", और कुछ ऐसे साइन पकड़े हुए हैं जो "रॉब" जैसे दिखते हैं लेकिन वास्तव में किसी दूसरे व्यक्ति के लिए हैं। व्यवसायों के लिए अपने ग्राहक डेटा को प्रबंधित करने की कोशिश करते समय यह उनकी दैनिक वास्तविकता है। कंप्यूटर विज्ञान की दुनिया में, इसे एंटिटी रेजोल्यूशन (या रिकॉर्ड लिंकेज) कहा जाता है, और यह यह पता लगाने की कला है कि दो अलग-अलग दिखने वाली जानकारियाँ वास्तव में एक ही व्यक्ति से संबंधित हैं।

जब कंपनियाँ इस डेटा को क्लाउड में विशाल डिजिटल गोदामों (वेयरहाउस) में स्टोर करती हैं, तो समस्या और भी जटिल हो जाती है। यह उस भीड़ को साफ करने जैसा है जब गोदाम में आग लगी हो, और आपको यह काम पलक झपकते ही करना हो। यदि आप गलत होते हैं, तो आप गलत व्यक्ति को जन्मदिन का कार्ड भेज सकते हैं, या इससे भी बुरा, किसी ग्राहक का ट्रैक पूरी तरह से खो सकते हैं। लक्ष्य कई डुप्लिकेट्स के बीच रिकॉर्ड के "सत्य" संस्करण को खोजना है, बिना घंटों तक कंप्यूटर के उसे व्यवस्थित करने का इंतज़ार किए। यहीं पर वह शोध पत्र (पेपर) काम आता है जिसे आप अब पढ़ने जा रहे हैं, जो स्मार्ट शेड्यूलिंग और बिजली जैसी तेज़ गणितीय गणनाओं के मिश्रण का उपयोग करके इस अराजकता को व्यवस्थित करने का एक नया तरीका पेश करता है।

---

पेपर का बड़ा विचार: "सुपर-ऑर्गनाइज़र" वर्कफ़्लो

यह पेपर एक नई प्रणाली पेश करता है जिसे WOASS (वर्कफ़्लो-ऑर्केस्ट्रेटेड एडेप्टिव सर्वाइवरशिप स्कोरिंग) कहा जाता है। इसे एक अत्यधिक कुशल, सुपर-स्मार्ट लाइब्रेरियन के रूप में समझें जो केवल किताबों को बेतरतीब ढंग से नहीं रखता, बल्कि लाखों किताबों के पुस्तकालय में हर किताब का एक सही संस्करण खोजने के लिए एक जटिल, स्वचालित कन्वेयर बेल्ट सिस्टम का उपयोग करता है।

लेखक, वेंकटेश अलमुरी और उनकी टीम ने एंटरप्राइज सिस्टम में "खराब डेटा" की समस्या को हल किया है। उन्होंने देखा कि जब कंपनियाँ डुप्लिकेट ग्राहक रिकॉर्ड को साफ करने की कोशिश करती हैं (जैसे कि जब कोई थोड़े अलग ईमेल पते के साथ दो बार साइन अप करता है), तो पुराने तरीके या तो बहुत धीमे होते हैं या पर्याप्त स्मार्ट नहीं होते। उन्होंने एक समाधान बनाया है जो Google BigQuery (एक विशाल क्लाउड डेटा वेयरहाउस) पर चलता है और जिसे Apache Airflow (एक ऐसा टूल जो एक कंडक्टर की तरह कार्य करता है, जो कंप्यूटर के विभिन्न हिस्सों को बताता है कि कब काम करना है और कब आराम करना है) द्वारा निर्देशित किया जाता है।

यहाँ उनका "सुपर-ऑर्गनाइज़र" कैसे काम करता है, इसके सरल चरण दिए गए हैं:

1. "ग्रुपिंग" गेम (ब्लॉकिंग)

कंप्यूटर हर एक रिकॉर्ड की तुलना हर दूसरे रिकॉर्ड से करने की कोशिश करने से पहले (जिसमें बहुत समय लगेगा), WOASS ब्लॉकिंग नामक एक ट्रिक का उपयोग करता है। कल्पना कीजिए कि आप एक स्टेडियम में किसी विशिष्ट व्यक्ति को खोज रहे हैं। हर सीट की जाँच करने के बजाय, आप केवल उस सेक्शन को देखते हैं जहाँ उस व्यक्ति का अंतिम नाम "S" से शुरू होता है। सिस्टम ध्वन्यात्मक वर्तनी (नाम कैसे बोला जाता है) और सॉर्टिंग जैसी चतुर तकनीकों का उपयोग करके पहले समान रिकॉर्ड को एक साथ समूहबद्ध करता है। यह तुलनाओं की संख्या को कम कर देता है, जिससे प्रक्रिया बहुत तेज़ हो जाती है।

2. "सर्वाइवरशिप" स्कोर (कौन जीतेगा?)

एक बार जब सिस्टम रिकॉर्ड का एक समूह ढूंढ लेता है जो शायद एक ही व्यक्ति के हों, तो उसे यह तय करना होता है कि कौन सा रिकॉर्ड "सत्य" संस्करण है। इसे सर्वाइवरशिप स्कोरिंग कहा जाता है।

• पुराना तरीका: बस सबसे हालिया वाला चुनें, या जो सबसे अधिक बार दिखाई देता है।
• WOASS का तरीका: यह एक "कंपोजिट सिमिलैरिटी फंक्शन" का उपयोग करता है। इसे एक टैलेंट शो के जज के रूप में समझें जो कई मानदंडों के आधार पर रिकॉर्ड को स्कोर देता है:
  • हालियापन (Recency): क्या यह नवीनतम जानकारी है?
  • प्राधिकार (Authority): क्या यह जानकारी एक विश्वसनीय स्रोत (जैसे बैंक) से आई है या किसी संदिग्ध वेबसाइट से?
  • आवृत्ति (Frequency): यह जानकारी कितनी बार सामने आई है?
  • विश्वास (Confidence): सिस्टम कितना आश्वस्त है?

सिस्टम इन स्कोर को जोड़कर "विजेता" चुनता—ग्राहक रिकॉर्ड का वह एकल, सबसे अच्छा संस्करण जिसे रखा जाना चाहिए।

3. "कंडक्टर" (वर्कफ़्लो ऑर्केस्ट्रेशन)

पूरी प्रक्रिया को Apache Airflow द्वारा प्रबंधित किया जाता है, जो एक ट्रैफिक पुलिसकर्मी की तरह कार्य करता है। यह विशाल कार्य को छोटे टुकड़ों में विभाजित करता है और उन्हें एक ही समय में करने के लिए 20 अलग-अलग कंप्यूटर वर्कर्स को भेजता है (पैरेलल प्रोसेसिंग)। यह सुनिश्चित करता है कि सिस्टम अटक न जाए और बिना क्रैश हुए भारी मात्रा में डेटा को संभाल सके।

उन्होंने क्या पाया: गति और बुद्धिमत्ता

टीम ने अपने नए सिस्टम का परीक्षण एक वैश्विक कंपनी के 662,763 ग्राहक रिकॉर्ड के विशाल डेटासेट पर किया। उन्होंने WOASS की तुलना पुराने तरीकों जैसे सरल "एक्जैक्ट मैचिंग" (जो सख्त है लेकिन चीज़ों को मिस कर देता है) और "रैंडम फॉरेस्ट" (एक प्रकार का मशीन लर्निंग) से की।

यहाँ परिणाम दिए गए हैं, जो पेपर के अनुसार काफी आशाजनक हैं:

• सटीकता (Accuracy): नए सिस्टम ने 0.970 का F1 स्कोर प्राप्त किया। डेटा मिलान की दुनिया में, यह एक बहुत उच्च स्कोर है, जिसका अर्थ है कि यह गलतियाँ किए बिना सही मिलान खोजने में अत्यंत कुशल था। यह रैंडम फॉरेस्ट पद्धति से अधिक था, जिसका स्कोर 0.925 था।
• गति (Speed): सिस्टम अविश्वसनीय रूप से तेज़ था, जिसने सब-10-सेकंड लेटेंसी (विशेष रूप से 8.3 सेकंड) और नियर-इंस्टेंट रेजोल्यूशन हासिल किया। जबकि अन्य तरीकों को डेटा प्रोसेस करने में 14.7 सेकंड से 29.4 सेकंड तक का समय लगा, WOASS ने इसे केवल 8.3 सेकंड में कर दिया।
• स्केलेबिलिटी (Scalability): जब उन्होंने अधिक वर्कर्स (20 तक) के साथ सिस्टम का परीक्षण किया, तो गति काफी बढ़ गई। 20 वर्कर्स के साथ, सिस्टम एक-एक करके काम करने की तुलना में 13.56 गुना तेज़ था।
• गवर्नेंस (Governance): सिस्टम ने एक सटीक "ऑडिट ट्रेल" भी बनाए रखा। इसने प्रक्रिया के हर चरण को ट्रैक किया, जिससे 97% ऑडिट कवरेज प्राप्त हुआ। इसका मतलब है कि यदि किसी नियामक (रेगुलेटर) ने पूछा, "आपने यह कैसे तय किया कि यह रिकॉर्ड सही था?" तो सिस्टम सटीक रास्ता दिखा सकता था।

यह पेपर क्या नहीं कहता

यह ध्यान रखना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं कर रहा है। लेखक स्पष्ट रूप से कहते हैं कि उनका सिस्टम हर समस्या को तुरंत हल करने वाला कोई जादुई डंडा नहीं है।

• वे स्वीकार करते हैं कि हालांकि सिस्टम नियर-इंस्टेंट रेजोल्यूशन और सब-10-सेकंड लेटेंसी प्राप्त करता है, लेकिन यह वर्तमान में अपने मुख्य परिचालन चक्र के लिए नाइटली बैच प्रोसेसिंग पर निर्भर है। वे सुझाव देते हैं कि भविष्य के कार्यों में इसे पूरी तरह से रियल-टाइम बनाने के लिए Kafka जैसी स्ट्रीमिंग तकनीक को जोड़ा जा सकता है।
• वे नोट करते हैं कि हालांकि सिस्टम तेज़ है, फिर भी इसे "स्लॉट कंटेंशन" (जब बहुत सारे कार्य एक ही कंप्यूटर संसाधनों के लिए लड़ते हैं) जैसी चुनौतियों का सामना करना पड़ता है, जो कभी-कभी इसे थोड़ा धीमा कर सकता है।
• परिणाम 662,763 रिकॉर्ड के विशिष्ट परीक्षणों और 1.2 मिलियन रिकॉर्ड के सिंथेटिक परीक्षण पर आधारित हैं। पेपर सुझाव देता है कि ये परिणाम मजबूत हैं लेकिन यह संकेत देते हैं कि वे उनके द्वारा परीक्षण किए गए क्लाउड वातावरण (Google Cloud Platform) के लिए विशिष्ट हैं।

यह क्यों महत्वपूर्ण है

सरल शब्दों में, यह पेपर सुझाव देता है कि एक स्मार्ट "ग्रुपिंग" रणनीति, एक बहु-मानदंड स्कोरिंग प्रणाली और एक शक्तिशाली वर्कफ़्लो कंडक्टर को जोड़कर, कंपनियाँ अपने अव्यवस्थित डेटा को पहले की तुलना में बहुत तेज़ी से और अधिक सटीकता से साफ कर सकती हैं।

लेखकों ने पाया कि इस वर्कफ़्लो-ऑर्केस्ट्रेटेड एडेप्टिव सर्वाइवरशिप स्कोरिंग दृष्टिकोण का उपयोग करके, व्यवसाय डुप्लिकेट रिकॉर्ड खोजने के समय को लगभग 30 सेकंड से घटाकर 9 सेकंड से कम कर सकते हैं, साथ ही अपने डेटा की गुणवत्ता में भी सुधार कर सकते हैं। वे सुझाव देते हैं कि इससे बेहतर ग्राहक अनुभव, कम नियामक सिरदर्द और उनके ग्राहकों के बारे में एक स्पष्ट तस्वीर मिलती है।

हालांकि पेपर यह दावा नहीं करता है कि उसने डेटा प्रबंधन की पूरी समस्या को हमेशा के लिए हल कर दिया है, लेकिन यह एक मजबूत, परीक्षित पद्धति प्रस्तुत करता है जो यह बताती है कि हम आधुनिक व्यवसायों द्वारा प्रतिदिन संभाले जाने वाले विशाल, अस्त-व्यस्त डेटा को कैसे संभालते हैं, इसमें एक महत्वपूर्ण प्रगति हुई है।