तकनीकी सारांश: एक श्रेणीगत त्रुटि संवेदनशीलता सूचकांक (ISEC)

1. समस्या विवरण

लघु और मध्यम उद्यम (SMEs) अक्सर श्रेणीगत जानकारी (जैसे, SKU, आपूर्तिकर्ता नाम, घटना के प्रकार) के लिए मैनुअल डेटा प्रविष्टि (manual data entry) पर निर्भर रहते हैं क्योंकि उनके पास स्वचालित सत्यापन के लिए सीमित संसाधन होते हैं। यह निर्भरता एक संरचनात्मक भेद्यता पैदा करती है जिसे श्रेणीगत भंगुरता (categorical fragility) कहा जाता है। जब नाममात्र की श्रेणियाँ (nominal categories) अर्थ संबंधी या रूपात्मक निकटता (semantic or morphological proximity) प्रदर्शित करती हैं, तो मैनुअल प्रविष्टि त्रुटियां अपूरणीय विकृतियों (irrecoverable distortions) का कारण बन सकती हैं।

लुप्त डेटा या प्रारूप उल्लंघन के विपरीत, ये त्रुटियां इसलिए "अपूरणीय" हैं क्योंकि:

1. वे सिंटैक्टिक रूप से वैध श्रेणियाँ उत्पन्न करती हैं।
2. वे डेटाबेस बाधाओं (constraints) का उल्लंघन नहीं करती हैं।
3. वे एकत्रीकरण (aggregation) के दौरान अप्र偵ित रहती हैं।
4. मूल इच्छित लेबल को ex post (बाद में) पुनर्निर्मित नहीं किया जा सकता।

जब एक त्रुटिपूर्ण प्रविष्टि दो वैध श्रेणियों के बीच समान दूरी पर होती है (या गलत एक के करीब होती है) और एक छोटे स्टोकेस्टिक व्यवधान (typo) के कारण, तो वर्गीकरण निर्णय संभाव्यता संबंधी अनिश्चितता (probabilistically indeterminate) का शिकार हो जाता है। इससे निर्णय सहायता प्रणालियों (DSS) में संरचित गलत सूचना (structured misinformation) उत्पन्न होती है, जहाँ प्रमुख प्रदर्शन संकेतक (KPIs) आंतरिक रूप से सुसंगत होते हैं लेकिन अर्थ संबंधी रूप से विकृत होते हैं। वर्तमान समाधान विफल हो जाते हैं क्योंकि वे या तो रूपात्मक और अर्थ संबंधी आयामों का अलग-अलग मूल्यांकन करते हैं या भारी कम्प्यूटेशनल संसाधनों और SME-विशिष्ट शब्दावली एवं संक्षिप्त रूपों के अनुपयुक्त मानक शब्दकोशों पर निर्भर करते हैं।

2. कार्यप्रणाली: ISEC ढांचा

यह शोध पत्र श्रेणीगत त्रुटि संवेदनशीलता सूचकांक (ISEC) को प्रस्तुत करता है, जो एक ऑर्डिनल कंपोजिट स्कोर है जिसे श्रेणियों के जोड़ों को त्रुटियों के होने से पहले उनके संरचनात्मक भ्रम की संवेदनशीलता के आधार पर रैंक करने के लिए डिज़ाइन किया गया है। ISEC प्रतिगामी डेटा सफाई (reactive data cleaning) से निवारक जोखिम मॉडलिंग (preventive risk modeling) की ओर एक प्रतिमान परिवर्तन (paradigm shift) लाता है।

2.1 गणितीय सूत्र

दो भिन्न श्रेणियों $(c_i, c_j)$ के लिए, सूचकांक को इस प्रकार परिभाषित किया गया है:

$$ISEC(i,j) = \frac{1 + FMN(i,j)}{DSN(i,j)^\alpha \times CMP(i,j)^{1-\alpha}}$$

जहाँ:

• $FMN(i,j)$ (सामान्यीकृत माध्य आवृत्ति): दोनों श्रेणियों की औसत अनुभवजन्य आवृत्ति का बेस-10 लघुगणक (logarithm)। यह सूचकांक को परिचालन जोखिम (operational exposure) के आधार पर भारित करता है; उच्च-आवृत्ति वाले जोड़े अधिक जोखिम पैदा करते हैं यदि वे भ्रमित हो जाएं।
• $DSN(i,j)$ (सामान्यीकृत अर्थ संबंधी दूरी): वर्ड एम्बेडिंग के कोसाइन समानता (cosine similarity) से व्युत्पन्न ($1 - \text{CosineSimilarity}$), जिसे $[0, 1]$ रेंज तक सामान्यीकृत किया गया है। यह अर्थ संबंधी विषमता को मापता है।
• $CMP(i,j)$ (दंडित माध्य लागत): एक भारित डैमरौ-लेवेनश्टीन एल्गोरिदम (weighted Damerau–Levenshtein algorithm) पर आधारित रूपात्मक लागत मीट्रिक।
  • इसमें एक माध्य रूपांतरण लागत ($CM$) शामिल है: संपादन कार्यों (insertion, deletion, substitution, transposition) की औसत भारित लागत।
  • इसमें एक दंड लागत ($CP$) शामिल है: स्ट्रिंग की लंबाई के साथ रैखिक वृद्धि बनाए रखने के लिए सम्मिलन, विलोपन और प्रतिस्थापन (ट्रांसपोजीशन को छोड़कर) का एक रैखिक संचय।
  • $k$ पैरामीटर: एक ट्यून करने योग्य कारक ($k \ge 0$) जो संचयी संरचनात्मक विचलन के लिए दंड को बढ़ाता है।
• $\alpha$ पैरामीटर: अर्थ संबंधी बनाम रूपात्मक भार को संतुलित करने वाला एक ट्यूनिंग पैरामीटर ($0 \le \alpha \le 1$)। $\alpha \to 1$ अर्थ (लंबे विवरण) को प्राथमिकता देता है, जबकि $\alpha \to 0$ संरचना (छोटे कोड/SKU) को प्राथमिकता देता है।

2.2 अनुकूलन और शासन

ISEC यूनिटरी लागतों के बजाय चर-स्तरीय रूपांतरण लागत मैट्रिक्स (character-level transformation cost matrices) का उपयोग करता है। यह संगठनों को विशिष्ट त्रुटि प्रवृत्तियों को एनकोड करने की अनुमति देता है:

• कीबोर्ड निकटता: QWERTY पर आसन्न कुंजियों (जैसे, 'G' और 'T') के बीच प्रतिस्थापन को कम लागत दी जा सकती है।
• दृश्य भ्रम: भ्रमित करने वाले वर्णों (जैसे, '0' और 'O') को अलग तरह से भारित किया जा सकता है।
• शासन सतह (Governance Surface): लागत मैट्रिक्स और $k$ पैरामीटर को समायोजित करके, संगठन अपनी जोखिम सहनशीलता और मानव-मशीन संपर्क के बारे में धारणाओं को स्पष्ट रूप से परिभाषित करते हैं।

2.3 कम्प्यूटेशनल अनुकूलन

बड़े कैटलॉग के लिए $O(N^2)$ जटिलता को संबोधित करने के लिए, ISEC वेक्टर डेटाबेस (जैसे, HNSW एल्गोरिदम के साथ ChromaDB) का उपयोग करके एक हाइब्रिड सर्च रणनीति नियोजित करता है:

1. अर्थ संबंधी फ़िल्टरिंग (ब्रेडथ-फirst): एक श्रेणी के लिए टॉप-$K$ अर्थ संबंधी पड़ोसियों को $O(\log N)$ समय में प्राप्त करता है।
2. रूपात्मक गणना (ग्रीडी): केवल इन $K$ उम्मीदवारों के विरुद्ध पूर्ण $CMP$की गणना$O(K)$ समय में करता है।
   यह समग्र जटिलता को लगभग $O(\log N + K)$ तक कम कर देता है, जिससे स्केलेबल प्रोसेसिंग संभव होती है।

3. अनुभवजन्य सत्यापन

लेखकों ने तीन विषम डेटासेटों पर ISEC का सत्यापन किया:

1. न्यायिक प्रशासनिक रिकॉर्ड (अर्जेंटीना):
   • डेटा: 1.06 मिलियन रिकॉर्ड जिनमें प्रांतीय संक्षिप्त नाम (जैसे, "caba" बनाम "cba") शामिल हैं।
   • परिणाम: उन उच्च-जोखिम वाले जोड़ों की पहचान की जहाँ उच्च-आवृत्ति वाले संक्षिप्त नामों में एकल-वर्ण अंतर ने अपूरणीय भ्रम पैदा किया। प्रसंस्करण समय 34 सेकंड था।
2. रिटेल सुपरमार्केट इन्वेंटरी:
   • डेटा: 14 ऑन्टोलॉजिकल समूहों में 25,638 उत्पाद विवरण।
   • परिणाम: विभिन्न समूहों के बीच अर्थ संबंधी टकरावों का पता लगाया (जैसे, बेकरी बनाम स्वीट्स में "Bizcocho achiras") जिन्हें पारंपरिक अर्थ संबंधी मॉडल संरचनात्मक टोकन ओवरलैप के कारण मिस कर देते हैं। प्रसंस्करण समय अनुमानित 187 दिनों (ब्रूट-फोर्स) से घटकर 12 मिनट हो गया।
3. सिंथेटिक ISO-आधारित मेटलवर्किंग कैटलॉग:
   • डेटा: 1,000 वैध ISO कोड (ISO 1832) जिनमें कोई ऐतिहासिक आवृत्ति नहीं है (FMN को 1 सेट किया गया है)।
   • परिणाम: उन "शांत" कमजोरियों की पुष्टि की जहाँ मामूली टाइपोग्राफिकल शोर ने वैध लेकिन गलत कोड उत्पन्न किए (जैसे, 'AAGX' बनाम 'AGAX' जैसे कोड में ट्रांसपोजीशन)।

4. मुख्य योगदान

• पूर्व-घटना संरचनात्मक जोखिम मॉडलिंग (Ex-Ante Structural Risk Modeling): ISEC श्रेणीगत भंगुरता को टैक्सोनॉमी के एक मापने योग्य ज्यामितीय गुण के रूप में मानता है, जो त्रुटियों के होने से स्वतंत्र है।
• ऑर्डिनल संवेदनशीलता रैंकिंग: पूर्ण त्रुटि संभावनाओं की भविष्यवाणी करने के बजाय (जिसके लिए अवास्तविक व्यवहार संबंधी धारणाओं की आवश्यकता होती है), ISEC प्राथमिकता के लिए भेद्यता की एक मजबूत ऑर्डिनल रैंकिंग प्रदान करता है।
• एकीकृत आयामी एकीकरण: यह रूपात्मक दूरी (टाइपोग्राफिकल प्रयास) और अर्थ संबंधी दूरी (अर्थ) के बीच के अंतर को पाटता है, जिन्हें अक्सर अलग-अलग माना जाता है।
• कॉन्फ़िगरेबल गवर्नेंस: ढांचा संगठनों को लागत मैट्रिक्स और $k$ पैरामीटर के माध्यम से अनुभवजन्य त्रुटि प्रवृत्तियों और जोखिम प्राथमिकताओं को सीधे एनकोड करने की अनुमति देता है।
• तकनीकी संप्रभुता: समाधान ओपन-सोर्स स्टैक पर बना है, जो इसे बिना किसी प्रोप्रायटरी सॉफ्टवेयर या विशाल प्रशिक्षण कॉर्पा के SMEs के लिए सुलभ बनाता है।

5. महत्व और दावे

शोध पत्र तर्क देता है कि सूचना सुदृढ़ता (information robustness) (एक श्रेणीगत प्रणाली की क्षमता कि वह बाउंडेड स्टोकेस्टिक व्यवधान के तहत अर्थ संबंधी पृथकता को बनाए रखे) डेटा गुणवत्ता का एक विशिष्ट आयाम है जो रिकॉर्ड-स्तरीय सटीकता से पहले आता है।

• निवारक बनाम प्रतिगामी: ISEC त्रुटियों के होने से पहले ही विलुप्त संरचनात्मक जोखिमों का पता लगाने में सक्षम है, जिससे "संरचित गलत सूचना" को रोका जा सकता है जहाँ डैशबोर्ड सुसंगत दिखाई देते हैं लेकिन अर्थ संबंधी रूप से विकृत होते हैं।
• निर्णय-सैद्धांतिक डिज़ाइन: नाजुक टैक्सोनॉमिक कॉन्फ़िगरेशन की पहचान करके, ISEC यूजर इंटरफेस (UI) के पुनर्गठन, श्रेणियों के समेकन और लक्षित सत्यापन नियमों के कार्यान्वयन का समर्थन करता है।
• स्केलेबिलिटी: हाइब्रिड सर्च आर्किटेक्चर बड़े, विषम डेटासेट के लिए विश्लेषण को सीमित कम्प्यूटेशनल संसाधनों वाले संगठनों के लिए व्यवहार्य बनाता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि ISEC वर्तमान में मैन्युअल रूप से परिभाषित लागत मैट्रिक्स पर निर्भर है, यह डेटा गवर्नेंस के लिए एक स्केलेबल, सक्रिय उपकरण प्रदान करता है जो श्रेणीगत भंगुरता को एक परिचालन परेशानी से प्रबंधनीय संरचनात्मक जोखिम में बदल देता है। भविष्य के कार्य में हिडन मार्कोव मॉडल (Hidden Markov Models) के माध्यम से लागत मैट्रिक्स सीखना और ISEC को ओपन-सोर्स डेटा गवर्नेंस प्लेटफॉर्म में एकीकृत करना शामिल है।