📊 statistics

Statistical Embeddings for Similarity, Retrieval, and Interpretable Alignment of Numeric Tabular Datasets

यह शोध पत्र एक ऐसे ढांचे का प्रस्ताव करता है जो साझा चर परिभाषाओं (shared variable definitions) की आवश्यकता के बिना व्याख्या योग्य क्रॉस-डेटासेट समानता पुनर्प्राप्ति, संरेखण और गोपनीयता-संरक्षित एकीकरण को सक्षम करने के लिए सेंटेंस ट्रांसफॉर्मर्स और पेनलाइज्ड कैनोनिकल कोरिलेशन एनालिसिस का उपयोग करके संख्यात्मक सारणीबद्ध डेटासेट के संरचित सांख्यिकीय डिस्क्रिप्टर्स को एक साझा वेक्टर स्पेस में एम्बेड करता है।

मूल लेखक: M. Ross Kunz, John Merickel, Keith Wilson

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: M. Ross Kunz, John Merickel, Keith Wilson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में एक लाइब्रेरियन हैं। लेकिन किताबों के बजाय, यह पुस्तकालय दुनिया भर के हजारों अलग-अलग स्प्रेडशीट्स (संख्याओं की तालिकाओं) से भरा हुआ है। कुछ स्प्रेडशीट्स वाइन की गुणवत्ता को ट्रैक करती हैं, कुछ स्टील की मजबूती को, और कुछ न्यूक्लियर ग्रेफाइट को।

समस्या क्या है? ये स्प्रेडशीट्स अलग-अलग "भाषाएं" बोलती हैं। कोई एक "अल्कोहल कंटेंट" को प्रतिशत में लिख सकता है, तो दूसरा "शुगर" को ग्राम में। उनके कॉलम के नाम, आकार और इकाइयाँ (units) अलग-अलग हैं। यदि आप एक मानक कंप्यूटर से पूछते हैं, "मुझे इस वाइन वाले स्प्रेडशीट जैसा एक स्प्रेडशीट ढूंढ कर दो," तो कंप्यूटर भ्रमित हो जाता है क्योंकि वह कॉलम के नामों को मिला नहीं पाता। यह किसी किताब को उसके शीर्षक से खोजने जैसा है जो दूसरी किताबों में मौजूद ही नहीं है।

यह शोध पत्र इस पुस्तकालय को व्यवस्थित करने का एक चतुर नया तरीका प्रस्तावित करता है ताकि एक कंप्यूटर (विशेष रूप से, एक लार्ज लैंग्वेज मॉडल, या AI) समान स्प्रेडशीट्स को समझ सके और ढूंढ सके, भले ही वे सतह पर पूरी तरह से अलग क्यों न दिखें।

उन्होंने इसे सरल चरणों में इस प्रकार किया है:

1. कच्चे डेटा के बजाय "फिंगरप्रिंट" (Fingerprint)

AI को कच्चा डेटा (raw data) खिलाने के बजाय (जो अव्यवस्थित और तुलना करने में कठिन है), लेखक पहले प्रत्येक स्प्रेडशीट का एक "फिंगरप्रिंट" लेते हैं।

उपमा (Analogy): कल्पना कीजिए कि आपके पास कंचों (marbles) की एक थैली है। AI को थैली दिखाने के बजाय, आप उस थैली का वर्णन करने वाली एक छोटी कहानी लिखते हैं: "इसमें 150 कंचे हैं। अधिकांश लाल हैं। औसत आकार 2 इंच है। कोई बहुत बड़े कंचे नहीं हैं, लेकिन कुछ बहुत छोटे हैं।"
विधि: कंप्यूटर संख्याओं पर एक मानक सांख्यिकीय जांच (जिसे एक्सप्लोरेटरी डेटा एनालिसिस कहा जाता है) चलाता है। यह पंक्तियों (rows) को गिनता है, औसत निकालता है, पैटर्न की जांच करता है, और देखता है कि संख्याएँ कैसे फैली हुई हैं। यह इन गणितीय तथ्यों को प्राकृतिक भाषा के वाक्यों की एक सूची में बदल देता है।

2. गणित को कहानियों में बदलना

एक बार जब कंप्यूटर के पास ये विवरण आ जाते हैं, तो वह इन्हें वाक्यों में बदल देता है।

उपमा: यह एक गुप्त कोड को अंग्रेजी में अनुवाद करने जैसा है।
- गणित: "Kurtosis = 2.4."
- वाक्य: "वितरण (distribution) हल्का और सपाट है, एक सामान्य वक्र (normal curve) की तरह लेकिन उससे अधिक सपाट।"
जादू: क्योंकि ये अब वाक्य हैं, इसलिए AI (जो भाषा समझने में बहुत कुशल है) इन्हें पढ़ सकता है। AI इन प्रत्येक वाक्य को एक "वेक्टर" (स्थान में एक गणितीय बिंदु) में बदल देता है। इसे एक मानचित्र पर एक बिंदु रखने के रूप में सोचें। यदि दो स्प्रेडशीट्स की "कहानियां" (समान सांख्यिकी) समान हैं, तो उनके बिंदु मानचित्र पर एक-दूसरे के करीब होंगे, भले ही एक वाइन के बारे में हो और दूसरा स्टील के बारे में।

3. मिलान खोजना (समानता परीक्षण)

अब जब हर स्प्रेडशीट का एक बिंदु मानचित्र पर है, तो हमें कैसे पता चलेगा कि कौन सी वास्तव में समान हैं?

उपमा: कल्पना कीजिए कि एक कमरे में लोगों के दो समूह खड़े हैं। आप चाहते हैं कि समूह A और समूह B संबंधित हैं या नहीं। केवल एक व्यक्ति को देखने के बजाय, आप पूरे समूह के हाव-भाव और गति को एक साथ देखते हैं।
विधि: लेखक कैनोनिकल कोरिलेशन एनालिसिस (CCA) नामक तकनीक का उपयोग करते हैं। यह एक परिष्कृत तरीका है यह पूछने का कि: "क्या समूह A के बिंदु समूह B के बिंदुओं के पैटर्न के साथ मेल खाते हैं?" यदि वे मेल खाते हैं, तो स्प्रेडशीट्स समान हैं।

4. व्याख्यात्मकता (Interpretability) के लिए "एक्स-रे"

आमतौर पर, जब AI कहता है कि "ये दो समान हैं," तो यह एक 'ब्लैक बॉक्स' होता है—आपको पता नहीं होता कि ऐसा क्यों है। यह शोध पत्र एक विशेष विशेषता जोड़ता है: पेनलाइज्ड CCA (Penalized CCA)।

उपमा: यह एक एक्स-रे की तरह है जो ठीक से उजागर करता है कि कौन सी हड्डियाँ मिल रही हैं। यह केवल यह कहने के बजाय कि "ये दो लोग एक जैसे दिखते हैं," यह कहता है कि "वे इसलिए एक जैसे दिखते हैं क्योंकि दोनों की ऊंचाई और आंखों का रंग समान है, लेकिन बाल अलग हैं।"
परिणाम: सिस्टम आपको ठीक-ठीक बता सकता है कि किन सांख्यिकीय तथ्यों ने मिलान कराया। उदाहरण के लिए, यह कह सकता है, "ये दो स्टील के डेटासेट इसलिए समान हैं क्योंकि दोनों में उच्च 'थकान शक्ति' (fatigue strength) और 'मैंगनीज सामग्री' है, भले ही एक डेटासेट ने इसे 'Mn%' कहा हो और दूसरे ने 'मैंगनीज वेट' कहा हो।"

5. गोपनीयता सुरक्षा (Privacy Protection)

लेखकों ने यह भी दिखाया कि आप गणितीय तथ्यों को वाक्यों में बदलने से पहले उनमें थोड़ा सा "स्टैटिक" या शोर (noise) जोड़ सकते हैं।

उपमा: यह एक भेष बदलने जैसा है। आप अभी भी व्यक्ति के सामान्य आकार और चाल को पहचान सकते हैं, लेकिन आप उसके चेहरे के विशिष्ट विवरण नहीं देख सकते।
लाभ: यह सिस्टम को वास्तविक कच्चे नंबरों को देखे बिना संवेदनशील डेटा (जैसे परमाणु संयंत्र का डेटा) की तुलना करने की अनुमति देता है, जिससे गोपनीयता बनी रहती है और मिलान भी मिल जाता है।

उन्होंने क्या पाया?

उन्होंने इसका परीक्षण 15 अलग-अलग डेटासेट्स पर किया, जो सामान्य बेंचमार्क से लेकर बहुत विशिष्ट परमाणु और सामग्री विज्ञान (materials science) डेटा तक फैले हुए थे।

स्कोर: जब उन्होंने सिस्टम से किसी दिए गए स्प्रेडशीट के लिए "निकटतम पड़ोसी" (सबसे समान डेटासेट) को खोजने के लिए कहा, तो वह 90% बार सही था।
मजबूती (Robustness): यहाँ तक कि जब उन्होंने गोपनीयता शोर जोड़ा या कुछ विवरण हटा दिए, तब भी सिस्टम सही मिलान खोजने में सफल रहा।
वास्तविक दुनिया का प्रमाण: इसने सफलतापूर्वक "रेड वाइन" के डेटासेट को "व्हाइट वाइन" से मिलाया (भले ही वे अलग तालिकाएं थीं), और स्टील की मजबूती को मापने के विभिन्न तरीकों को सफलतापूर्वक मिलाया, जिससे सिद्ध हुआ कि यह केवल लेबल को नहीं, बल्कि डेटा की अवधारणा (concept) को समझता है।

सारांश

यह शोध पत्र हमें दुनिया के संख्यात्मक डेटा को व्यवस्थित करने का एक नया तरीका देता है। गणित को कहानियों में बदलकर, यह AI को यह समझने में मदद करता है कि "स्टील" के बारे में एक स्प्रेडशीट और "अलॉय" (alloys) के बारे में एक स्प्रेडशीट आपस में संबंधित हैं, भले ही वे अलग-अलग शब्दों का उपयोग करते हों। यह वैज्ञानिकों को उनके काम की तुलना करने के लिए सही डेटा खोजने में मदद करता है, और यह सब एक ऐसे तरीके से करता है जो निजी है और यह भी बताता है कि मिलान क्यों किए गए।

तकनीकी सारांश: संख्यात्मक सारणीबद्ध डेटासेट के लिए सांख्यिकीय एम्बेडिंग (Statistical Embeddings), समानता, पुनर्प्राप्ति और व्याख्यात्मक संरेखण

समस्या विवरण
वैज्ञानिक अभ्यास में संख्यात्मक सारणीबद्ध (numeric tabular) डेटासेट प्रमुख डेटा प्रारूप हैं, फिर भी विषम विशेषता स्थानों (heterogeneous feature spaces) के बीच उन्हें व्यवस्थित करना और उनकी तुलना करना एक महत्वपूर्ण चुनौती बनी हुई है। मौजूदा डेटासेट खोज उपकरण आमतौर पर स्कीमा मिलान (साझा चर नाम) पर निर्भर करते हैं या ऐसे मानव-पठनीय सारांश उत्पन्न करते हैं जिनमें आधुनिक पुनर्प्राप्ति प्रणालियों के लिए आवश्यक वेक्टर प्रतिनिधित्व का अभाव होता है। लार्ज लैंग्वेज मॉडल्स (LLMs) और उनके एम्बेडिंग स्पेस साझा चर परिभाषाओं के बिना अर्थपूर्ण रूप से संख्यात्मक डेटासेट का प्रतिनिधित्व करने के लिए एक मार्ग प्रदान करते हैं, लेकिन उनमें स्वाभाविक तंत्र की कमी है। वर्तमान दृष्टिकोण या तो एकल डेटासेट के भीतर भविष्य कहनेवाला मॉडलिंग (predictive modeling) पर ध्यान केंद्रित करते हैं या विलगित (disjoint) विशेषता स्थानों वाले डेटासेट के बीच व्याख्यात्मक संरेखण प्रदान करने में विफल रहते हैं।

कार्यप्रणाली
प्रस्तावित ढांचा तीन-चरणीय पाइपलाइन के माध्यम से इन सीमाओं को संबोधित करता है: सांख्यिकीय फिंगरप्रिंटिंग (Statistical Fingerprinting), सिमेंटिक एम्बेडिंग (Semantic Embedding), और व्याख्यात्मक संरेखण (Interpretable Alignment)।

EDA के माध्यम से सांख्यिकीय फिंगरप्रिंटिंग:
कार्यप्रणाली एक संरचित एक्सप्लोरेटरी डेटा एनालिसिस (EDA) पाइपलाइन के माध्यम से एक संख्यात्मक सारणीबद्ध डेटासेट $D$ को लक्षणित करने के साथ शुरू होती है। यह प्रक्रिया तुलना के समय कच्चे अवलोकनों (raw observations) तक पहुंच की आवश्यकता के बिना एक व्यापक विवरण सेट उत्पन्न करती है, जो गोपनीयता-संरक्षित पुनर्प्राप्ति का समर्थन करती है।

पूर्व-प्रसंस्करण (Preprocessing): रैंक संरचना को बनाए रखने के लिए सिंगुलर वैल्यू डिकंपोजिशन (SVD) पर सॉफ्ट-थ्रेशोल्डिंग का उपयोग करके लुप्त मानों (missing values) को भरा जाता है।
डिफरेंशियल प्राइवेसी (वैकल्पिक): संवेदनशील डेटा की सुरक्षा के लिए, सीरियलाइजेशन से पहले उनके वैश्विक संवेदनशीलता (global sensitivity) के आधार पर लैप्लेस नॉइज़ (Laplace noise) जोड़ा जाता है।
डिस्क्रिप्टर गणना: पाइपलाइन निम्नलिखित की गणना करती है:
- बहुभिन्नरूपी डिस्क्रिप्टर (Multivariate descriptors): मैट्रिक्स नॉर्म्स, स्पेक्ट्रल क्वांटिटीज (सिंगुलर वैल्यूज), और SCAD (स्मूथली क्लिप्ड एब्सोल्यूट डेविएशन) दंडित प्रतिगमन (penalized regression) के माध्यम से चर महत्व।
- एकलचर डिस्क्रिप्टर (Univariate descriptors): बाउंड्स, सेंट्रल मोमेंट्स, क्वांटाइल्स, एंट्रॉपी, और रोबस्ट सांख्यिकी (मीडियन, MAD)।
- संरचनात्मक विश्लेषण: गैर-स्थिरता (non-stationarity) की पहचान करने के लिए चेंज पॉइंट डिटेक्शन (PELটি के माध्यम से) और FFT के माध्यम से फ्रीक्वेंसी विश्लेषण।
- श्रेणीगत हैंडलिंग (Categorical handling): श्रेणीगत कॉलमों के लिए फ्रीक्वेंसी डिस्ट्रीब्यूशन और पार्टीशन-लेवल विश्लेषण।
सीरियलाइजेशन (Serialization): प्रत्येक संख्यात्मक डिस्क्रिप्टर को एक प्राकृतिक भाषा वाक्य टेम्पलेट के साथ जोड़ा जाता है (जैसे, "Kurtosis 2.4103 है; वितरण प्लैटिकर्टिक है...")। संदर्भ प्रदान करने के लिए वेरिएबल नामों या "मैट्रिक्स" टोकन को पूर्व में जोड़ा जाता है, जिसके परिणामस्वरूप वाक्यों का एक क्रमबद्ध संग्रह $S$ प्राप्त होता है।

सिमेंटिक एम्बेडिंग (Semantic Embedding):
डिस्क्रिप्टर वाक्यों के संग्रह $S$ को एक प्री-ट्रेंड सेंटेंस ट्रांसफॉर्मर (विशेष रूप से all-MiniLM-L6-v2) का उपयोग करके एक निश्चित-लंबाई वाले वेक्टर स्पेस में एनकोड किया जाता है। एक डेटासेट $D_i$ के लिए, यह एक एम्बेडिंग मैट्रिक्स $V_i \in \mathbb{R}^{d_E \times M_i}$ उत्पन्न करता है, जहाँ $M_i$ डिस्क्रिप्टर वाक्यों की संख्या है। यह डेटासेट को LLM सिमेंटिक स्पेस के अनुकूल वेक्टर्स के सेट में बदल देता है।
CCA के माध्यम से समानता और व्याख्यात्मकता:
दो डेटासेट्स के बीच क्रॉस-डेटासेट समानता को उनके एम्बेडिंग मैट्रिसेस के बीच कैनोनिकल कोरिलेशन एनालिसिस (CCA) का उपयोग करके मापा जाता है।

समानता मीट्रिक: समानता स्कोर $s_{ij}$ दो एम्बेडिंग स्पेस के बीच कैनोनिकल कोरिलेशन के माध्य के रूप में परिभाषित किया गया है।
पुनर्प्राप्ति और क्लस्टरिंग: पदानुक्रमित क्लस्टरिंग (Ward $D^2$ लिंकेज) के लिए दूरी मैट्रिक्स (डिस्टेंस मैट्रिक्स) बनाने के लिए युग्मवार दूरियां ( $1 - s_{ij}$ ) का उपयोग किया जाता है।
व्याख्यात्मक संरेखण: यह पहचानने के लिए कि कौन से विशिष्ट डिस्क्रिप्टर समानता को संचालित करते हैं, एक दंडित (penalized) CCA फॉर्मूलेशन का उपयोग किया जाता है। कैनोनिकल वेट वेक्टर्स पर $\ell_1$ नॉर्म पेनल्टी लगाकर, यह विधि स्पार्स (sparse) समाधान प्रदान करती है। गैर-शून्य प्रविष्टियाँ सीधे विशिष्ट डिस्क्रिप्टर वाक्यों और वेरिएबल-स्तरीय मात्राओं से जुड़ जाती हैं, जो साझा वेरिएबल नामों की आवश्यकता के बिना, उन सांख्यिकीय गुणों को प्रकट करती हैं जो क्रॉस-डेटासेट संरेखण को संचालित करते हैं।

प्रमुख योगदान

संरचित EDA पाइपलाइन: डिफेंशियल प्राइवेसी एकीकरण के साथ, वाक्य-सीरियलाइज्ड सांख्यिकीय डिस्क्रिप्टर के माध्यम से कच्चे सारणीबद्ध डेटा से एम्बेडिंग वेक्टर्स के एक संग्रह में एक औपचारिक मानचित्रण।
क्रॉस-डेटासेट समानता ढांचा: एक पुनर्प्राप्ति प्रणाली जो विषम और विलगित विशेषता स्थानों वाले डेटासेट्स के बीच प्रभावी ढंग से कार्य करती है।
व्याख्यात्मक दंडित CCA (Interpretable Penalized CCA): दंडित मैट्रिक्स अपघटन (decomposition) का CCA में एक नवीन अनुप्रयोग, जो स्पार्स कैनोनिकल लोडिंग्स उत्पन्न करता है जो साझा वेरिएबल नामों के बिना भी संरेखण को संचालित करने वाले विशिष्ट सांख्यिकीय डिस्क्रिप्टर्स की पहचान करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): सामान्य-उद्देश्य बेंचमार्क (UCI), मैटेरियल्स इन्फॉर्मेटिक्स, और न्यूक्लियर-ग्रेड ग्रेफाइट कैरेक्टराइजेशन को कवर करने वाले 15 डेटासेट्स पर मूल्यांकन।

परिणाम
इस ढांचे का मूल्यांकन 15 डेटासेट्स पर किया गया जिनमें विविध डोमेन और विशेषता स्थान थे।

पुनर्प्राप्ति सटीकता: सिस्टम ने निकटतम-पड़ोसी पुनर्प्राप्ति के लिए कुल $P@1$ (प्रिसिजन एट 1) स्कोर 0.9 प्राप्त किया। यह उच्च सटीकता विभिन्न एम्बेडिंग स्थितियों में बनी रही, जिसमें मल्टीवेरिएट-ओनली एब्लेशन और प्राइवेसी बजट $\epsilon \in \{0.1, 1, 10\}$ के साथ डिफरेंशियल प्राइवेट एम्बेडिंग्स शामिल हैं।
मजबूती (Robustness): पदानुक्रमित क्लस्टरिंग परिणामों ने प्रदर्शित किया कि उच्च शोर इंजेक्शन (noise injection) या जब यूनिवेरिएट विवरण हटा दिए गए हों, तब भी व्यापक क्लस्टर संरचना मजबूत बनी रही, हालांकि वेरिएबल नाम और सांख्यिकीय मूल्यों ने क्लस्टर रिज़ॉल्यूशन में सुधार किया।
व्याख्यात्मकता: दंडित CCA ने भौतिक रूप से सार्थक पत्राचार को सफलतापूर्वक पुनः प्राप्त किया। उदाहरण के लिए, इसने अलग-अलग इकाइयों (परमाणु बनाम भार प्रतिशत) वाले डेटासेट्स के बीच अलॉयिंग तत्वों को संरेखित किया और स्वतंत्र स्टील डेटासेट्स के बीच मैकेनिकल स्ट्रेंथ उपायों (जैसे थकान शक्ति बनाम यील्ड स्ट्रेंथ) को मिलाया, बावजूद इसके कि साझा वेरिएबल नाम मौजूद नहीं थे।

महत्व
यह शोध पत्र तर्क देता है कि यह ढांचा सांख्यिकीय संदर्भ को संरक्षित करते हुए विषम संख्यात्मक डेटा को रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) पाइपलाइनों में एकीकृत करने के लिए एक सिद्धांतपूर्ण मार्ग प्रदान करता है। सांख्यिकीय रूप से सुदृढ़, सिमेंटिक रूप से व्याख्यात्मक एम्बेडिंग में बदलकर, यह पद्धति सक्षम बनाती है:

डेटा-संचालित एल्गोरिदम चयन: अज्ञात डेटासेट्स के लिए ज्ञात परिणामों वाले कैटलॉग किए गए डेटासेट्स के साथ उनकी सांख्यिकीय समानता के आधार पर उम्मीदवार मॉडलिंग दृष्टिकोणों की पहचान करना (जो मेटा-लर्निंग और ऑटोएमएल से जुड़ा है)।
सिमुलेशन इनिशियलाइजेशन: अनुभवजन्य अंशांकन (empirical calibration) डेटा के सांख्यिकीय गुणों के आधार पर कंस्ट्रिट्यूटिव मॉडल या सिमुलेशन पैरामीटर्स के चयन को सूचित करना।
गोपनीयता-संरक्षित खोज: कच्चे अवलोकनों को उजागर किए बिना संवेदनशील डेटा पर समानता तुलना को सक्षम बनाना, क्योंकि तुलना केवल डिफरेंशियल प्राइवेट सांख्यिकीय डिस्क्रिप्टर्स पर आधारित है।

लेखक निष्कर्ष निकालते हैं कि EDA-व्युत्पन्न सांख्यिकीय फिंगरप्रिंट्स LLM-अनुकूल स्पेस के भीतर विषम संख्यात्मक डेटा को व्यवस्थित करने के लिए एक संक्षिप्त, सिमेंटिक रूप से व्याख्यात्मक आधार प्रदान करते हैं, जो वैज्ञानिक डेटा प्रबंधन में एक महत्वपूर्ण अंतर को संबोधित करते हैं जहाँ वेरिएबल परिभाषाएं और स्कीमा अक्सर असंगत होते हैं।