📊 statistics

BSTabDiff: Block-Subunit Diffusion Priors for High-Dimensional Tabular Data Generation

यह शोधपत्र BSTabDiff प्रस्तुत करता है, जो एक ब्लॉक-सबयूनिट जनरेटिव फ्रेमवर्क है जो उच्च-आयामी, कम-नमूना-आकार (HDLSS) सारणीबद्ध विशेषताओं को लेटेंट ब्लॉक्स में विभाजित करता है ताकि एक संक्षिप्त स्थान में वैश्विक निर्भरताओं को सीखा जा सके और कोपूला-संचालित तंत्रों के माध्यम से डिकोड किया जा सके, जिससे स्थिर और यथार्थवादी सिंथेटिक डेटा जनरेशन प्राप्त होता है जो HDLSS परिदृश्यों में मौजूदा अनस्ट्रक्चर्ड विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Al Zadid Sultan Bin Habib, Md Younus Ahamed, Prashnna Gyawali, Gianfranco Doretto, Donald A. Adjeroh

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Al Zadid Sultan Bin Habib, Md Younus Ahamed, Prashnna Gyawali, Gianfranco Doretto, Donald A. Adjeroh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मेडिकल रिकॉर्ड्स के एक विशाल पुस्तकालय को समझना सिखाने की कोशिश कर रहे हैं, लेकिन इसमें एक पेंच है: इस पुस्तकालय में डेटा के हजारों अलग-अलग कॉलम (जैसे जीन काउंट, प्रोटीन स्तर और रासायनिक मार्कर) हैं, लेकिन इसमें मरीजों के केवल कुछ ही रिकॉर्ड मौजूद हैं। डेटा साइंस की दुनिया में, इसे High-Dimensional Low-Sample Size (HDLSS) कहा जाता है। यह एक जटिल बोर्ड गेम के नियमों का अनुमान लगाने जैसा है, जिसमें केवल तीन चालों को देखकर, जबकि गेम बोर्ड पर 20,000 वर्ग (squares) हैं।

अधिकांश AI उपकरण हर एक वर्ग को एक साथ घूरकर नियम सीखने की कोशिश करते हैं। लेकिन जब आपके पास 20,000 वर्ग हों और केवल कुछ ही चालें हों, तो AI भ्रमित हो जाता है, अभिभूत हो जाता है, और ऐसे नकली नियम बनाने लगता है जो वास्तव में अस्तित्व में ही नहीं हैं। यह केवल तीन टुकड़ों के साथ एक विशाल जिग्सॉ पजल (jigsaw puzzle) को हल करने जैसा है; आप तस्वीर देख ही नहीं सकते, इसलिए आप बस अनुमान लगाने लगते हैं।

BSTabDiff से मिलिए, जो एक नए तरीके के रूप में एक चतुर लाइब्रेरियन की तरह काम करता है जिसे एक गुप्त ट्रिक पता है। डेटा के हर एक कॉलम को याद करने के बजाय, BSTabdiff यह समझता है कि ये विशाल डेटासेट रैंडम (random) नहीं होते। वे फीचर्स के समूहों (या ब्लॉक्स) में व्यवस्थित होते जो एक साथ चलते हैं, जैसे कि एक कोरस (choir) सामंजस्य में गा रहा हो।

"ब्लॉक-सबयूनिट" ट्रिक (The "Block-Subunit" Trick)

डेटा को 20,000 व्यक्तिगत गायकों के रूप में देखने के बजाय, इसे 100 छोटे कोरस के रूप में सोचें।

समूह (The Groups): BSTabdiff पहले हजारों फीचर्स को इन छोटे, प्रबंधनीय समूहों में वर्गीकृत करता है।
कंडक्टर (The Conductor): AI को हर गायक को समझने के बजाय, यह AI को प्रत्येक कोरस के कंडक्टर को समझना सिखाता है। एक "सबयूनिट" वेरिएबल (कंडक्टर) होता है जो पूरे समूह के मूड और वॉल्यूम को नियंत्रित करता है।
जादू (The Magic): केवल कंडक्टरों (जो कि बहुत कम हैं) को सीखकर, AI पूरे कोरस के लिए नया, वास्तविक दिखने वाला डेटा आसानी से बना सकता है। 20,000 व्यक्तिगत गायकों के व्यवहार को सीखने के बजाय 100 कंडक्टरों को सीखना बहुत आसान है।

यह क्यों महत्वपूर्ण है

पेपर सुझाव देता है कि यह दृष्टिकोण सिंथेटिक डेटा बनाने के लिए एक गेम-चेंजर है—ऐसा नकली डेटा जो बिल्कुल असली चीज़ जैसा दिखता है और वैसा ही व्यवहार करता है। यह तब बहुत उपयोगी होता है जब असली डेटा मिलना कठिन हो, बहुत महंगा हो, या साझा करने के लिए बहुत निजी हो।

शोधकर्ताओं ने कोलोन कैंसर डेटा (62 सैंपल, 2,000 फीचर्स) और लंग कैंसर डेटा (203 सैंपल, 3,312 फीचर्स) सहित आठ वास्तविक दुनिया के डेटासेट्स पर BSTabdiff का परीक्षण किया। उन्होंने इसकी तुलना GANs, VAEs और अन्य डिफ्यूजन मॉडल्स जैसे अन्य लोकप्रिय AI टूल्स के विरुद्ध की।

परिणाम:

बेहतर प्रदर्शन: इन परीक्षणों में, BSTabdiff ने लगातार ऐसा सिंथेटिक डेटा तैयार किया जिसने अन्य AI मॉडल्स को बेहतर प्रदर्शन करने में मदद की। उदाहरण के लिए, लंग कैंसर डेटासेट पर, BSTabdiff के नकली डेटा पर प्रशिक्षित एक क्लासिफायर ने 95.96% सटीकता प्राप्त की, जो लगभग असली डेटा (96.54%) पर प्रशिक्षित होने के बराबर है।
गति और आकार: लगभग 20,000 फीचर्स वाले डेटासेट्स के साथ भी, यह मॉडल अविश्वसनीय रूप से तेज़ और हल्का था। एक शक्तिशाली कंप्यूटर पर इसे प्रशिक्षित करने में केवल लगभग 63 सेकंड लगे और इसने 0.05 GiB से भी कम GPU मेमोरी का उपयोग किया। यह एक सिंगल हाई-रिज़ॉल्यूशन फोटो से भी कम है!
यथार्थवाद (Realism): नकली डेटा ने केवल असली डेटा की नकल नहीं की; इसने वेरिएबल्स के बीच जटिल संबंधों को भी पकड़ा। लेखकों ने इसे "मशीन लर्निंग एफिशिएंसी" का उपयोग करके मापा, और BSTabdiff ने अन्य तरीकों को हर क्षेत्र में पछाड़ दिया।

यह क्या नहीं है

यह ध्यान रखना महत्वपूर्ण है कि यह पेपर क्या नहीं कहता। लेखक स्पष्ट रूप से मानक "सीक्वेंस-स्टाइल" जनरेटर्स (जैसे कि टेक्स्ट के लिए उपयोग किए जाने वाले लार्ज लैंग्वेज मॉडल्स) के उपयोग के विरुद्ध तर्क देते हैं। वे समझाते हैं कि हजारों कॉलम होने पर हर कॉलम को एक वाक्य के शब्दों की तरह मानना बहुत अधिक कम्प्यूटेशनल रूप से भारी और अव्यवस्थित हो जाता है। BSTabdiff हर फीचर को एक स्वतंत्र टोकन के रूप में मानने के विचार को खारिज करता है; इसके बजाय, यह उन्हें पहले ग्रुप करने पर जोर देता है।

निचोड़ (The Bottom Line)

पेपर सुझाव देता है कि डेटा को ब्लॉक्स में व्यवस्थित करके और उन ब्लॉक्स के "कंडक्टर्स" को सीखकर, हम बहुत कम सैंपल्स होने पर भी उच्च-गुणवत्ता वाला, वास्तविक दिखने वाला सिंथेटिक डेटा बना सकते हैं। यह "बहुत अधिक कॉलम, बहुत कम रो (rows)" की समस्या को हल करने का एक स्थिर, कुशल तरीका है। हालांकि परिणाम आशाजनक हैं और विधि विभिन्न परीक्षणों में मजबूत है, लेखक इसे हर डेटा समस्या को हल करने वाला एक जादुई छड़ी नहीं, बल्कि टूलबॉक्स में एक शक्तिशाली नया उपकरण के रूप में प्रस्तुत करते हैं। यह उनके द्वारा टेस्ट किए गए ओमिक्स (omics) डेटासेट्स जैसे स्ट्रक्चर्ड, हाई-डायमेंशनल डेटा के लिए सबसे अच्छा काम करता है, जो बिना पहाड़ों जैसी असली दुनिया के डेटा की आवश्यकता के बेंचमार्क बनाने और AI सिस्टम को प्रशिक्षित करने का एक विश्वसनीय तरीका प्रदान करता है।

तकनीकी सारांश: BSTabDiff

समस्या विवरण (Problem Statement)

यह शोध पत्र High-Dimensional Low-Sample Size (HDLSS) सारणीबद्ध (tabular) डोमेन, जैसे कि ओमिक्स (omics) डेटासेट के लिए उच्च-निष्ठा (high-fidelity) वाले सिंथेटिक डेटा उत्पन्न करने की चुनौती को संबोधित करता है। इन व्यवस्थाओं में, विशेषताओं (features) की संख्या ( $m$ ) नमूनों (samples) की संख्या ( $n$ ) से काफी अधिक होती है, अर्थात $n \ll m$ ।

इन बाधाओं के तहत पूर्ण फीचर स्पेस $\mathbb{R}^m$ में घने निर्भरता संरचनाओं (dense dependence structures) को सीधे सीखना एक 'इल-कंडीशन्ड' (ill-conditioned) समस्या है। इसके अलावा, मौजूदा दृष्टिकोण विशिष्ट सीमाओं का सामना करते हैं:

अनुक्रम-शैली के जनरेटर (जैसे LLM-आधारित) जैसे-जैसे $m$ बढ़ता है, सेल्फ-अटेंशन के क्वाड्रेटिक स्केलिंग के कारण कम्प्यूटेशनल तनाव का सामना करते हैं।
असंरचित जनरेटर (मानक GANs/VAEs/Diffusion) अक्सर HDLSS डेटा के विशिष्ट सांख्यिकीय गुणों को पकड़ने में विफल रहते हैं, जिनमें शामिल हैं:
- मजबूत स्थानीय सहसंबंध समूह (modules)।
- विरल क्रॉस-ग्रुप डिपेंडेंसी (sparse cross-group dependencies)।
- हेवी-टेल्ड (heavy-tailed), गैर-गाऊसी (non-Gaussian) मार्जिनल्स।
- हेटेरोस्केडास्टिक शोर (heteroscedastic noise) और संरचित अनुपलब्धता (structured missingness)।

कार्यप्रणाली: BSTabDiff

लेखक BSTabDiff (Block-Subunit Tabular Diffusion) प्रस्तावित करते हैं, जो एक जेनेरेटिव फ्रेमवर्क है जो $m$ देखी गई विशेषताओं को $M$ लेटेंट ब्लॉक्स ( $M \ll m$ ) में विभाजित करता है। मुख्य दर्शन यह है कि ग्लोबल डिपेंडेंस लर्निंग को एक संक्षिप्त ब्लॉक-लेटेंट स्पेस $\mathbb{R}^M$ में केंद्रित किया जाए, जबकि लचीले, फीचर-विशिष्ट तंत्रों का उपयोग करके पूर्ण फीचर स्पेस में डिकोड किया जाए।

1. जेनेरेटिव मॉडल आर्किटेक्चर

मॉडल एक संरचित जेनेरेटिव प्रक्रिया के माध्यम से कार्य करता है:

ब्लॉक लेटेंट संरचना (Latent Block Structure): विशेषताओं को विसंयुक्त ब्लॉक्स $\{S_t\}_{t=1}^M$ में विभाजित किया जाता है। प्रत्येक ब्लॉक एक साझा निम्न-आयामी "सबयूनिट" लेटेंट वेरिएबल $h_t \in \mathbb{R}$ द्वारा नियंत्रित होता है।
ब्लॉक लेटेंट प्रायर (Block Latent Prior): ब्लॉक लेटेंट्स $h = (h_1, \dots, h_M)$ के संयुक्त वितरण को आधुनिक डीप प्रायर्स का उपयोग करके मॉडल किया जाता है, विशेष रूप से डिफ्यूजन मॉडल या नॉर्मलाइजिंग फ्लो। यह मॉडल को $\mathbb{R}^M$ के निम्न-आयामी स्थान में जटिल क्रॉस-ब्लॉक डिपेंडेंसी सीखने की अनुमति देता है, जिससे $\mathbb{R}^m$ से जुड़े 'कर्स ऑफ डायमेंशनलिटी' से बचा जा सकता है।
एमिशन डिकोडिंग (Emission Decoding):
- कोपुला-गाऊसी निर्भरता (Copula-Gaussian Dependence): प्रत्येक ब्लॉक $t$ में फीचर $j$ के लिए, एक मध्यवर्ती गाऊसी वेरिएबल $Z_j$ को ब्लॉक लेटेंट $h_t$ के एक रैखिक फलन और शोर के रूप में उत्पन्न किया जाता है: $Z_ easily = a_j h_t + b_j(Y) + \xi_j$ ।
- लचीले मार्जिनल्स (Flexible Marginals): अंतिम फीचर मान उत्पन्न करने के लिए गाऊसी वेरिएबल को इनवर्स मार्जिनल CDF ( $F^{-1}_{j,Y}$ ) के माध्यम से रूपांतरित किया जाता है। यह मॉडल को भारी पूंछ (heavy tails), विषमता (skewness), और गैर-गाऊसी प्रकृति को कैप्चर करने की अनुमति देता है जो ओमिक्स डेटा में सामान्य है।
- हेटेरोस्केडास्टिसिटी (Heteroscedasticity): शोर वेरिएंस $\sigma^2_j$ को लेटेंट $h_t$ और लेबल $Y$ पर निर्भर होने की अनुमति दी जाती है।
मिसिंगनेस मैकेनिज्म (Missingness Mechanism): $h$ और $Y$ पर आधारित बर्नौली प्रक्रिया का उपयोग करके एक बाइनरी मास्क $R$ समानांतर में उत्पन्न किया जाता है, जो संरचित अनुपलब्धता (जैसे MCAR, MAR, MNAR) को स्पष्ट रूप से मॉडल करता है।
परम्यूटेशन इनवेरिएंस (Permutation Invariance): मॉडल देखी गई फीचर व्यवस्था को मनमाना मानता है। यह एक कैनोनिकल ब्लॉक स्पेस में सीखता है और वैकल्पिक रूप से देखे गए डेटासेट क्रम से मेल खाने के लिए जनरेशन के समय एक परम्यूटेशन $\pi$ लागू करता है।

2. प्रशिक्षण और अनुमान (Training and Inference)

प्रशिक्षण (Training): मॉडल को लाइक्लीहुड-आधारित ऑब्जेक्टिव को अनुकूलित करके प्रशिक्षित किया जाता है। यह एमिशन पैरामीटर्स (लेटेंट्स से फीचर्स तक डिकोडिंग) और प्रायर पैरामीटर्स ( $h$ के वितरण को मॉडल करना) को संयुक्त रूप से फिट करता है। डिफ्यूजन प्रायर्स के लिए, लेटेंट स्पेस में स्कोर मैचिंग का उपयोग किया जाता है।
सैंपलिंग (Sampling): जनरेशन कुशल है। इसमें सीखे गए प्रायर (रिवर्स डिफ्यूजन या फ्लो इन्वर्जन के माध्यम से) से निम्न-आयामी वेक्टर $h$ को सैंपल करना और सभी $m$ फीचर्स को उत्पन्न करने के लिए एक सिंगल फॉरवर्ड डिकोड पास करना शामिल है। जनरेशन के समय किसी अनुकूलन (optimization) की आवश्यकता नहीं होती है।

प्रमुख योगदान (Key Contributions)

ब्लॉक-सबयूनिट जनरेटर: एक अभिनव आर्किटेक्चर जो विशेषताओं को लेटेंट ब्लॉक्स में विभाजित करता है, जो फीचर-वाइज मार्जिनल्स और मिसिंगनेस पैटर्न को संरक्षित करते हुए साझा निम्न-आयामी सबयूनिट्स के माध्यम से उच्च-आयामी डेटा उत्पन्न करता है।
कॉम्पैक्ट डीप प्रायर्स: $M \ll m$ पर ब्लॉक लेटेंट्स के लिए डिफ्यूजन और नॉर्मलाइजिंग फ्लो का एकीकरण, जो $n \ll m$ शासन में लर्निंग को स्थिर करता है, जहाँ $\mathbb{R}^m$ में घने डिपेंडेंसी सीखना अव्यावहारिक है।
HDLSS-उन्मुख गारंटी: सैद्धांतिक विश्लेषण जो दिखाता है कि मॉडल परम्यूटेशन-इनवेरिएंट आइडेंटिफिएबिलिटी (ब्लॉक रीलेबलिंग तक) प्राप्त करता है और एक सैंपल कॉम्प्लेक्सिटी एडवांटेज प्रदान करता है। प्रभावी डिग्री ऑफ फ्रीडमम $m$ के बजाय $M$ के साथ स्केल होते हैं, जिससे बहुत छोटे $n$ के साथ भी सुसंगत अनुमान संभव हो जाता है।
SNR प्रवर्धन (SNR Amplification): सैद्धांतिक प्रदर्शन जो दिखाता है कि ब्लॉक्स के भीतर विशेषताओं को एकत्रित करना स्वाभाविक रूप से सिग्नल-टू-नॉइज़ रेशियो को बढ़ाता है, जो HDLSS सेटिंग्स में सेपरेबिलिटी के लिए एक महत्वपूर्ण कारक है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ~2,000 से ~22,000 तक फीचर काउंट और 62 से 203 तक सैंपल काउंट वाले आठ वास्तविक-विश्व HDLSS डेटासेट (जैसे Colon, GLI-85, Lung, TOX171) पर BSTabDiff का मूल्यांकन किया।

मशीन लर्निंग दक्षता (MLE): लॉजिस्टिक रिग्रेशन को डाउनस्ट्रीम क्लासिफायर के रूप में उपयोग करते हुए, BSTabDiff ने सभी 8 डेटासेट में सभी सिंथेटिक बेसलाइन्स (SMOTE, CTGAN, CTAB-GAN, TVAE, TabDDPM और विभिन्न डिफ्यूजन मॉडल सहित) के बीच उच्चतम माध्य सटीकता (mean accuracy) प्राप्त की।
परफॉरमेंस गैप: BSTabDiff ने सिंथेटिक-डेटा-प्रशिक्षित मॉडलों और रियल-डेटा अपर बाउंड (TRTR) के बीच के अंतर को काफी कम कर दिया। उदाहरण के लिए, Lung डेटासेट पर, इसने 96.54% के रियल-डेटा बाउंड की तुलना में 95.96% सटीकता प्राप्त की।
मजबूती (Robustness): आधुनिक क्लासिफायर (TANDEM, TabPFN-2.5, CatBoost) का उपयोग करके Colon डेटासेट पर मूल्यांकन में, BSTabDiff डेटा पर प्रशिक्षित मॉडल, रियल डेटा पर प्रशिक्षित मॉडलों के प्रतिस्पर्धी रहे और कुछ मामलों में उनसे थोड़ा बेहतर भी रहे।
निष्ठा (Fidelity): डायग्नोस्टिक्स से संकेत मिला कि सिंथेटिक नमूने बिना किसी मामूली मेमोराइजेशन के वास्तविक मार्जिनल्स और कोरिलेशन स्ट्रक्चर से मेल खाते हैं। कोलमोगोरोव-स्मिरनोव (Kolmogorov-Smirnov) और वॉसरस्टीन (Wasserstein) दूरियां मध्यम थीं, और क्लासिफायर टू-सैंपल टेस्ट (C2ST) स्कोर कई डेटासेट्स के लिए संयोग (chance) के करीब थे।
दक्षता (Efficiency): उच्च आयामीता के बावजूद, प्रशिक्षण तेज़ था (दहाई सेकंड में) और मेमोरी-लाइट (पीक GPU उपयोग < 0.05 GiB), जो ब्लॉक-लेटेंट दृष्टिकोण की स्केलेबिलिटी की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि BSTabDiff HDLSS शासन में सिंथेटिक टैबुलर डेटा उत्पन्न करने के लिए एक स्थिर और स्केलेबल समाधान प्रदान करता है। ओमिक्स जैसे डोमेन में अंतर्निहित ब्लॉक संरचना को स्पष्ट रूप से मॉडल करके, यह फ्रेमवर्क डायरेक्ट डेंसिटी लर्निंग की इल-कंडीशनिंग को दूर करता है।

लेखक BSTabDiff को केवल एक डेटा ऑग्मेंटेशन टूल के रूप में नहीं, बल्कि निम्नलिखित के लिए एक विश्वसनीय इंजन के रूप में देखते हैं:

नियंत्रणीय बेंचमार्क जनरेशन: व्यवस्थित मूल्यांकन के लिए ट्यूनेबल गुणों (ब्लॉक साइज, स्पार्सिटी, टेल हेवीनेस) वाले सिंथेटिक डेटासेट बनाना।
सिंथेटिक प्रीट्रेनिंग: जब वास्तविक डेटा दुर्लभ या संवेदनशील हो, तो टैबुलर फाउंडेशन मॉडल्स (जैसे TabPFN वेरिएंट) को प्रशिक्षित करने के लिए डेटा के स्रोत के रूप में कार्य करना।
डेटा ऑग्मेंटेशन: उन सुरक्षा-महत्वपूर्ण या दुर्लभ-घटना वाले परिदृश्यों में आधुनिक AI पाइपलाइनों को प्रशिक्षित करने में सक्षम बनाना जहाँ वास्तविक डेटा अपर्याप्त है।

यह कार्य प्रदर्शित करता है कि ब्लॉक-लेटेंट प्रायर्स को स्ट्रक्चर्ड एमिशन्स के साथ जोड़ने से उच्च-उपयोगी सिंथेटिक डेटा उत्पन्न करने की अनुमति मिलती है जो निर्णय-प्रासंगिक संरचनाओं को सुरक्षित रखता है, जिससे HDLSS शासन में वास्तविक डेटा के लिए प्रभावी प्रतिस्थापन संभव होता है।