🤖 machine learning

Geometry-Aware Tabular Diffusion

यह शोध पत्र ज्योमेट्री-अवेयर टैबुलर डिफ्यूजन (GATD) को प्रस्तुत करता है, जो एक ऐसी विधि है जो स्पष्ट युग्वतीय ज्यामितीय संबंधों (कोणों और लंबाई) को सहायक पर्यवेक्षण के रूप में शामिल करके टैबुलर डेटा संश्लेषण को उन्नत करती है, जिससे काफी कम मापदंडों के साथ अत्याधुनिक प्रदर्शन प्राप्त होता है और यह प्रदर्शित होता है कि यह संबंधात्मक इंडक्टिव बायस विभिन्न डिफ्यूजन आर्किटेक्चर में एक पोर्टेबल सुधार है।

मूल लेखक: David Turtora Zagardo

प्रकाशित 2026-06-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: David Turtora Zagardo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास संवेदनशील जानकारी से भरी एक विशाल स्प्रेडशीट है—जैसे मरीजों के रिकॉर्ड, ग्राहकों की आदतें, या वित्तीय डेटा। आप इस डेटा को शोधकर्ताओं या AI को प्रशिक्षित करने में मदद करने के लिए साझा करना चाहते हैं, लेकिन आप वास्तविक लोगों की जानकारी उजागर नहीं कर सकते। इसलिए, आपको वास्तविक लोगों की जानकारी दिए बिना, बिल्कुल असली जैसा दिखने वाला और काम करने वाला "नकली लेकिन वास्तविक" डेटा बनाना होगा। इसे "टेबुलर सिंथेसिस" (Tabular Synthesis) कहा जाता है।

लंबे समय तक, यह करने के लिए सबसे अच्छे उपकरण भारी मशीनरी (विशेष रूप से, "ट्रांसफॉर्मर" मॉडल) की तरह थे, जो केवल लाखों बार अनुमान लगाने और जांचने की कोशिश करके कॉलम के बीच के संबंधों (जैसे कि "आयु" का "आय" से कैसे संबंध है) को सीखने का प्रयास करते थे। वे शक्तिशाली थे, लेकिन वे भारी, धीमे थे, और कभी-कभी डेटा बिंदुओं के बीच के सूक्ष्म संबंधों को पकड़ने में चूक जाते थे।

यहाँ आता है GATD (जियोमेट्री-अवेयर टेबुलर डिफ्यूजन)। इसे एक नए, हल्के और स्मार्ट तरीके के रूप में सोचें जो नकली डेटा उत्पन्न करता है। यह कैसे काम करता है, इसके लिए कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. समस्या: "अनुमान लगाने का खेल"

कल्पना कीजिए कि आप केवल एक धुंधली फोटो के आधार पर शहर का नक्शा बनाने की कोशिश कर रहे हैं। आप जानते हैं कि सड़कें मौजूद हैं, लेकिन आपको अनुमान लगाना होगा कि वे कहाँ जुड़ती हैं। पारंपरिक AI मॉडल ऐसा ही करते हैं—वे पूरी फोटो को देखते हैं और हर सड़क (क kolom) के बीच के कनेक्शन को खुद समझने की कोशिश करते हैं। यह काम करता है, लेकिन इसमें AI के लिए बहुत अधिक मानसिक मेहनत लगती है, और अक्सर वह कोणों या दूरियों को थोड़ा गलत कर देता है।

2. समाधान: AI को "रूलर और प्रोटेक्टर" देना

लेखकों ने महसूस किया कि AI को संबंधों का अनुमान लगाने देने के बजाय, वे उन्हें सीधे मापने के उपकरण हाथ में दे सकते थे।

उन्होंने जियोमेट्री-अवेयर टेबुलर डिफ्यूजन की अवधारणा पेश की।

उपमा: कल्पना कीजिए कि आप एक बच्चे को घर बनाना सिखा रहे हैं। केवल यह कहने के बजाय कि, "एक घर बनाओ," आप उसे एक रूलर (पैमाना) और एक प्रोटेक्टर (चांदा) देते हैं। आप कहते हैं, "सुनिश्चित करें कि छत की दीवार के साथ 45-डिग्री का कोण है, और दीवार 10 इंच लंबी है।"
पेपर में: AI को डेटा के प्रत्येक कॉलम के जोड़े के लिए दो विशिष्ट ज्यामितिक उपकरण दिए गए हैं:
1. एक कोण (Angle): यह संबंध की दिशा को मापता है (जैसे, क्या ये दोनों कॉलम एक साथ ऊपर जाते हैं, या एक ऊपर जाता है जबकि दूसरा नीचे जाता है?)।
2. एक लंबाई (Length): यह उनके बीच के अंतर के परिमाण या आकार को मापता है।

3. गुप्त मंत्र: "सुपरविजन" बनाम केवल "दिखाना"

यहाँ पेपर की सबसे महत्वपूर्ण खोज है। लेखकों ने दो परिदृश्यों का परीक्षण किया:

परिदृश्य A: उन्होंने AI को रूलर और प्रोटेक्टर (कोण और लंबाई का डेटा) दिया लेकिन यह जांच नहीं की कि AI वास्तव में उनका उपयोग कर रहा है या नहीं।
परिदृश्य B: उन्होंने AI को उपकरण दिए और प्रशिक्षण के दौरान AI को उन कोणों और लंबाईों की भविष्यवाणी करने के लिए मजबूर किया, और उसका होमवर्क भी चेक किया।

परिणाम: परिदृश्य A (केवल उपकरण दिखाना) ने लगभग कुछ नहीं किया। AI ने उन्हें अनदेखा कर दिया। लेकिन परिदृश्य B (AI को ज्यामिति सीखने के लिए मजबूर करना) ने AI को काफी बेहतर बना दिया।

रूपक: यह एक छात्र को केवल एक पाठ्यपुस्तक (इनपुट) देने बनाम एक पाठ्यपुस्तक और एक क्विज़ (सुपरविजन) देने के समान है। छात्र केवल तभी सामग्री सीखता है जब उसका परीक्षण किया जाता है। पेपर यह साबित करता है कि ज्यामिति पर परीक्षण किए जाने की प्रक्रिया ही AI को स्मार्ट बनाती है, न कि केवल डेटा का उपलब्ध होना।

4. लाभ: हल्का, तेज़ और स्मार्ट

क्योंकि अब AI के पास इन स्पष्ट "नियमों" की जानकारी है कि कॉलम एक-दूसरे से कैसे संबंधित हैं, इसलिए इसे यह समझने के लिए एक विशाल, जटिल मस्तिष्क की आवश्यकता नहीं है।

छोटा आकार: लेखकों ने इस सिस्टम का एक संस्करण एक साधारण "MLP" (एक बुनियादी न्यूरल नेटवर्क) का उपयोग करके बनाया, न कि उन विशाल "ट्रांसफॉर्मर" मॉडलों का उपयोग करके जिनका उपयोग अन्य सभी करते हैं।
आंकड़े: उनका सरल मॉडल वर्तमान के अत्याधुनिक मॉडलों की तुलना में 3.5 गुना कम पैरामीटर (इसे कम न्यूरॉन्स वाले छोटे मस्तिष्क के रूप में सोचें) का उपयोग करता है। कुछ मामलों में, यह 25 गुना छोटा है।
बेहतर प्रदर्शन: छोटा होने के बावजूद, यह "जियोमेट्री-अवेयर" मॉडल वास्तव में बेहतर नकली डेटा बनाता है। यह डेटा वितरण के आकार और कॉलम के बीच के रुझानों को बड़े मॉडलों की तुलना में अधिक सटीकता से पकड़ता है।

5. यह हर जगह काम करता है (पोर्टेबिलिटी)

लेखकों ने केवल एक प्रकार के AI पर इसका परीक्षण नहीं किया। उन्होंने अपने "जियोमेट्री" उपकरणों को तीन अलग-अलग प्रकार के AI आर्किटेक्चर (MLP, GNN, और Transformer) में प्लग किया।

परिणाम: लगभग हर मामले में, ज्यामितीय सुपरविजन जोड़ने से AI का प्रदर्शन बेहतर हुआ। यह एक सार्वभौमिक "टर्बोचार्जर" की तरह है जो विभिन्न प्रकार के इंजनों पर काम करता है।

सारांश

यह पेपर नकली टेबुलर डेटा उत्पन्न करने की एक विधि पेश करता है जिसे डेटा कॉलम के बीच के ज्यामितीय संबंधों (कोण और लंबाई) को समझने के लिए स्पष्ट रूप से सिखाया गया है। AI को इन संबंधों को सीधे सीखने के लिए मजबूर करके, लेखकों ने एक ऐसा सिस्टम बनाया है जो:

वर्तमान लीडर्स की तुलना में प्रशिक्षित होने में बहुत छोटा और तेज़ है।
वास्तविक डेटा की नकल करने में अधिक सटीक है।
लचीला है, जो विभिन्न प्रकार के AI आर्किटेक्चर पर अच्छी तरह काम करता है।

मुख्य संदेश यह है: AI को संबंधों का अनुमान लगाने के लिए मत छोड़िए; इसे ज्यामिति दीजिए और इसे साबित करने के लिए कहें कि वह इसे समझता है। मॉडल को प्रशिक्षित करने के तरीके में यह सरल बदलाव बड़े सुधार लाता है।

तकनीकी सारांश: ज्योमेट्री-अवेयर टैबुलर डिफ्यूजन (GATD)

समस्या विवरण (Problem Statement)

एंटरप्राइज, स्वास्थ्य सेवा और वैज्ञानिक अनुप्रयोगों में टैबुलर डेटा (tabular data) एक प्रमुख प्रारूप बना हुआ है, फिर भी गोपनीयता-संरक्षण साझाकरण और संवर्धन (augmentation) के लिए यथार्थवादी टैबुलर डेटा का संश्लेषण करना अनूठी चुनौतियाँ पेश करता है। छवियों या टेक्स्ट के विपरीत, टैबुलर डेटा विषम कॉलम प्रकारों (heterogeneous column types), जटिल अंतर-कॉलम निर्भरताओं और अत्यधिक गैर-गौसियन मार्जिनल वितरणों को प्रदर्शित करता है। जबकि डिफ्यूजन मॉडल (जैसे TabDDPM, TabSyn, TabDiff) एक आशाजनक समाधान के रूप में उभरे हैं, वे आमतौर पर निहित तंत्रों (implicit mechanisms) पर निर्भर करते हैं—जैसे कि ट्रांसफार्मर आर्किटेक्चर में सेल्फ-अटेंशन—ताfall अंतर-कॉलम संबंधों को निष्कर्ष निकालने के लिए। यह शोध पत्र यह तर्क देता है कि केवल डिनोइजिंग ऑब्जेक्टिव (denoising objective) से रिलेशनल स्ट्रक्चर को निष्कर्ष निकालने के लिए छोड़ देना उप-इष्टतम (suboptimal) है, और यह सवाल उठाता है कि क्या विभिन्न डिनोइजिंग आर्किटेक्चरों में स्थानांतरित होने वाले एक सहायक सुपरविजन सिग्नल के रूप में स्पष्ट रिलेशनल स्ट्रक्चर प्रदान किया जा सकता है।

कार्यप्रणाली (Methodology)

लेखक ज्योमेट्री-अवेयर टैबुलर डिफ्यूजन (GATD) पेश करते हैं, जो एक फ्रेमवर्क है जो कॉलम वैल्यूज से सीधे गणना किए गए युग्मवार ज्यामितीय (pairwise geometric) फीचर्स का उपयोग करके टैबुलर डिफ्यूजन डिनोइज़र को सुदृढ़ करता है।

ज्यामितीय फीचर प्रतिनिधित्व (Geometric Feature Representation)

मुख्य नवाचार सभी कॉलमों (निरंतर और श्रेणीबद्ध) को एक एकीकृत सामान्यीकृत स्थान $v \in [-1, 1]$ में मैप करने में निहित है। इस स्थान से, मॉडल प्रत्येक कॉलम जोड़ी $(i, j)$ के लिए दो युग्मवार फीचर्स की गणना करता है:

पेयरवाइज एंगल ( $\theta_{ij}$ ): $\theta_{ij} = \arctan(v_j - v_i)$ । यह कॉलमों के बीच दिशात्मक संबंध को कैप्चर करता है, जो $(-\pi/2, \pi/2)$ के भीतर सीमित है।
पेयरवाइज लेंथ ( $\ell_{ij}$ ): $\ell_{ij} = \frac{1}{2} \log(1 + (v_j - v_i)^2)$ । यह अंतर के परिमाण (magnitude) को कैप्चर करता है, जिसमें बड़े अंतरों के लिए लॉगरिदमिक संपीड़न (logarithmic compression) का उपयोग किया गया है।

आर्किटेक्चर और प्रशिक्षण (Architecture and Training)

GATD को तीन अलग-अलग डिफ्यूजन बैकबोन पर एक "ड्रॉप-इन" मॉड्यूल के रूप में लागू किया गया है:

रेसिड्यूअल MLP: प्राथमिक इंस्टेंशिएशन, जो ज्यामितीय इनपुट और सहायक हेड्स के साथ एक रेसिड्यूअल MLP का विस्तार करता है।
GNN: एक पूर्ण कॉलम ग्राफ पर एज-कंडीशन्ड मैसेज पासिंग का उपयोग करता है, जिसमें ज्यामितीय फीचर्स को एज एट्रिब्यूट्स के रूप में उपयोग किया जाता है।
ट्रांसफार्मर: एक कॉलम-वाइज ट्रांसफार्मर एनकोडर का उपयोग करता है, जिसमें ज्यामितीय फीचर्स को प्रोजेक्ट और कॉन्कैटिनेट (concatenate) किया जाता है।

इनपुट और ऑग्मेंटेशन (Input and Augmentation):
मॉडल समय एम्बेडिंग्स (time embeddings), नॉइज़्ड डेटा और गणना किए गए ज्यामितीय फीचर्स ( $\theta_{input}, \ell_{input}$ ) सहित संयोजित इनपुट प्राप्त करता है। महत्वपूर्ण रूप से, आर्किटेक्चर में एंगल्स और लेंथ्स के लिए सहायक प्रेडिक्शन हेड्स शामिल हैं।

प्रशिक्षण (Training): मॉडल को एक कंपोजिट लॉस फंक्शन के साथ प्रशिक्षित किया जाता है:
$L = L_{cont} + L_{cat} + \lambda_\theta L_{angle} + \lambda_\ell L_{length} + \lambda_c L_{consistency}$
ज्यामितीय लॉस ( $L_{angle}, L_{length}$ ) प्रत्यक्ष सुपरविजन प्रदान करते हैं। एक कंसिस्टेंसी लॉस ( $L_{consistency}$ ) यह सुनिश्चित करता है कि अनुमानित ज्यामिति डिनोइज़्ड आउटपुट से मेल खाती है। लेखक नोट करते हैं कि अभिसरण (convergence) पर ज्यामितीय पद कुल लॉस का लगभग 95% हिस्सा होते हैं, जो कि नेटवर्क को अंतर-कॉलम संरचना को आत्मसात करने के लिए मजबूर करने हेतु एक जानबूझकर किया गया बदलाव है।
अनुमान (Inference): सैंपलिंग के दौरान, ज्यामितीय फीचर्स की गणना वर्तमान स्थिति से की जाती है और उन्हें इनपुट के रूप में दिया जाता है। अनुमानित एंगल्स ( $\hat{\theta}$ ) को हिडन स्टेट के साथ कॉन्कैटिनेट किया जाता है ताकि एक ऑगमेंटेड रिप्रेजेंटेशन ( $h_{aug}$ ) बनाया जा सके, जो डिनोइजिंग हेड्स को फीड करता है। लेंथ हेड को जनरेशन के दौरान डिटैच (detach) कर दिया जाता है, जो केवल एक प्रशिक्षण रेगुलराइज़र के रूप में कार्य करता है।

मुख्य योगदान (Key Contributions)

स्पष्ट ज्यामितीय सुपरविजन (Explicit Geometric Supervision): टैबुलर डिफ्यूजन के लिए दोनों इनपुट और सहायक प्रेडिक्शन टारगेट के रूप में पेयरवाइज एंगल और लेंथ फीचर्स का परिचय।
सुपरविजन बनाम कैपेसिटी एब्लेशन (Supervision vs. Capacity Ablation): एक आर्किटेक्चर-मैच्ड एब्लेशन जो यह प्रदर्शित करता है कि प्रदर्शन में वृद्धि सुपरविजन द्वारा संचालित है, न कि केवल ज्यामितीय इनपुट या बढ़ी हुई मॉडल क्षमता के कारण। एक "InputsOnly" कॉन्फ़िगरेशन (जहाँ ज्यामितीय फीचर्स मौजूद हैं लेकिन ज्यामितीय लॉस नहीं है) ने बिना ज्यामिति वाले बेसलाइन ( $d = -0.08$ ) के समान प्रदर्शन किया, जबकि सुपरवाइज्ड वर्जन ने एक बड़ा प्रभाव दिखाया ( $d = 0.81$ )।
क्रॉस-आर्किटेक्चर पोर्टेबिलिटी (Cross-Architecture Portability): ज्यामितीय सिग्नल एक पोर्टेबल इंडक्टिव बायस (inductive bias) के रूप में कार्य करता है, जो आर्किटेक्चर-विशिष्ट ट्यूनिंग के बिना MLP, GNN और ट्रांसफार्मर बैकबोन में प्रदर्शन में सुधार करता है।
कुशल MLP इंस्टेंशिएशन (Efficient MLP Instantiation): एक कॉम्पैक्ट MLP-आधारित GATD जो TabDiff (ट्रांसफार्मर-आधारित) के बराबर या उससे बेहतर प्रदर्शन करता है, जबकि औसतन 3.5 गुणा कम पैरामीटर्स का उपयोग करता है (वर्गीकरण कार्यों के लिए 25 गुणा तक कम)।
व्यावहारिक मार्गदर्शन (Practical Guidance): लॉस वेट ट्यूनिंग, सैंपलिंग स्टेप्स और मिश्रित डेटा प्रकारों को संभालने पर अनुभवजन्य निष्कर्ष।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन 10 बेंचमार्क डेटासेट्स (5 वर्गीकरण, 5 रिग्रेशन) पर TabDiff, TabDDPM और STaSy जैसे बेसलाइन्स के विरुद्ध किया गया।

फिडेलिटी (Fidelity): GATD (MLP इंस्टेंशिएशन) ने Shape (मार्जिनल डिस्ट्रीब्यूशन फिडेलिटी) पर 8/10 डेटासेट्स और Trend (कोरिलेशन प्रिजर्वेशन) पर TabDiff की तुलना में 7/10 डेटासेट्स में जीत हासिल की। तीनों बैकबोन (MLP, GNN, Transformer) में, +GEOM ने 27/30 Shape सेल्स और 25/30 Trend सेल्स में जीत दर्ज की।
डाउनस्ट्रीम यूटिलिटी (Downstream Utility): विधि ने TabDiff की तुलना में औसतन Shape एरर को 27% और Trend एरर को 20% कम किया। इसने AUROC/R2 के लिए वास्तविक-डेटा प्रदर्शन के अंतर को 58.2% और F1/RMSE के लिए 42.0% तक कम कर दिया।
दक्षता (Efficiency): 2.5 गुणा अधिक ट्रेनिंग एपॉक्स (20,000 बनाम 8,000) और 20 गुणा अधिक सैंपलिंग स्टेप्स (1000 बनाम 50) का उपयोग करने के बावजूद, छोटे MLP बैकबोन के परिणामस्वरूप TabDiff की तुलना में औसतन 1.7 गुणा तेज़ एंड-टू-एंड ट्रेनिंग टाइम रहा।
स्केलेबिलिटी (Scalability): एक वाइड-टेबल डेटासेट (APS Failure, $d=171$ ) पर, GATD ने प्रतिस्पर्धी प्रदर्शन बनाए रखा, हालांकि मेमोरी उपयोग $O(d^2)$ के रूप में स्केल्ड हुआ, जो सेल्फ-अटेंशन मैकेनिज्म के अनुरूप है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि स्पष्ट रिलेशनल सुपरविजन टैबुलर डिफ्यूजन के लिए एक पोर्टेबल इंडक्टिव बायस है। लेखक तर्क देते हैं कि जबकि अटेंशन मैकेनिज्म कॉलम संबंधों को स्पष्ट रूप से सीख सकते हैं, स्पष्ट ज्यामितीय लक्ष्य प्रदान करने से डिनोइज़र पर बोझ कम होता है और लर्निंग में तेजी आती है।

लेखकों द्वारा रेखांकित मुख्य बातें हैं:

सुपरविजन आवश्यक है: लाभ सहायक प्रेडिक्शन टास्क से आता है जो नेटवर्क को संरचना को आत्मसात करने के लिए मजबूर करता है, न कि केवल ज्यामितीय इनपुट से।
पूरकता (Complementarity): ज्यामितीय सुपरविजन और अटेंशन एक-दूसरे के पूरक हैं, परस्पर अनन्य नहीं; सिग्नल ट्रांसफार्मर-आधारित डिनोइज़र में भी सुधार करता है जैसे कि यह MLPs में करता है।
गोपनीयता पर विनम्रता (Modesty on Privacy): पेपर स्पष्ट रूप से कहता है कि सिंथेटिक डेटा जनरेशन कोई औपचारिक गोपनीयता गारंटी प्रदान नहीं करता है। यह "प्राइवेसी-वॉशिंग" के खिलाफ चेतावनी देता है और सिंथेटिक जनरेशन को डिफरेंशियल प्राइवेसी (DPSGD) जैसे औपचारिक फ्रेमवर्क के साथ जोड़ने का सुझाव देता है।
सीमाएं (Limitations): विधि के कारण पेयरवाइज फीचर्स के चलते $O(d^2)$ कम्प्यूटेशनल स्केलिंग होती है, जो बहुत चौड़ी टेबल्स के लिए मेमोरी बॉटलनेक बन जाती है, हालांकि यह मूल्यांकित श्रेणियों के लिए मानक हार्डवेयर पर व्यवहार्य बनी रहती है। लॉस वेट्स ह्यूरिस्टिक (heuristic) हैं और विशिष्ट क्षेत्रों (जैसे निरंतर-प्रधान डेटासेट्स) में इष्टतम परिणामों के लिए प्रति-डेटासेट ट्यूनिंग की आवश्यकता हो सकती है।