Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

तकनीकी सारांश: सिंथेटिक सारणीबद्ध डेटा जनरेशन में इंटर-कॉलम तार्किक संबंधों का मूल्यांकन

समस्या विवरण
सिंथेटिक सारणीबद्ध (tabular) डेटा के वर्तमान मूल्यांकन मुख्य रूप से संयुक्त वितरणों (joint distributions) को मॉडल करने और निम्न-क्रम सांख्यिकी (जैसे घनत्व अनुमान, सहसंबंध स्कोर) या उच्च-क्रम सांख्यिकी (जैसे $\alpha$-Precision, $\beta$-Recall) का आकलन करने पर केंद्रित हैं। हालाँकि, ये मेट्रिक्स अक्सर वास्तविक घटना अनुक्रमों (event sequences) और कॉलमों के बीच सुसंगत संस्थागत संबंधों की रक्षा करने की अनदेखी करते हैं। सारणीबद्ध डेटा स्वाभाविक रूप से विषम होता है, जिसमें विविध चर प्रकार और जटिल अंतर्निर्भरताएं होती हैं (Wang et al., 2024)। मौजूदा जनरेटिव मॉडल, जिनमें GANs (जैसे CTGAN), डिफ्यूजन मॉडल (जैसे TabDDPM, TabSyn), और ऑटोरिग्रेसिव मॉडल (जैसे GReaT) शामिल हैं, विशिष्ट सशर्त निर्भरताओं जैसे कि $P(x_1 | x_2)$ को स्पष्ट रूप से कैप्चर करने में संघर्ष करते हैं। उदाहरण के लिए, डिफ्यूजन मॉडल अक्सर आइसोट्रोपिक नॉइज़ (isotropic noise) जोड़ने का अनुमान लगाते हैं, जो छवियों में स्थानिक सहसंबंधों के विपरीत, सारणीबद्ध डेटा में पाए जाने वाले गैर-रेखीय, गैर-क्रमबद्ध अर्थ संबंधी निर्भरताओं (semantic dependencies) को समझने में विफल रहता है। इसी तरह, जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) पूर्व-प्रशिक्षित ज्ञान का लाभ उठाते हैं, वे स्पष्ट रूप से मार्जिनल वितरणों को मॉडल नहीं कर सकते हैं, जिससे पक्षपाती सैंपलिंग हो सकती है। फलस्वरूप, यह मूल्यांकन करने के लिए सूक्ष्म, संदर्भ-जागरूक मेट्रिक्स की कमी है कि क्या सिंथेटिक डेटा महत्वपूर्ण तार्किक संबंधों, जैसे कि पदानुक्रमित संरचनाओं (जैसे शहर $\to$ देश) या गणितीय/कालिक (temporal) निर्भरताओं को सुरक्षित रखता है।

कार्यप्रणाली (Methodology)
तार्किक निरंतरता के मूल्यांकन में अंतराल को दूर करने के लिए, लेखक तीन नए मूल्यांकन मेट्रिक्स प्रस्तावित करते हैं जो इंटर-कॉलम संबंधों को मापने के लिए डिज़ाइन किए गए हैं:

1. पदानुक्रमित निरंतरता स्कोर (Hierarchical Consistency Score - HCS): यह मेट्रिक कॉलमों के बीच पदानुक्रमित संबंधों के संरक्षण को मापता है। इसे एक विशिष्ट समूह $G_k$ (जैसे शहर, राज्य, देश) के भीतर एट्रिब्यूट टुपल्स के वैध संयोजनों के सेट $C_{k,j}$ से संबंधित होने के अनुपात के रूप में परिभाषित किया गया है।
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   जहाँ $M$ पंक्तियों की संख्या है, $N$ निरंतरता समूहों की संख्या है, और $\mathbb{1}(\cdot)$ एक इंडिकेटर फंक्शन है।

2. बहुचर निर्भरता सूचकांक (Multivariate Dependency Index - MDI): यह सूचकांक बहुचर निर्भरताओं का मूल्यांकन करता है, जिसमें कालिक या गणितीय संबंध शामिल हैं। यह उन पंखों के अनुपात को मापता है जहाँ एट्रिब्यूट एक निर्भरता समूह $G_g$ में अन्य एट्रिब्यूट्स के सापेक्ष एक विशिष्ट बूलियन डिपेंडेंसी फंक्शन $F$ को संतुष्ट करते हैं।
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   जहाँ $D_{g,j}$ उस स्थिति का प्रतिनिधित्व करता है कि समूह $G_g$ के एट्रिब्यूट निर्भरता फंक्शन $F$ को संतुष्ट करते हैं।

3. वितरण समानता सूचकांक (Distributional Similarity Index - DSI): गैर-रेखीय संबंधों को कैप्चर करने के लिए जहाँ स्पष्ट नियम परिभाषित करना कठिन है, DSI सिंथेटिक बनाम वास्तविक डेटा पंक्तियों पर फिट किए गए गॉसियन मिक्सचर मॉडल्स (GMM) के लॉग-लाइक्लीहुड (log-likelihoods) की तुलना करता है। यह सूक्ष्म वितरण अंतरों को दर्शाने के लिए लॉग-लाइक्लीहुड के सापेक्ष अंतर की गणना करता है।
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

प्रायोगिक सेटअप और परिणाम
अध्ययन ने DataCo डेटासेट पर पांच प्रतिनिधि जनरेशन विधियों का मूल्यांकन किया, जो एक बड़े पैमाने का वास्तविक औद्योगिक डेटासेट है जिसमें लगभग 140,000 नमूने, जटिल, उच्च-आयामी विशेषताएं और विविध इंटर-कॉलम संबंध हैं। मूल्यांकित विधियों में शामिल थे:

• इंटरपोलेशन-आधारित: SMOTE
• लेटेंट स्पेस रिप्रेजेंटेशन-आधारित: CTGAN, TabDDPM, TabSyn
• LLM-आधारित: GReaT

प्रत्येक विधि ने 140,000 नमूने उत्पन्न किए, और मजबूती सुनिश्चित करने के लिए मूल्यांकन दस बार दोहराया गया।

मुख्य निष्कर्ष:

• सांख्यिकीय मेट्रिक्स: SMOTE और TabSyn ने निम्न-क्रम सांख्यिकीय सटीकता (जैसे डेंसिटी एस्टीमेशन, कोरिलेशन स्कोर, $\alpha$-Precision) में सर्वश्रेष्ठ प्रदर्शन किया। TabDDPM ने संयुक्त वितरणों को मॉडल करने में उत्कृष्टता प्राप्त की, जबकि SMOTE ने डेटा श्रेणियों को संतुलित करने ($\beta$-Recall) में अन्य से बेहतर प्रदर्शन किया।
• तार्किक निरंतरता (HCS): SMOTE (98.09%) और GReaT (98.01%) पदानुक्रमित निरंतरता बनाए रखने में लेटेंट स्पेस-आधारित विधियों (CTGAN: 39.23%, TabDDPM: 16.07%) की तुलना में काफी बेहतर रहे।
• बहुचर निर्भरता (MDI): GReaT ने कालिक और गणितीय निर्भरताओं को कैप्चर करने में उच्चतम सटीकता (97.37%) प्राप्त की, जिसके बाद SMOTE (87.03%) का स्थान रहा। लेटेंट स्पेस-आधारित विधियाँ इसमें काफी संघर्ष करती दिखीं, जहाँ TabDDPM का स्कोर 59.08% और CTGAN का 38.87% रहा।
• वितरण समानता (DSI): GReaT (85.55%) और TabSyn (83.62%) ने सर्वश्रेष्ठ प्रदर्शन किया, जबकि CTGAN (11.10%) ने खराब वितरण संरेखण दिखाया।
• गुणात्मक विश्लेषण: उत्पन्न नमूनों के विस्तृत निरीक्षण से पता चला कि CTGAN और TabDDPM अक्सर तार्किक त्रुटियां (जैसे गलत भौगोलिक पदानुक्रम, खंडित कालिक अनुक्रम और टूटे हुए गणितीय सूत्र) उत्पन्न करते हैं। इसके विपरीत, GReaT और SMOTE ने लगभग पूर्ण तार्किक निरंतरता बनाए रखी, हालांकि GReaT कभी-कभी अनदेखे एट्रिब्यूट मान (जैसे गलत शहर के नाम) उत्पन्न करता है, जो नियंत्रण क्षमता (controllability) में संभावित मुद्दों को दर्शाता है।

महत्व और योगदान
इस कार्य का प्राथमिक योगदान मानक वितरण निष्ठा (distributional fidelity) से आगे बढ़कर, सिंथेटिक सारणीबद्ध डेटा में तार्किक संबंधों के संरक्षण का मूल्यांकन करने के लिए HCS, MDI और DSI जैसे विशेष मेट्रिक्स की शुरूआत है। प्रयोगात्मक परिणाम दर्शाते हैं कि मौजूदा अत्याधुनिक विधियाँ, विशेष रूप से लेटेंट स्पेस रिप्रेजेंटेशन पर आधारित, अक्सर पदानुक्रमित निरंतरता और बहुचर निर्भरताओं को सख्ती से बनाए रखने में विफल रहती हैं, जो वास्तविक दुनिया के डेटा की सूक्ष्म यथार्थता के लिए महत्वपूर्ण हैं।

यह शोध निष्कर्ष निकालता है कि जबकि वर्तमान विधियां सामान्य वितरणों को मॉडल कर सकती हैं, उनमें तार्किक बाधाओं को लागू करने के लिए स्पष्ट तंत्र की कमी है। लेखकों द्वारा सुझाए गए भविष्य के मार्ग शामिल हैं:

• LLM-आधारित विधियों के लिए: पूर्व ज्ञान का लाभ उठाने के लिए टोकनाइजेशन अनुक्रमों को पुनर्व्यवस्थित करने या कॉलम सीरियलाइजेशन को पुनर्गठित करने के लिए नॉलेज ग्राफ या बेयसियन नेटवर्क का उपयोग करना।
• लेटेंट स्पेस-आधारित विधियों के लिए: कॉलम नामों और विवरणों के माध्यम से अर्थ संबंधी संबंधों का विश्लेषण करने के लिए LLM रीजनिंग का उपयोग करना, या उन्हें एक साझा लेटेंट स्पेस में एम्बेड करने से पहले तार्किक संबंधों द्वारा डेटा को समूहित करना।
• हाइब्रिड दृष्टिकोण: डेटा क्लासों को संतुलित करने के लिए, विशेष रूप से अल्पसंख्यक तार्किक संबंधों को सीखने के लिए, SMOTE जैसी इंटरपोलेशन तकनीकों को शामिल करना।

लेखक इस बात पर जोर देते हैं कि सिंथेटिक सारणीबद्ध डेटा जनरेशन को आगे बढ़ाने के लिए, जो इंटर-कॉलम तार्किक संबंधों को प्रभावी ढंग से कैप्चर करने के लिए आवश्यक है, ऐसे जनरेटिव मॉडल डिजाइन करने हेतु ये दिशाएं आवश्यक हैं।