तकनीकी सारांश: सिंथेटिक डेटा का विसंयुक्त सृजन (Disjoint Generation of Synthetic Data)

समस्या विवरण

उच्च गुणवत्ता वाले सिंथेटिक सारणीबद्ध (tabular) डेटा का सृजन उपयोगिता (utility - मूल वितरण के प्रति निष्ठा और डाउनस्ट्रीम कार्यों पर प्रदर्शन) और गोपनीयता (privacy - पुन: पहचान के विरुद्ध सुरक्षा) के बीच एक निरंतर बने रहने वाले समझौते का सामना करता है। पारंपरिक केंद्रीकृत वर्कफ़्लो, जो एक ही बड़े जनरेटिव मॉडल को प्रशिक्षित करने के लिए डेटा को एकत्रित करते हैं, अक्सर उच्च-आयामी संरचनाओं को कैप्चर करने में संघर्ष करते हैं या ओवरफिटिंग का शिकार हो जाते हैं, या वे पर्याप्त अनुभवजन्य गोपनीयता गारंटी प्रदान करने में विफल रहते हैं। जबकि डिफरेंशियल प्राइवेसी (DP) औपचारिक गारंटी प्रदान करती है, यह अक्सर उपयोगिता को कम करने वाला शोर (noise) पेश करती है। इसके अलावा, मौजूदा फेडरेटेड या वितरित दृष्टिकोण आम तौर पर केंद्रीकृत समकक्षों के बराबर प्रदर्शन प्राप्त करते हैं, लेकिन शायद ही कभी उनसे बेहतर प्रदर्शन कर पाते हैं।

एक विशिष्ट चुनौती तब उत्पन्न होती है जब डेटा स्वाभाविक रूप से विभाजित होता है (जैसे, बिना किसी साझा पहचानकर्ता के वर्टिकल स्लाइस) या जब कम्प्यूटेशनल बाधाएं एक ही मॉडल को सभी विशेषताओं (features) पर प्रशिक्षित करने से रोकती हैं। वर्तमान विधियों में चरों के विसंयुक्त उपसमुच्चयों (disjoint subsets) से सिंथेटिक डेटा उत्पन्न करने और अंतर्निहित क्रॉस-वेरिएबल निर्भरताओं को खोए बिना उन्हें पुन: संयोजित करने के लिए एक मजबूत ढांचे का अभाव है।

कार्यप्रणाली: विसंयुक्त जनरेटिव मॉडल (Disjoint Generative Models - DGMs)

लेखक विसंयुक्त जनरेटिव मॉडल (DGMs) का प्रस्ताव करते हैं, जो सिंथेटिक डेटा सृजन में "विभाजित करो और जीतो" (divide and conquer) प्रतिमान को लागू करता है। मुख्य प्रक्रिया में तीन चरण शामिल हैं:

1. विभाजन (Partitioning): प्रशिक्षण डेटासेट $X$ (एक $n \times k$ मैट्रिक्स) को कॉलम-वार $n_p$ विसंयुक्त चर उपसमुच्चयों ($d_1, d_2, \dots, d_{n_p}$) में विभाजित किया जाता है। इन विभाजनों में कोई साझा चर नहीं होते हैं।
2. विसंयुक्त सृजन (Disjoint Generation): प्रत्येक विभाजन को एक अलग जनरेटिव मॉडल इंस्टेंस ($G_p$) में फीड किया जाता है। महत्वपूर्ण बात यह है कि यह मिश्रित-मॉडल सृजन (mixed-model generation) की अनुमति देता है, जहाँ डेटा उपसमुच्चयों की विशिष्ट शक्तियों के आधार पर अलग-अलग मॉडल आर्किटेक्चर (जैसे, एक विभाजन के लिए बेयसियन नेटवर्क और दूसरे के लिए GAN) का उपयोग एक साथ किया जा सकता है।
3. जुड़ने की प्रक्रिया (Joining Operation): स्वतंत्र सिंथेटिक विभाजनों ($s_1, s_2, \dots, s_{n_p}$) को बाद में जोड़ा जाता है। पेपर एक वैलिडेटर मॉडल (Validator Model - $V$) का उपयोग करते हुए एक विशिष्ट जोड़ने की रणनीति पर ध्यान केंद्रित करता है:
   • वैलिडेटर को प्रशिक्षित करना: वास्तविक डेटा पर एक बाइनरी क्लासिफायर (जैसे, रैंडम फॉरेस्ट) को प्रशिक्षित किया जाता है। पॉजिटिव क्लास वास्तविक पंक्तियों (rows) से बनी होती है, जबकि नेगेटिव क्लास विसंयुक्त विभाजनों के रैंडम शफलिंग और संयोजन से बनी "नकली" पंक्तियों से बनी होती है।
   • अनुमान (Inference): सिंथेटिक विभाजनों को रैंडम तरीके से जोड़कर कैंडिडेट पंक्तियाँ ($q$) बनाई जाती हैं। वैलिडेटर प्रत्येक कैंडिडेट को एक स्कोर ($z$) प्रदान करता है।
   • चयन (Selection): $\theta$ थ्रेशोल्ड से ऊपर स्कोर करने वाले उम्मीदवारों को अंतिम सिंथेटिक डेटासेट $S$ में स्वीकार किया जाता है। स्वीकृत पंक्तियों को पूल से हटा दिया जाता है, और नए कैंडिडेट बनाने के लिए शेष विभाजनों को फिर से शफल किया जाता है। यह लूप तब तक चलता है जब तक कि लक्षित डेटासेट का आकार पूरा नहीं हो जाता या इटरेशन सीमा समाप्त नहीं हो जाती।

मुख्य योगदान

• फ्रेमवर्क प्रस्ताव: DGM फ्रेमवर्क का परिचय, जो इस धारणा को चुनौती देता है कि एक एकल मोनोलिथिक मॉडल हमेशा श्रेष्ठ होता है, यह प्रदर्शित करते हुए कि विभाजन कम्प्यूटेशनल व्यवहार्यता और गोपनीयता में सुधार कर सकता है।
• मिश्रित-मॉडल संश्लेषण (Mixed-Model Synthesis): एक ही सिंथेटिक डेटासेट के भीतर विभिन्न प्रकार के जनरेटिव मॉडलों (जैसे, विशिष्ट चर उपसमुच्च्यों के लिए उच्च-उपयोगिता वाले TabDiff या synthpop और उच्च-गोपनीयता वाले DPGAN को मिलाना) को संयोजित करने की एक नवीन क्षमता।
• जॉइनिंग वैलििडेटर: क्रॉस-पार्टिशन निर्भरताओं को सीखने के बजाय, विसंयुक्त सिंथेटिक डेटा को पुन: संयोजित करने के लिए एक तंत्र, जो सरल रैंडम संयोजन या साझा पहचानकर्ताओं पर निर्भर नहीं है।
• अनुभवजन्य मूल्यांकन: सात मानक सारणीबद्ध डेटासेट्स (126 से 3,927 रिकॉर्ड्स तक) और एक उच्च-आयामी डेटासेट (98 फीचर्स) पर एक व्यापक बेंचमार्क, जो उपयोगिता (PCA, कोरिलेशन, F1, AUROC) और गोपनीयता (पहचान योग्यता जोखिम, मेंबरशिप इन्फरेंस अटैक रिकॉल) का मूल्यांकन करता है।

परिणाम

प्रयोगों से प्रमुख निष्कर्ष प्राप्त होते हैं:

• गोपनीयता-उपयोगिता समझौता (Privacy-Utility Trade-off): विभाजनों की संख्या बढ़ाने से आम तौर पर अनुभवजन्य गोपनीयता मेट्रिक्स (कम पहचान योग्यता जोखिम और कम MIA रिकॉल) में सुधार होता है, लेकिन उपयोगिता मेट्रिक्स (उच्च कोरिलेशन मैट्रिक्स अंतर, कम F1/AUROC) में गिरावट आती है।
• वैलिडेटर की भूमिका: विभाजन से होने वाली उपयोगिता हानि को रैंडम संयोजन की तुलना में जॉइनिंग वैलिडेटर का उपयोग करके काफी हद तक कम किया जा सकता है। जबकि रैंडम संयोजन मार्जिनल डिस्ट्रीब्यूशन को अच्छी तरह से संरक्षित करता है, यह क्रॉस-पार्टिशन निर्भरताओं को कैप्चर करने में विफल रहता है, जिससे डाउनस्ट्रीम टास्क प्रदर्शन खराब हो जाता है। वैलिडेटर गोपनीयता के अधिकतम लाभ की थोड़ी कीमत पर इस उपयोगिता को बहाल करता है।
• मिश्रित-मॉडल प्रदर्शन: मिश्रित-मॉडल DGMs (जैसे, synthpop और DPGAN को मिलाना) एक बेहतर संतुलन प्राप्त करते हैं। वे अक्सर सिंगल-मॉडल बेसलाइन्स की तुलना में उपयोगिता में बेहतर प्रदर्शन करते हैं और साथ ही उच्च-गोपनीयता वाले सिंगल मॉडल्स के समान या बेहतर गोपनीयता स्तर बनाए रखते हैं। उदाहरण के लिए, एक synthpop-DPGAN संयोजन ने उच्च-उपयोगिता बेसलाइन्स की तुलना में पुन: पहचान जोखिम को काफी कम करते हुए प्रतिस्पर्धी AUROC और F1 स्कोर प्राप्त किया।
• विभाजन रणनीति (Partitioning Strategy): जॉइनिंग प्रक्रिया की प्रभावशीलता विभाजनों के बीच कोरिलेशन स्ट्रक्चर पर बहुत अधिक निर्भर करती है। उच्च इंटर-पार्टिशन कोरिलेशन वैलिडेटर के काम को आसान बनाता है और उपयोगिता में सुधार करता है, जबकि निम्न कोरिलेशन सरल संयोजन के पक्ष में होता है लेकिन जॉइनिंग प्रक्रिया से कम गोपनीयता लाभ प्रदान करता है।
• कम्प्यूटेशनल दक्षता: विभाजन उन मॉडलों के प्रशिक्षण समय को कम करता है जो आयामीता (dimensionality) के साथ खराब स्केल करते हैं (जैसे, बेयसियन नेटवर्क), जिससे वे उच्च-आयामी डेटासेट्स के लिए भी व्यवहार्य हो जाते जहाँ एक एकल मॉडल कम्प्यूटेशनल रूप से निषेधात्मक हो सकता है।

महत्व और दावे

यह पेपर DGMs को उन परिदृश्यों के लिए एक व्यावहारिक विकल्प के रूप में प्रस्तुत करता है जहाँ डेटा को एकत्रित नहीं किया जा सकता है या जहाँ एक एकल मॉडल प्रभावी रूप से गोपनीयता और उपयोगिता को संतुलित नहीं कर सकता है। लेखक दावा करते हैं कि:

• अनुभवजन्य गोपनीयता लाभ: फ्रेमवर्क औपचारिक DP दृष्टिकोणों में देखी जाने वाली गंभीर उपयोगिता गिरावट के बिना, मूर्त अनुभवजन्य गोपनीयता (पुन: पहचान जोखिम द्वारा मापी गई) में वृद्धि प्रदान करता है।
• लचीलापन (Flexibility): मॉडलों को मिलाने की क्षमता अभ्यासकर्ताओं को विशिष्ट डेटा विशेषताओं के अनुसार सृजन प्रक्रिया को अनुकूलित करने की अनुमति देती है (जैसे, संवेदनशील कॉलम के लिए DP मॉडल और अन्य के लिए उच्च-फिडेलिटी मॉडल का उपयोग करना)।
• गारंटी पर विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि गोपनीयता सुधार अनुभवजन्य (empirical) हैं, औपचारिक नहीं। फ्रेमवर्क वर्तमान में एंड-टू-एंड डिफरेंशियल प्राइवेसी गारंटी प्रदान नहीं करता है, क्योंकि जॉइनिंग वैलिडेटर वास्तविक डेटा के संपर्क में है और पुन: संयोजन प्रक्रिया द्वारा घटक मॉडलों की DP गारंटी शून्य हो सकती है।
• भविष्य की दिशाएं: यह कार्य वैकल्पिक जॉइनिंग तंत्र (जैसे, बेयसियन विधियां, हैशिंग), विभाजन रणनीतियों को अनुकूलित करने और फ्रेमवर्क को मल्टी-मोडल डेटा (इमेज, टेक्स्ट, टाइम-सीरीज) तक विस्तारित करने के मार्ग खोलता है।

पेपर निष्कर्ष निकालता है कि हालांकि DGMs सभी गोपनीयता चुनौतियों का समाधान नहीं करते हैं, वे उपयोगिता और गोपनीयता की प्रतिस्पर्धी मांगों के बीच बेहतर संतुलन बनाने के लिए एक व्यवहार्य, लचीला और कम्प्यूटेशनल रूप से कुशल मार्ग प्रदान करते हैं।