तकनीकी सारांश: फैंटम और खुलासे: सिंथेटिक डेटा के ऑडिटिंग के लिए एक कारणत्मक ढांचा (Causal Framework)

समस्या विवरण

जेनरेटिव एआई (Generative AI) और लार्ज लैंग्वेज मॉडल्स (LLMs) के तेजी से बढ़ते उपयोग ने सिंथेटिक डेटा को संवेदनशील वास्तविक दुनिया के डेटासेट के लिए एक गोपनीयता-संरक्षित विकल्प के रूप में स्थापित कर दिया है। हालांकि, उच्च-उपयोगिता वाला सिंथेटिक डेटा उत्पन्न करने में प्रशिक्षण कॉर्पस (training corpus) से निजी जानकारी को याद रखने और उसे दोहराने का अंतर्निहित जोखिम होता है। इन प्रणालियों के ऑडिटिंग में एक महत्वपूर्ण चुनौती सत्य खुलासे (true disclosures - जहाँ सिस्टम उपयोगकर्ता की जानकारी को सीधे पुनरुत्पादित करता है क्योंकि उसने उसे याद किया है) और फैंटम खुलासे (phantom disclosures - जहाँ सिस्टम संयोगवश उपयोगकर्ता के डेटा को उत्पन्न करता है, चाहे वह उपयोगकर्ता का डेटा प्रशिक्षण सेट में था या नहीं, जो सामान्यीकरण, प्रेरणिक पूर्वाग्रह (inductive bias), या मॉडल संदूषण के कारण हुआ हो) के बीच अंतर करना है।

prior (पूर्ववर्ती) ऑडिटिंग विधियाँ अक्सर मॉडल एक्सेस, प्रशिक्षण सेट में कृत्रिम "कैनरीज़" (canaries) डालने, या शैडो मॉडल (shadow models) के प्रशिक्षण पर निर्भर करती हैं। ये दृष्टिकोण गणनात्मक रूप से महंगे हैं, प्रभावी कैनरी डिज़ाइन करने के लिए डोमेन विशेषज्ञता की आवश्यकता होती है, और अक्सर आकस्मिक डेटा जनरेशन (फैंटम) की आधार दर (baseline rate) को समझने में विफल रहते हैं, जिससे गोपनीयता जोखिमों का अतिरंजित अनुमान (overestimation) लगता है।

कार्यप्रणाली (Methodology)

लेखक एक अनुकूलन योग्य, अनुभवजन्य (empirical), ब्लैक-बॉक्स ऑडिटिंग ढांचे का प्रस्ताव करते हैं जिसके लिए केवल सिंथेटिक आउटपुट, मूल निजी डेटा और एक होल्ड-आउट कंट्रोल सेट की आवश्यकता होती है। यह ढांचा मॉडल के आंतरिक भाग तक पहुंच प्राप्त किए बिना, बिना कैनरी डाले, और बिना संदर्भ मॉडल प्रशिक्षित किए कार्य करता है।

मुख्य घटक

1. डेटा विभाजन (Data Partitioning): निजी डेटासेट $D$ को एक प्रशिक्षण सेट ($D_{train}$) और एक होल्डआउट सेट ($D_{hold}$) में विभाजित किया जाता है। एक तंत्र $M$ का उपयोग करके $D_{train}$ से एक सिंथेटिक डेटासेट $Y$ उत्पन्न किया जाता है।
2. खुलासे की परिभाषा (Disclosure Definition): एक खुलासा उस जानकारी को माना जाता है जो स्रोत कॉर्पस में दुर्लभ है लेकिन सिंथेटिक आउटपुट में दिखाई देती है। यह ढांचा तीन विशिष्ट वर्गों का समर्थन करता है:
   • PII लीकेज: उपयोगकर्ताओं की पहचान करने वाली स्ट्रिंग्स (जैसे फोन नंबर) जो स्रोत में दुर्लभ हैं।
   • रेगर्गिटेशन (Regurgitation): हूबहू पुनरुत्पादित दुर्लभ टोकन अनुक्रम।
   • सिमेंटिक पुनर्निर्माण (Semantic Reconstruction): ऐसे रिकॉर्ड जहाँ अर्थ सुरक्षित रहता है, भले ही वे स्रोत में सिमेंटिक रूप से भिन्न हों।
3. फैंटम बनाम सत्य खुलासे (Phantom vs. True Disclosures):
   • सत्य खुलासे (True Disclosures): दुर्लभ विशेषताएं जो $Y$ में पाई जाती हैं और जिनका मूल $D_{train}$ से है।
   • फैंटम खुलासे (Phantom Disclosures): दुर्लभ विशेषताएं जो $Y$ में पाई जाती हैं और जिनका मूल $D_{hold}$ से है। ये आकस्मिक जनरेशन के लिए एक बेसलाइन के रूप में कार्य करते हैं।
4. सांख्यिकीय परिकल्पना परीक्षण (Statistical Hypothesis Testing): ढांचा ऑडिट को एक नियंत्रित प्रयोग के रूप में मानता है ताकि यह निर्धारित किया जा सके कि क्या $D_{train}$ में देखे गए खुलासे $D_{hold}$ द्वारा स्थापित बेसलाइन से अधिक हैं।
   • जीरो-लर्निंग टेस्ट (Zero-Learning Test): यह शून्य परिकल्पना (null hypothesis) का परीक्षण करता है कि तंत्र $M$ इनपुट से बिल्कुल भी नहीं सीखता है (0-डिफरेंशियल प्राइवेसी के अनुरूप)। यह जांचता है कि क्या प्रशिक्षण सेट में खुलासे का वितरण होल्डआउट सेट से सांख्यिकीय रूप से अविभेदनीय है।
   • DP-बाउंडेड लर्निंग टेस्ट (DP-Bounded Learning Test): यह शून्य परिकल्पना का परीक्षण करता है कि क्या तंत्र $\epsilon$-डिफरेंशियल प्राइवेसी का पालन करता है। यह आकलन करता है कि क्या प्रशिक्षण और होल्डआउट खुलासे के बीच का अंतर एक विशिष्ट गोपनीयता बजट $\epsilon$ के अनुरूप है।
5. मेंबरशिप इन्फरेंस अटैक (Membership Inference Attacks - MIA): ढांचा 'डिसक्लोजर स्कोर' का उपयोग करके एक मेंबरशिप इन्फरेंस अटैक का निर्माण करता है। यह भविष्यवाणी करता है कि क्या कोई रिकॉर्ड सिंथेटिक डेटा के साथ अपनी समानता के आधार पर प्रशिक्षण सेट का हिस्सा है, और सफलता को AUC के माध्यम से मापता है।

प्रमुख योगदान

• फैंटम डिस्क्लोजर का औपचारिककरण (Formalization): पेपर ने "फैंटम खुलासे" को पहचाना और परिमाणित किया, यह प्रदर्शित करते हुए कि स्पष्ट गोपनीयता उल्लंघनों का एक महत्वपूर्ण हिस्सा (जैसे कुछ प्रयोगों में >35%) आकस्मिक है। इन्हें अनदेखा करने से जोखिम का भ्रामक अनुमान लगता है।
• मॉडल-एग्नोस्टिक, ब्लैक-बॉक्स ऑडिटिंग: यह ढांचा मॉडल एक्सेस, कैनरी इंसर्शन, या शैडो-मॉडल ट्रेनिंग के बिना कार्य करता है, जिसके लिए केवल सिंथेटिक डेटा और एक होल्ड-आउट सैंपल की आवश्यकता होती है।
• कारणत्मक ढांचा (Causal Framework): उपचार (training) और नियंत्रण (holdout) समूहों में डेटा को विभाजित करके, यह विधि प्रशिक्षण-सेट सदस्यता और अतिरिक्त खुलासे के बीच एक कारणत्मक संबंध स्थापित करती है, जिससे टाइप I एरर को नियंत्रित किया जाता है।
• औपचारिक गोपनीयता सीमाएँ (Formal Privacy Bounds): यह दृष्टिकोण गोपनीयता पैरामीटर $\epsilon$ के लिए अनुभवजन्य निचली सीमाएं प्रदान करता है और जीरो-लर्निंग या विशिष्ट DP गारंटियों को खारिज करने के लिए कठोर सांख्यिकीय परीक्षण (नियंत्रित टाइप I एरर के साथ) प्रदान करता है।
• व्याख्यात्मकता (Interpretability): ब्लैक-बॉक्स MIA स्कोर के विपरीत, यह ढांचा उन विशिष्ट विशेषताओं (जैसे विशिष्ट फोन नंबर या सिमेंटिक एम्बेडिंग) की पहचान करता है जो लीकेज का कारण बनती हैं, जिससे ऑडिटर्स को जोखिम की प्रकृति समझने में मदद मिलती है।

प्रयोगात्मक परिणाम

लेखकों ने तीन जनरेशन तकनीकों का उपयोग करके छह सार्वजनिक डेटासेट्स (Finance, NYT Comments, Panorama, Panorama+, Postings, Tweets) पर इस ढांचे का मूल्यांकन किया:

1. रीराइट्स (Rewrites): रिकॉर्ड्स को फिर से लिखने के लिए LLM को प्रॉम्प्ट देना।
2. फाइन-ट्यूनिंग (SFT): निजी डेटा पर मानक फाइन-ट्यूनिंग।
3. DP-SGD: डिफरेंशियल प्राइवेसी बाधाओं के साथ फाइन-ट्यूनिंग।

मुख्य निष्कर्ष:

• गैर-निजी मॉडल (Non-Private Models): रीराइट्स और SFT के लिए, ढांचे ने सफलतापूर्वक जीरो-लर्निंग परिकल्पना को खारिज कर दिया, जिससे महत्वपूर्ण सत्य खुलासे का पता चला। अनुमानित $\epsilon$ मान उच्च थे (जैसे NYT रीराइट्स के लिए 5.3 तक), जो पर्याप्त गोपनीयता रिसाव का संकेत देते हैं।
• DP मॉडल: DP-SGD के साथ प्रशिक्षित मॉडलों के लिए, ढांचा जीरो-लर्निंग परिकल्पना को खारिज करने में विफल रहा। देखे गए खुलासे फैंटम खुलासे से सांख्यिकीय रूप से अविभेदनीय थे, जो औपचारिक गोपनीयता सुरक्षा की प्रभावकारिता की पुष्टि करता है।
• बेसलाइन्स के साथ तुलना: मीयस एट अल. [32] के कैनरी-आधारित ऑडिट की तुलना में, प्रस्तावित विधि ने:
  • गैर-निजी डेटा के लिए कड़े (tighter) डिस्क्लोजर माप का पता लगाया।
  • DP डेटा के लिए तुलनीय या बेहतर परिणाम प्राप्त किए।
  • बहुत कम कंप्यूटेशनल संसाधनों की आवश्यकता (कोई शैडो मॉडल ट्रेनिंग नहीं)।
  • सिमेंटिक लीकेज का पता लगाया (एम्बेडिंग के माध्यम से) जिसे वर्बेटम n-gram बेसलाइन मिस कर गई थी (जैसे NYT रीराइट्स के लिए 0.51 बेसलाइन के मुकाबले 0.93 का AUC)।

महत्व और दावे

पेपर का दावा है कि सिंथेटिक डेटा के कठोर ऑडिटिंग को विशिष्ट जनरेशन एल्गोरिदम से अलग होना चाहिए और आकस्मिक डेटा जनरेशन की आधार दर को ध्यान में रखना चाहिए। "ट्रू" और "फैंटम" खुलासे के बीच अंतर को औपचारिक रूप देकर, यह ढांचा गोपनीयता रिसाव को मापने का एक अधिक सटीक, व्याख्यात्मक और कुशल तरीका प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण आंतरिक गोपनीयता ऑडिटरों के लिए एक "टर्न-की" (turn-key) डिप्लॉयमेंट प्रदान करता है, जिससे उन्हें जटिल कैनरी डिज़ाइन करने या मालिकाना मॉडल वेट्स तक पहुंच की आवश्यकता के बिना डेटा रिलीज करने से पहले लीकेज जोखिमों को मापने में सक्षम बनाया जा सकता है। यह ढांचा औपचारिक सांख्यिकीय गारंटी (टाइप I एरर नियंत्रण) और गोपनीयता हानि पर अनुभवजन्य निचली सीमाएं प्रदान करता है, जो मॉडल-आधारित या कैनरी-निर्भर ऑडिटिंग तकनीकों के लिए एक मजबूत विकल्प पेश करता है। पेपर निष्कर्ष निकालता है कि जबकि गैर-निजी सिंथेटिक डेटा अक्सर महत्वपूर्ण लीकेज प्रदर्शित करता है, औपचारिक गोपनीयता सुरक्षा (जैसे DP-SGD) सत्य खुलासे को प्रभावी ढंग से कम करती है, जिससे वे सांख्यिकीय रूप से यादृच्छिक संयोगों से अविभेदनीय हो जाते हैं।