तकनीकी सारांश: अनुमानित बेयस-इष्टतम भविष्यवाणी के माध्यम से सूचना रिसाव का पता लगाना

1. समस्या विवरण

डेटा-संचालित वातावरण में, सार्वजनिक रूप से उपलब्ध जानकारी और IoT प्रौद्योगिकियों के प्रसार ने सूचना रिसाव (Information Leakage - IL) के जोखिम को बढ़ा दिया है। IL तब होता है जब संवेदनशील या गोपनीय जानकारी अनजाने में अवलोकन योग्य सिस्टम डेटा (जैसे, नेटवर्क ट्रैफ़िक, बिजली की खपत, समय विलंब) के माध्यम से अनधिकृत पक्षों को उजागर हो जाती है।

सूचना रिसाव का पता लगाने के पारंपरिक दृष्टिकोण अवलोकन योग्य (observable) और गुप्त (secret) चरों के बीच पारस्परिक सूचना (Mutual Information - MI) का अनुमान लगाने पर निर्भर करते हैं। हालाँकि, ये सांख्यिकीय विधियाँ महत्वपूर्ण बाधाओं का सामना करती हैं:

• आयामों का अभिशाप (Curse of Dimensionality): उच्च-आयामी स्थानों में MI अनुमान गणनात्मक रूप से कठिन और सटीक नहीं रह जाता है।
• अभिसरण और जटिलता (Convergence and Complexity): मौजूदा गैर-पैरामीट्रिक अनुमानक अक्सर अभिसरण दर और गणना लागत के मामले में संघर्ष करते हैं।
• असंतुलन और शोर (Imbalance and Noise): सूचना रिसाव का पता लगाने (ILD) के लिए उपयोग किए जाने वाले सुपरवाइज्ड मशीन लर्निंग (ML) दृष्टिकोण अक्सर बाइनरी क्लासिफिकेशन कार्यों तक सीमित होते हैं, असंतुलित वास्तविक दुनिया के डेटासेट के साथ संघर्ष करते हैं, और गलत नकारात्मक (false negatives) उत्पन्न कर सकते हैं या रिसाव के विशिष्ट उप-वर्गों को छोड़ सकते हैं।
• ढाँचे का अभाव (Lack of Framework): वर्तमान ML-आधारित विधियों में अक्सर एक व्यापक सैद्धांतिक ढाँचे की कमी होती है जो मॉडल के प्रदर्शन को सीधे सूचना-सैद्धांतिक रिसाव मेट्रिक्स से जोड़ता है।

2. कार्यप्रणाली

यह शोध पत्र सूचना रिसाव को मापने और पता लगाने के लिए सांख्यिकीय शिक्षण सिद्धांत (statistical learning theory) और सूचना सिद्धांत (information theory) पर आधारित एक सैद्धांतिक ढांचा प्रस्तावित करता है। इसका मूल आधार यह है कि IL की उपस्थिति एक साइड-चैनल के अस्तित्व के समान है, जिसे सिस्टम के डेटा की 'सीखने की क्षमता' (learnability) का विश्लेषण करके पहचाना जा सकता है।

2.1 सैद्धांतिक आधार: LAS और बेयस प्रेडिक्टर्स

लेखक एक सामान्यीकृत रिसाव मूल्यांकन स्कोर (Generalized Leakage Assessment Score - LAS) को परिभाषित करते हैं, जिसे $\delta(\cdot)$ द्वारा दर्शाया जाता है, जो दो प्रेडिक्टर्स के बीच प्रदर्शन अंतर को मापता है:

1. बेयस प्रेडिक्टर ($g_b$): एक इष्टतम क्लासिफायर जो अवलोकन योग्य ($X$) और गुप्त ($Y$) डेटा के संयुक्त वितरण (joint distribution) को देखते हुए अपेक्षित जोखिम (जैसे, Log-Loss या 0-1 loss) को कम करता है।
2. सीमांत बेयस प्रेडिक्टर ($Marginal\ Bayes\ Predictor - g_{mc}$): एक इष्टतम क्लासिफायर जो यह मान लेता है कि $X$ और $Y$ स्वतंत्र हैं (अर्थात, केवल $Y$ के सीमांत वितरण का उपयोग करता है)।

LAS को इन दोनों के बीच प्रदर्शन (loss या accuracy) के अंतर के रूप में परिभाषित किया गया है।

• यदि $X$ और $Y$ स्वतंत्र हैं (कोई रिसाव नहीं है), तो बेयस प्रेडिक्टर, सीमांत बेयस प्रेडिक्टर के समान हो जाता है, और LAS $\approx 0$ होता है।
• यदि $X$ और $Y$ आश्रित हैं (रिसाव मौजूद है), तो बेयस प्रेडिक्टर, सीमांत बेयस प्र्रेडिक्टर की तुलना में काफी बेहतर प्रदर्शन करता है, जिसके परिणामस्वरूप LAS $\gg 0$ होता है।

महत्वपूर्ण रूप से, जब Log-Loss (क्रॉस-एन्ट्रॉपी) का उपयोग किया जाता है, तो LAS गणितीय रूप से पारस्परिक सूचना (Mutual Information) के समान होता है:
$$\delta(\ell_{ll}) = I(X; Y) = E[\ell_{ll}(g_{mc})] - E[\ell_{ll}(g_b)]$$

2.2 ऑटोमेटेड मशीन लर्निंग (AutoML) के माध्यम से अनुमान

चूंकि वास्तविक बेयस प्रेडिक्टर अज्ञात है, इसलिए लेखक इसे AutoML उपकरणों (TabPFN और AutoGluon) के माध्यम से प्रशिक्षित एम्पिरिकल रिस्क मिनिमाइज़र का उपयोग करके अनुमानित करते हैं। वे दो प्राथमिक अनुमान दृष्टिकोण प्रस्तावित करते हैं:

1. लॉग-लॉस अनुमान (Cal Log-Loss):

   • प्रशिक्षित संभाव्य क्लासिफायर ($g_p$) और सीमांत क्लासिफायर ($g_{mc}^p$) के बीच अपेक्षित लॉग-लॉस के अंतर की गणना करके MI का अनुमान लगाता है।
   • कैलिब्रेशन (Calibration): अत्यधिक आत्मविश्वासी भविष्यवाणियों (विशेष रूप से असंतुलित डेटासेट में) की समस्या को दूर करने के लिए, लेखक पोस्ट-हॉक कैलिब्रेशन तकनीकों (Isotonic Regression, Platt's Scaling, Beta Calibration, Temperature Scaling, Histogram Binning) का उपयोग करते हैं ताकि संभाव्यता अनुमानों की सटीकता में सुधार किया जा सके।
   • यह दृष्टिकोण डेटा असंतुलन को सीधे संबोधित करता है, जो अन्य विधियों में ओवरएस्टीमेशन का कारण बनता है।

2. मिड-पॉइंट अनुमान (Mid-Point Estimation):

   • बेयस एरर रेट और कंडिशनल एंट्रॉपी बाउंड्स (Hellman-Raviv और Fano bounds) के बीच संबंध का उपयोग करके MI का अनुमान लगाता है।
   • लेखक नोट करते हैं कि इस विधि से असंतुलित डेटासेट में ओवरएस्टीमेशन हो सकता है, जिससे फाल्स पॉजिटिव (गलत सकारात्मक) परिणाम मिल सकते हैं।

2.3 डिटेक्शन प्रोटोकॉल

सूचना रिसाव (IL) को मजबूती से पहचानने के लिए, लेखक एक सांख्यिकीय परीक्षण ढांचा प्रस्तावित करते हैं:

• परिकल्पना परीक्षण (Hypothesis Testing): वे शीर्ष-10 AutoML पाइपलाइनों के प्रदर्शन मेट्रिक्स पर सांख्यिकीय परीक्षण (MI के लिए One-sample t-test, सटीकता के लिए Paired t-test, कन्फ्यूजन मैट्रिक्स के लिए Fisher's Exact Test) लागू करते हैं।
• शून्य परिकल्पना ($H_0$): कोई IL मौजूद नहीं है (प्रदर्शन अंतर शून्य है)।
• बहु-परिकल्पना सुधार (Multiple Hypothesis Correction): कई मॉडलों के परीक्षण से उत्पन्न होने वाले फाल्स पॉजिटिव को कम करने के लिए, वे Holm-Bonferroni correction लागू करते हैं। रिसाव की घोषणा तभी की जाती है जब पर्याप्त संख्या में परिकल्पनाओं को खारिज कर दिया जाता है (थ्रेसहोल्ड $\tau \geq 5$)।

3. मुख्य योगदान

1. सामान्यीकृत ILD ढांचा: सूचना रिसाव को मापने के लिए LAS का उपयोग करने वाला एक सैद्धांतिक ढांचा, जो वर्गीकरण प्रदर्शन को सूचना-सैद्धांतिक उपायों के साथ एकीकृत करता है।
2. AutoML के माध्यम से MI अनुमानक: AutoML टूल (TabPFN, AutoGluon) का उपयोग करके बेयस प्रेडिक्टर के Log-Loss और सटीकता का उपयोग करके MI का अनुमान लगाने के नवीन तरीके, जो विशेष रूप से उच्च-आयामी और क्लास असंतुलन की चुनौतियों को संबोधित करते हैं।
3. असमानता (Imbalance) का प्रबंधन: यह प्रदर्शन का प्रदर्शन कि लॉग-लॉस अनुमान, जब कैलिब्रेशन तकनीकों के साथ जोड़ा जाता है, डेटा असंतुलन को प्रभावी ढंग से संभालता है और मिड-पॉइंट अनुमान में होने वाले फाल्स पॉजिटिव से बचता है।
4. मजबूत डिटेक्शन प्रोटोकल: सुरक्षा-संवेदनशील संदर्भों में उच्च-विश्वास पहचान सुनिश्चित करने और फाल्स पॉजिटिव को कम करने के लिए Holm-Bonferroni सुधार को शामिल करने वाली एक ILD कार्यप्रणाली।
5. अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक और वास्तविक दुनिया के डेटासेट पर प्रस्तावित विधियों की उनके स्टेट-ऑफ-द-आर्ट बेसलाइन (MINE, GMM, PC-Softmax) के विरुद्ध व्यापक तुलना।

4. प्रयोगात्मक परिणाम

4.1 MI अनुमान प्रदर्शन

विभिन्न शोर स्तरों, आयामों और क्लास असंतुलन के साथ मल्टीवेरिएट नॉर्मल (MVN) वितरणों का उपयोग करके उत्पन्न सिंथेटिक डेटासेट पर प्रयोग किए गए।

• TabPFN की श्रेष्ठता: TabPFN IR Cal Log-Loss दृष्टिकोण ने उच्च-आयामी और असंतुलित परिदृश्यों में सभी बेसलाइन (MINE, GMM, PC-Softmax) और AutoGluon-आधारित विधियों को लगातार पछाड़ते हुए MI का अनुमान लगाने में बेहतर प्रदर्शन किया।
• मजबूती (Robustness): TabPFN ने विभिन्न कक्षाओं की संख्या ($C$), इनपुट आयाम ($d$), और शोर स्तरों ($\epsilon$) के बीच मजबूत सामान्यीकरण प्रदर्शित किया।
• कैलिब्रेशन का प्रभाव: कैलिब्रेशन तकनीकों ने AutoGluon के प्रदर्शन में काफी सुधार किया, लेकिन कभी-कभी गैर-भेद्य (non-vulnerable) सिस्टम में प्रदर्शन को कम कर दिया, जो कैलिब्रेशन की संदर्भ-निर्भरता को दर्शाता है।

4.2 वास्तविक दुनिया के डेटा पर ILD (OpenSSL TLS)

इन विधियों का मूल्यांकन OpenSSL TLS सर्वरों (Bleichenbacher हमलों का अनुकरण करते हुए) के टाइमिंग साइड-चैनल डेटासेट पर किया गया।

• असंतुलित डेटासेट: TabPFN Cal Log-Loss ने उच्चतम पहचान सटीकता (लंबे समय विलंब के लिए ~94% तक) प्राप्त की, जो बेसलाइन से काफी बेहतर है। AutoGluon FET-Median ने भी अच्छा प्रदर्शन किया।
• संतुलित डेटासेट: AutoGluоn Mid-Point और TabPFN IR Cal Log-Loss ने लगभग 99% लीक्स का पता लगाया।
• तुलना: प्रस्तावित MI-आधारित विधियों ने असंतुलित परिदृश्यों में वर्गीकरण-आधारित बेसलाइन (PTT, FET) की तुलना में आम तौर पर बेहतर प्रदर्शन किया, जबकि संतुलित परिदृश्यों में PTT-Majority ने मजबूत प्रदर्शन दिखाया।
• दक्षता (Efficiency): AutoGluon ने रनटाइम (2,400 सेकंड) और सटीकता के बीच एक अनुकूल संतुलन प्रदान किया, जबकि TabPFN ने उच्च कम्प्यूटेशनल लागत (30,000 सेकंड) पर उच्च सटीकता प्रदान की।

5. महत्व और दावे

यह शोध पत्र सूचना रिसाव का पता लगाने के लिए एक व्यापक और स्वचालित ढांचा प्रदान करने का दावा करता है जो पारंपरिक सांख्यिकीय MI अनुमान और मौजूदा ML-आधारित साइड-चैनल विश्लेषण की सीमाओं को दूर करता है।

• सैद्धांतिक कठोरता: बेयस और मार्जिनल बेयस प्रेडिक्टर्स के बीच प्रदर्शन अंतराल में IL पहचान को स्थापित करके, यह कार्य मशीन लर्निंग सामान्यीकरण और सूचना रिसाव के बीच सीधा संबंध स्थापित करता है।
• व्यावहारिक प्रयोज्यता: AutoML टूल का उपयोग मैन्युअल फीचर इंजीनियरिंग या डोमेन-विशिष्ट ट्यूनिंग की आवश्यकता के बिना जटिल, उच्च-आयामी और असंतुलित वास्तविक दुनिया के परिदृश्यों (जैसे, OpenSSL टाइमिंग हमले) में IL का पता लगाने की अनुमति देता है।
• मजबूती: सांख्यिकीय सुधार (Holm-Bonferroni) और कैलिब्रेशन तकनीकों का एकीकरण यह सुनिश्चित करता है कि डिटेक्शन सिस्टम फाल्स पॉजिटिव को कम करे, जो सुरक्षा अनुप्रयोगों के लिए एक महत्वपूर्ण आवश्यकता है।
• स्केलेबिलिटी: इस दृष्टिकोण को आधुनिक, डेटा-गहन प्रणालियों में लीक्स का पता लगाने के लिए एक स्केलेबल समाधान के रूप में प्रस्तुत किया गया है, जो उन डीप लर्निंग मॉडलों के लिए एक स्वचालित विकल्प प्रदान करता है जिन्हें अक्सर व्यापक प्रशिक्षण और ट्यूनिंग की आवश्यकता होती है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण, विशेष रूप से कैलिब्रेटेड Log-Loss के साथ TabPFN का उपयोग करना, MI का प्रभावी ढंग से अनुमान लगाता है और टाइमिंग साइड-चैनल लीक्स का पता लगाता है, जो भविष्य के ILD अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार प्रदान करते हुए स्टेट-ऑफ-द-आर्ट विधियों से बेहतर प्रदर्शन करता है।