🤖 machine learning

Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

यह शोध पत्र प्रकट करता है कि रेक्टिफाइड फ्लोज़ (Rectified Flows) अपने इंटरपोलेशन पथ के साथ प्रशिक्षण और परीक्षण डेटा के बीच पुनर्निर्माण त्रुटि (reconstruction error) में एक सार्वभौमिक, बेल-आकार का अंतराल प्रदर्शित करते हैं, जो एक सैद्धांतिक रूप से व्युत्पन्न स्थान पर चरम पर होता है और स्थिर सत्यापन मेट्रिक्स के बावजूद मेंबरशिप इन्फरेंस अटैक (Membership Inference Attacks) करने के लिए इसका उपयोग किया जा सकता है।

मूल लेखक: Thomas Sesmat, Gabriel Meseguer-Brocal, Geoffroy Peeters

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thomas Sesmat, Gabriel Meseguer-Brocal, Geoffroy Peeters

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ है जिसने वर्षों तक एक विशिष्ट, गुप्त पारिवारिक रेसिपी बुक से खाना बनाना सीखा है। आप इस शेफ को नए व्यंजन बनाने के लिए काम पर रखते हैं। आमतौर पर, आपको इस बात की चिंता होगी कि क्या वे किताब से किसी व्यंजन की हुबहू नकल कर रहे हैं। लेकिन यह शोध पत्र एक सूक्ष्म समस्या की ओर इशारा करता है: भले ही शेफ कभी भी आपको मूल रेसिपी बुक की सटीक प्रति (exact copy) परोस न दे, फिर भी वे खाना बनाने के तरीके में मूल रेसिपी बुक के छोटे, अदृश्य सुराग "लीक" (leak) कर सकते हैं।

शोधकर्ताओं ने एक विशिष्ट प्रकार के AI कुकिंग सिस्टम का अध्ययन किया जिसे रेक्टिफाइड फ्लो (Rectified Flow) कहा जाता है। इन सिस्टम्स को ऐसे समझें जो यादृच्छिक (random), अराजक शोर (जैसे टीवी पर दिखने वाला स्टैटिक/झिलमिलाहट) को एक स्पष्ट, संरचित छवि या ध्वनि में बदल देते हैं। ऐसा करने के लिए, मशीन एक विशिष्ट पथ, या "इंटरपोलेशन" (interpolation) का अनुसरण करती है, जहाँ वह शोर और अंतिम डेटा को धीरे-धीरे मिलाती है।

यहाँ उनके शोध का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:

1. लीकेज का "स्वीट स्पॉट" (The "Sweet Spot" of Leaking)

शोधकर्ताओं ने पाया कि AI इस मिश्रण प्रक्रिया के हर चरण के साथ एक जैसा व्यवहार नहीं करता है।

शुरुआत में (शुद्ध शोर/Pure Noise): AI केवल स्टैटिक (static) को देख रहा है। उसे इस बात का कोई अंदाजा नहीं है कि अंतिम तस्वीर कैसी दिखनी चाहिए, इसलिए वह उस रेसिपी के बीच अंतर नहीं कर सकता जिसे वह जानता है और जिसे वह नहीं जानता।
अंत में (शुद्ध डेटा/Pure Data): AI तैयार व्यंजन को देख रहा है। यह बहुत स्पष्ट है; वह बस परिणाम को देख रहा है।
बीच में (बेल कर्व/The Bell Curve): असली जादू बीच में होता है। शोधकर्ताओं ने पाया कि AI की "याददाश्त" डेटा के लीक होने की एक बेल-आकार की वक्र (bell-shaped curve) बनाती है। मिश्रण की प्रक्रिया में एक विशिष्ट क्षण आता है जहाँ AI अनजाने में यह बताने की सबसे अधिक संभावना रखता है, "हे, मैंने इसे पहले देखा है!"

वे इसे "मेंबरशिप सिग्नल" (Membership Signal) कहते हैं। यह कुछ ऐसा है जैसे शेफ उस डिश को प्लेट करने में थोड़ा अधिक आत्मविश्वासी या सटीक हो जाता है जो उस रेसिपी से मिलती-जुलती है जिसे उसने याद किया था, भले ही अंतिम व्यंजन थोड़ा अलग दिखता हो।

2. लीक का पूर्वानुमान लगाना (Predicting the Leak)

यह पेपर केवल लीक खोजने के बारे में नहीं है; यह यह अनुमान लगाने के बारे में भी है कि यह ठीक कहाँ होता है।

उपमा: कल्पना कीजिए कि आप रेत के ढेर (शोर) और सोने के ढेर (डेटा) के बीच एक रास्ते पर चल रहे हैं। शोधकर्ताओं ने पाया कि "लीक" इस पथ पर एक विशिष्ट स्थान पर होता है।
सूत्र (Formula): उन्होंने इस स्थान का अनुमान लगाने के लिए एक गणितीय सूत्र निकाला। यदि आप जानते हैं कि शोर कितना "फैला हुआ" है और डेटा कितना "फैला हुआ" है, तो आप गणना कर सकते हैं कि यात्रा का ठीक कितना प्रतिशत हिस्सा AI के लिए सबसे अधिक असुरक्षित है।
कैच (The Catch): यह सूत्र तब पूरी तरह से काम करता है जब डेटा एक अच्छे, अनुमानित बेल कर्व (Gaussian distribution) की तरह व्यवहार करता है। यदि डेटा अव्यवस्थित या अजीब है (जैसे कुछ प्रकार की छवियां), तो लीक अभी भी एक बेल आकार में होता है, लेकिन "स्वीट स्पॉट" अनुमानित स्थान से थोड़ा खिसक सकता है।

3. मानक जाँच क्यों चूक जाती है (Why Standard Checks Miss It)

आप पूछ सकते हैं, "डेवलपर्स ने इसे क्यों नहीं देखा?"

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि आप पूरी परीक्षा के दौरान उसके औसत स्कोर को देखते हैं, तो वह एक आदर्श छात्र लग सकता है। लेकिन यदि आप एक विशिष्ट प्रश्न को देखते हैं जिसमें वह संघर्ष कर रहा था, तो आप देख सकते हैं कि उसने उस एक प्रश्न के लिए उत्तर कुंजी (answer key) को रट लिया था।
वास्तविकता: AI प्रशिक्षण के मानक चेक पूरी प्रक्रिया में "औसत" प्रदर्शन को देखते हैं। शोधकर्ताओं ने पाया कि "लीक" इसलिए छिपा हुआ है क्योंकि यह उस एक विशिष्ट मध्य स्थान में केंद्रित है। AI का समग्र प्रदर्शन बहुत अच्छा दिखता है, लेकिन वह विशिष्ट स्थान ही है जहाँ वह गुप्त रूप से "उन चीजों" के बीच अंतर करता है जिन्हें उसने सीखा है और "उन चीजों" के बीच जिन्हें उसने नहीं देखा है।

4. "मेंबरशिप इन्फरेंस अटैक" (The "Membership Inference Attack")

शोधकर्ताओं ने सिद्ध किया कि यह केवल सिद्धांत नहीं है; यह एक व्यावहारिक जोखिम है।

हमला (The Attack): उन्होंने एक सरल "जासूस" टूल बनाया। अंतिम छवि या ध्वनि को देखने के बजाय, जासूस मिश्रण की प्रक्रिया के उस विशिष्ट "स्वीट स्पॉट" पर AI को देखता है।
परिणाम: उस विशिष्ट क्षण में AI के व्यवहार का विश्लेषण करके, जासूस उच्च सटीकता के साथ (उनके संगीत प्रयोगों में 91%) बता सका कि डेटा का एक विशिष्ट हिस्सा AI के प्रशिक्षण आहार का हिस्सा था या नहीं। यह एक झूठ पकड़ने वाले टेस्ट (lie detector test) की तरह है जो AI से उस सटीक क्षण में एक पहेली हल करने के लिए पूछकर काम करता है जब उसके फिसलने की सबसे अधिक संभावना होती है।

सारांश (Summary)

यह पेपर दिखाता है कि रेक्टिफाइड फ्लो AI मॉडल अपने प्रशिक्षण डेटा के एक संरचित, अनुमानित "फिंगरप्रिंट" छोड़ते हैं। यह फिंगरप्रिंट यादृच्छिक (random) नहीं है; यह एक बेल कर्व का पालन करता है जो जनरेशन प्रक्रिया के एक गणना योग्य बिंदु पर चरम (peak) पर होता है। जबकि मानक सुरक्षा जाँच इसे चूक सकती है क्योंकि वे बड़े चित्र को देखती हैं, उस विशिष्ट "पीक" पर लक्षित जाँच यह प्रकट कर सकती है कि AI ने वास्तव में क्या याद किया है।

यह पेपर क्या दावा नहीं करता है:

यह दावा नहीं करता कि यह हर प्रकार के AI मॉडल के लिए काम करता है (यह विशेष रूप से रेक्टिफाइड फ्लो पर केंद्रित है)।
यह दावा नहीं करता कि यह सीधे कॉपीराइट सामग्री चुराने का एक नया तरीका है (यह इस बारे में है कि डेटा का उपयोग किया गया था या नहीं, न कि स्वयं डेटा को निकालने के बारे में)।
यह किसी भी समस्या का पूर्ण समाधान (cure-all fix) पेश नहीं करता है, हालांकि यह सुझाव देता है कि इस "पीक" को समझना भविष्य में बेहतर गोपनीयता सुरक्षा (privacy defenses) बनाने में डेवलपर्स की मदद कर सकता है।

तकनीकी सारांश: रेक्टिफाइड फ्लो (Rectified Flows) कहाँ लीक होते हैं: इंटरपोलेशन पाथ के साथ मेंबरशिप सिग्नल्स का लक्षण वर्णन

समस्या विवरण
जेनरेटिव मॉडल्स का परिनियोजन (deployment), विशेष रूप से रेक्टिफाइड फ्लो (जो FLUX.1, VoiceBox और Stable Audio Open जैसे सिस्टम में उपयोग किए जाते हैं), प्रशिक्षण डेटा के प्रतिधारण (retention) के संबंध में महत्वपूर्ण कानूनी और गोपनीयता संबंधी चिंताएं पैदा करता है। जबकि मौजूदा शोध वर्बेट (verbatim) पुनरुत्पादन पर ध्यान केंद्रित करता है, मॉडल सूक्ष्म "मेंबरशिप सिग्नल्स" (membership signals) को एनकोड कर सकते हैं—जो मापने योग्य विषमताएं (asymmetries) हैं जहाँ मॉडल प्रशिक्षण डेटा के साथ होल्ड-आउट डेटा की तुलना में अलग व्यवहार करता है, बिना उसे स्पष्ट रूप से पुनरुत्पादित किए। ये सिग्नल अक्सर मानक प्रशिक्षण मेट्रिक्स (जैसे लॉस कर्व्स) द्वारा अनकहे रह जाते हैं, जो ओवरफिटिंग के कोई संकेत नहीं दिखाते हैं। रेक्टिफाइड फ्लो इंटरपोलेशन पाथ के भीतर इन सिग्नल्स का विशिष्ट स्थान और संरचनात्मक प्रकृति अभी तक सैद्धांतिक रूप से अनिश्चित (uncharacterized) है, विशेष रूप से डिफ्यूजन मॉडल्स के इटरेटिव डिनोइजिंग ट्रैजेक्टरीज की तुलना में।

कार्यप्रणाली
लेखक एक सैद्धांतिक और प्रयोगात्मक ढांचा प्रस्तावित करते हैं जो रैखिक इंटरपोलेशन पाथ $X_\lambda = (1-\lambda)X_0 + \lambda X_1$ के साथ मेंबरशिप सिग्नल्स का लक्षण वर्णन करता है, जो रेक्टिफाइड फ्लो प्रशिक्षण को परिभाषित करता है।

सैद्धांतिक ढांचा:
- विघटन (Decomposition): प्रशिक्षण हानि (loss) को एप्रोक्सिमेशन एरर, इर्रिड्यूसिबल वेरिएंस, और एक क्रॉस-कोरिलेशन टर्म $G_{train}(\lambda)$ में विभाजित किया गया है। लेखक $G_{train}(\lambda)$ को मेंबरशिप सिग्नल के रूप में पहचानते हैं, जो मॉडल के इष्टतम प्रेडिक्टर से विचलन और प्रशिक्षण-विशिष्ट रेसिडुअल्स के बीच सहसंबंध (correlation) का प्रतिनिधित्व करता है।
- गौसियन धारणाएं (Gaussian Assumptions): इस धारणा के तहत कि शोर वितरण $X_0$ और डेटा वितरण $X_1$ स्वतंत्र और गौसियन हैं (सह-प्रसरण $\Sigma_0$ और $\Sigma_1$ के साथ), लेखक उस स्थान $\lambda^*_F$ के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन निकालते हैं जहाँ मेंबरशिप सिग्नल चरम (peak) पर होता है। यह पीक वहां होता है जहाँ इंटरपोलेटेड स्टेट और वेलोसिटी के बीच क्रॉस-कोवेरिएंस न्यूनतम होता है।
- तंत्र (Mechanism): सिग्नल $\lambda^*_F$ पर पीक करता है क्योंकि वहां लीनियर कंपोनेंट का प्रेडिक्शन लुप्त हो जाता है। मॉडल को लक्ष्य को समझाने के लिए नॉन-लीनियर फीचर्स पर निर्भर होना पड़ता है, जिससे सामान्यीकरण योग्य नॉन-लिनैरिटीज़ सीखने और सैंपल-विशिष्ट रेसिडुअल्स को फिट करने (मेमोराइजेशन) के बीच प्रतिस्पर्धा उत्पन्न होती है।
प्रायोगिक प्रोटोकॉल:
- डिटेक्शन: एक दिए गए सैंपल $x_1$ के लिए, लेखक विभिन्न $\lambda$ पर शोर $x_0$ के साथ इंटरपोलेट करते हैं, वेलोसिटी का अनुमान लगाते हैं, $x_1$ को पुनर्निर्मित (reconstruct) करते हैं, और मीन स्क्वेर्ड एरर (MSE) मापते हैं।
- मेट्रिक: वे मेंबरशिप सिग्नल को अलग करने के लिए एक नॉर्मलाइज्ड ट्रेन-टेस्ट गैप $\Delta_{norm}(\lambda)$ की गणना करते हैं।
- वैलिडेशन: ऑडियो (MAESTRO v3, MTG-Jamendo, FMA Large) और इमेज (CelebA) डेटासेट्स पर विभिन्न लेटेंट स्पेस (Music2Latent, Stable Audio VAE, Stable Diffusion VAE) और आर्किटेक्चर (Transformer, UNet) तथा मॉडल कैपेसिटी का उपयोग करके प्रयोग किए गए।

मुख्य योगदान

सिग्नल का लक्षण वर्णन: पेपर यह प्रदर्शित करता है कि रेक्टिफाइड फ्लो में ट्रेन-टेस्ट रिकंस्ट्रक्शन गैप $\lambda$ पर एक यूनिवर्सल बेल-शेप्ड कर्व (bell-shaped curve) का अनुसरण करता है। सिग्नल सीमाओं ( $\lambda=0, 1$ ) पर न्यूनतम होता है और एक मध्यवर्ती बिंदु पर अधिकतम होता है।
क्लोज्ड-फॉर्म प्रेडिक्शन: एक सैद्धांतिक व्युत्पत्ति डेटा और नॉइज़ कोवेरिएंस के आधार पर पीक लोकेशन $\lambda^*_F$ के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन प्रदान करती है:
$\lambda^*_F = \frac{\text{tr}(\Sigma_0^2) + \text{tr}(\Sigma_0\Sigma_1)}{\text{tr}((\Sigma_0 + \Sigma_1)^2)}$
यह भविष्यवाणी तब सटीक रूप से काम करती है जब गौसियन आइसोट्रोपिक धारणाएं संतुष्ट होती हैं (जैसे ऑडियो लेटेंट स्पेस में)।
साइलेंट एक्युमुलेशन (Silent Accumulation): अध्ययन दिखाता है कि मेंबरशिप सिग्नल प्रशिक्षण के दौरान संचित होता रहता है, भले ही वैलिडेशन लॉस कम हो रहा हो और मानक डायग्नोस्टिक्स स्वस्थ लर्निंग का संकेत दे रहे हों। यह सिग्नल $\lambda$ पर स्थानिक औसत (spatial averaging) द्वारा मास्क हो जाता है।
मेंबरशिप इन्फरेंस अटैक (MIA): एक प्रूफ ऑफ कॉन्सेप्ट के रूप में, लेखक रिकंस्ट्रक्शन एरर के $\lambda$ -रिजॉल्व्ड स्ट्रक्चर का लाभ उठाते हैं। एक साधारण MLP क्लासिफायर में पूर्ण कर्व (या $\lambda$ के विभिन्न बिंदुओं पर एरर वेक्टर) को फीड करके, वे एक सिंगल $\lambda$ पॉइंट (0.67) या एडेप्टेड डिफ्यूजन-आधारित तरीकों (0.67) की तुलना में काफी अधिक AUC (MAESTRO पर 0.91) प्राप्त करते हैं।

परिणाम

यूनिवर्सलिटी: ट्रेन-टेस्ट गैप की बेल-शेप्ड संरचना सभी परीक्षण की गई कॉन्फ़िगरेशन में सार्वभौमिक रूप से दिखाई देती है, जिसमें विभिन्न मोडैलिटीज (ऑडियो/इमेज), आर्किटेक्चर (Transformer/UNet), और लेटेंट स्पेस शामिल हैं, भले ही सैद्धांतिक धारणाएं (गौसियनिटी/आइसोट्रॉपी) खंडित हों (जैसे CelebA)।
पीक सटीकता: जब गौसियन आइसोट्रोपिक धारणाएं लागू होती हैं (Music2Latent या Stable Audio VAE के साथ ऑडियो डेटासेट्स), तो देखा गया पीक लोकेशन ग्रिड रेजोल्यूशन के भीतर सैद्धांतिक $\lambda^*_F$ से मेल खाता है। जब धारणाएं टूटती हैं (SD VAE के साथ CelebA), तो बेल शेप बना रहता है, लेकिन पीक लोकेशन क्लोज्ड-फॉर्म प्रेडिक्शन से विचलित हो जाती है।
परिमाण को प्रभावित करने वाले कारक: पीक का स्थान केवल डेटा ज्योमेट्री ( $\Sigma_0, \Sigma_1$ ) द्वारा शासित होता है और मॉडल आर्किटेक्चर या कैपेसिटी से स्वतंत्र है। हालांकि, सिग्नल का परिमाण मॉडल कैपेसिटी के साथ बढ़ता है और लॉग-नॉर्मल $\lambda$ -सैंपलिंग शेड्यूलर द्वारा बढ़ाया जाता है जो पीक के पास प्रशिक्षण को केंद्रित करते हैं।
रिफ्लो (Reflow): प्रारंभिक प्रयोग बताते हैं कि "रिफ्लो" प्रक्रिया (ट्रैजेक्टरीज को सीधा करने की प्रक्रिया) बेल शेप को बनाए रखती है लेकिन सिग्नल के परिमाण को काफी कम कर देती है, जो संभावित रूप से एक प्राकृतिक शमन (mitigation) प्रदान करती है।

महत्व और दावे
पेपर का दावा है कि यह केवल अनुभवजन्य अवलोकन से आगे बढ़कर, यह प्रदान करने वाला पहला सैद्धांतिक आधार है कि रेक्टिफाइड फ्लो में मेंबरशिप सिग्नल कहाँ और क्यों केंद्रित होते हैं।

गोपनीयता जोखिम: यह स्थापित करता है कि रेक्टिफाइड फ्लो में मेमोराइजेशन का पता लगाने के लिए मानक प्रशिक्षण मेट्रिक्स अपर्याप्त हैं, क्योंकि सिग्नल चुपचाप संचित होता है। सिग्नल की संरचित प्रकृति इसे अत्यधिक शोषण योग्य बनाती है।
रक्षात्मक निहितार्थ: लेखक सुझाव देते हैं कि चूंकि पीक लोकेशन प्रेडिक्टेबल और आर्किटेक्चर-इंडिपेंडेंट है, इसलिए गोपनीयता-संरक्षण तंत्र (जैसे रेगुलाइजेशन या नॉइज़ इंजेक्शन) को पूरे $\lambda$ के बजाय विशेष रूप से $\lambda^*_F$ पर लक्षित किया जा सकता है।
प्रशिक्षण दक्षता: पीक $\lambda^*$ उस बिंदु के अनुरूप है जहाँ प्रेडिक्शन सबसे कठिन होता है (संतुलित शोर और डेटा)। लेखक नोट करते हैं कि शेड्यूलर जो इस बिंदु के पास प्रशिक्षण को केंद्रित करते हैं, वे अभिसरण (convergence) में सुधार करते हैं (जैसा कि SD3 में देखा गया है) लेकिन साथ ही गोपनीयता रिसाव को भी बढ़ा देते हैं, जो प्रशिक्षण दक्षता और गोपनीयता के बीच एक मौलिक ट्रेड-ऑफ को उजागर करता है।

यह कार्य एक व्हाइट-बॉक्स सेटिंग के तहत प्रूफ ऑफ कॉन्सेप्ट के रूप में प्रस्तुत किया गया है, जो स्वीकार करता है कि स्ट्रॉन्गर थ्रेट मॉडल (ब्लैक-बॉक्स एक्सेस) और कंडीशनल जनरेशन (टेक्स्ट प्रॉम्प्ट्स) के प्रभाव भविष्य के अन्वेषण के लिए खुले प्रश्न हैं।

1. लीकेज का "स्वीट स्पॉट" (The "Sweet Spot" of Leaking)

2. लीक का पूर्वानुमान लगाना (Predicting the Leak)

3. मानक जाँच क्यों चूक जाती है (Why Standard Checks Miss It)

4. "मेंबरशिप इन्फरेंस अटैक" (The "Membership Inference Attack")

सारांश (Summary)

इसी तरह के और पेपर