🤖 AI

Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

यह शोध पत्र एक तंत्रिका विज्ञान-प्रेरित टोपोलॉजिकल रेगुलेराइजेशन फ्रेमवर्क पेश करता है जो मॉडल की उपयोगिता को तुलनीय बनाए रखते हुए, मेंबरशिप इन्फरेंस प्राइवेसी हमलों के विरुद्ध मल्टी-मोडल विजन-लैंग्वेज मॉडल्स की लचीलेपन को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: David Amebley, Sayanton Dibbo

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: David Amebley, Sayanton Dibbo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य तस्वीर: "मेमोरी लीक" की समस्या

कल्पime कि आपने एक बहुत ही बुद्धिमान रोबोट कलाकार (एक विज़न-लैंग्वेज मॉडल) को काम पर रखा है जो विवरणों के आधार पर चित्र बनाने में सक्षम है। आप इस रोबोट को आपके निजी फोटो एल्बम के विशिष्ट फोटो और कैप्शन का उपयोग करके प्रशिक्षित करते हैं।

अब, कल्पना करें कि एक चालाक जासूस (एडवर्सरी) यह जानना चाहता है: "क्या इस रोबोट ने मेरे निजी फोटो एल्बम से सीखा है, या इसने कहीं और से सीखा है?"

इसे मेंबरशिप इन्फरेंस अटैक (MIA) कहा जाता है। जासूस को रोबोट के दिमाग या कोड को देखने की ज़रूरत नहीं है। वे बस रोबोट को एक तस्वीर दिखाते हैं और एक विवरण मांगते हैं।

यदि रोबोट का विवरण आपके निजी एल्बम के मूल कैप्शन के लगभग समान है, तो जासूस सोचता है, "आहा! इसने इसे याद कर लिया है। यह फोटो इसके ट्रेनिंग डेटा में थी!"
यदि विवरण अस्पष्ट या अलग है, तो जासूस सोचता है, "नहीं, इसने इसे याद नहीं किया।"

समस्या यह है कि यदि रोबोट आपके निजी फोटो को बहुत अधिक सटीकता से याद कर लेता है, तो वह अनजाने में आपकी गोपनीयता (प्राइवेसी) लीक कर देता है।

समाधान: रोबोट को "दिमाग की तरह सोचना" सिखाना

शोधकर्ताओं ने पूछा: क्या हम रोबोट को अपने काम में खराब किए बिना, विशिष्ट विवरणों को याद करने से कम योग्य बना सकते हैं?

उन्होंने देखा कि वास्तविक मानव मस्तिष्क कैसे काम करता है। एक मानव मस्तिष्क में, न्यूरॉन्स एक विशिष्ट, सुचारू मानचित्र (जैसे एक शहर का ग्रिड) में व्यवस्थित होते हैं। यदि आप एक दिशा में थोड़ा सा चलते हैं, तो मस्तिष्क की गतिविधि सुचारू रूप से बदलती है, यादृच्छिक (रैंडम) रूप से नहीं। इसे टोपोलॉजिकल ऑर्गनाइजेशन कहा जाता है।

शोधकर्ताओं ने अपने AI मॉडलों को इसी तरह की "मस्तिष्क जैसी" संरचना सीखने के लिए मजबूर करने की कोशिश की। उन्होंने प्रशिक्षण के दौरान एक विशेष नियम (जिसे $\tau$ -रेगुलराइजेशन कहा जाता है) जोड़ा। इस नियम को एक सख्त शिक्षक के रूप में समझें जो रोबोट को कहता है: "इस एक तस्वीर के लिए सटीक उत्तर को सिर्फ रट मत लो। इसके बजाय, उत्तर के सामान्य 'आकार' को सीखो ताकि समान तस्वीरों को समान, सुचारू उत्तर मिल सकें।"

उन्होंने रोबोट के तीन संस्करणों का परीक्षण किया:

बेसलाइन ( $\tau=0$ ): बिना किसी विशेष नियम वाला सामान्य रोबोट।
न्यूरो ( $\tau=2$ ): थोड़े से "मस्तिष्क जैसी" संरचना वाला रोबोट।
न्यूरो++ ( $\tau=3$ ): एक मजबूत "मस्तिष्क जैसी" संरचना वाला रोबोट।

प्रयोग: जासूस का परीक्षण

शोधकर्ताओं ने तीन अलग-अलग प्रकार के AI रोबोट (BLIP, PaliGemma 2, और ViT-GPT2) को तीन अलग-अलग फोटो-कैप्शन जोड़ों (COCO, CC3M, और NoCaps) पर परखा।

उन्होंने जासूस को यह अनुमान लगाने दिया कि कौन सी तस्वीरें ट्रेनिंग डेटा में थीं। उन्होंने सफलता को मापने के लिए ROC-AUC नामक स्कोर का उपयोग किया:

100% (1.0): जासूस एक जीनियस है; वह निजी और सार्वजनिक फोटो के बीच पूरी तरह से अंतर बता सकता है।
50% (0.5): जासूस एक सिक्के के उछाल की तरह अनुमान लगा रहा है; वह अंतर बिल्कुल नहीं बता सकता।

परिणाम: सुचारू मस्तिष्क, सुरक्षित रहस्य

यहाँ उन्हें जो मिला:

1. "मस्तिष्क जैसे" रोबोट को तोड़ना कठिन है
जब उन्होंने "मस्तिष्क जैसे" नियम को बढ़ाया ( $\tau$ को बढ़ाकर), तो जासूस का अनुमान लगाने का स्तर काफी गिर गया।

COCO डेटासेट पर BLIP रोबोट के लिए, जासूस की सफलता दर लगभग 24% गिर गई।
कुछ मामलों में, जासूस का स्कोर इतना कम (50% के करीब) हो गया कि वे मूल रूप से केवल अनुमान लगा रहे थे। रोबोट ने ट्रेनिंग फोटो के विशिष्ट "फिंगरप्रिंट" को याद करना बंद कर दिया था।

2. रोबोट अभी भी बेहतरीन काम करते हैं (कोई "यूटिलिटी" हानि नहीं)
आमतौर पर, जब आप किसी रोबोट को याद करने से कम योग्य बनाते हैं, तो वह अपने वास्तविक काम (जैसे चित्र का वर्णन करना) में कम बुद्धिमान हो जाता है। लेकिन यहाँ, "न्यूरो" रोबोट अभी भी उत्कृष्ट थे।

उन्होंने चित्रों का वर्णन बिल्कुल वैसे ही किया जैसे सामान्य रोबोट करते हैं।
उनके विवरण अभी भी सही उत्तरों के बहुत समान थे (जिसे MPNet और ROUGE-2 स्कोर द्वारा मापा गया)।
उपमा: कल्पना करें कि एक छात्र जो अभ्यास टेस्ट के सटीक उत्तर रटना बंद कर देता है, लेकिन फिर भी अवधारणाओं को इतनी अच्छी तरह समझता है कि वह वास्तविक परीक्षा में भी समान ग्रेड प्राप्त करता है।

3. यह हर जगह काम करता है
यह केवल एक रोबोट के साथ हुआ इत्तेफाक नहीं था। उन्होंने अलग-अलग रोबोट और अलग-अलग फोटो सेट पर इसका परीक्षण किया, और "मस्तिष्क जैसी" संरचना ने लगातार रोबोट को बिना खराब किए अधिक निजी बनाया।

निचोड़

यह पेपर दिखाता है कि मानव मस्तिष्क सूचना को कैसे व्यवस्थित करता है उसकी नकल करके (आंतरिक "मानचित्रों" को अधिक सुचारू और संरचित बनाकर), हम ऐसा AI बना सकते हैं जो प्राइवेसी लीक के प्रति प्रतिरोधी (resilient) हो।

AI एक ऐसे तोते की तरह व्यवहार करना बंद कर देता है जो उसके ट्रेनिंग डेटा से सटीक वाक्यांश दोहराता है, और एक ऐसे इंसान की तरह व्यवहार करने लगता है जो सामान्य विचार को समझता है। यह एक चालाक जासूस के लिए यह पता लगाना बहुत कठिन बना देता है कि क्या कोई विशिष्ट फोटो AI के गुप्त ट्रेनिंग सेट का हिस्सा था, और यह सब AI को स्मार्ट और उपयोगी बनाए रखते हुए किया जाता है।

तकनीकी सारांश: न्यूरो-प्रेरित मल्टी-मोडल विजन-लैंग्वेज मॉडल्स और मेंबरशिप इन्फरेंस रेजिस्टेंस (सदस्यता अनुमान प्रतिरोध)

समस्या विवरण
एजेंटिक एआई (जैसे कि रोबोटिक्स, स्वास्थ्य सेवा, प्रमाणीकरण) अनुप्रयोगों में मल्टी-मोडल मॉडल्स (MMs), विशेष रूप से विजन-लैंग्वेज मॉडल्स (VLMs) की तीव्र तैनाती ने नई गोपनीयता कमजोरियों को जन्म दिया है। जबकि मौजूदा शोध ने यूनिमोडल सिस्टम और लार्ज लैंग्वेज मॉडल्स (LLMs) पर मेंबरशिप इन्फरेंस अटैक्स (MIAs) का व्यापक विश्लेषण किया है, VLMs की ब्लैक-बॉक्स MIAs के विरुद्ध प्रतिरोध क्षमता अभी भी कम खोजी गई है। एक ब्लैक-बॉक्स MIA परिदृश्य में, एक हमलावर एक इमेज को तैनात VLM में क्वेरी करता है और यह पता लगाने का प्रयास करता है कि क्या एक विशिष्ट इमेज-टेक्स्ट पेयर उसके प्रशिक्षण डेटासेट का हिस्सा था या नहीं, जो उत्पन्न कैप्शन का विश्लेषण करके किया जाता है। यदि यह सफल होता है, तो यह एक गोपनीयता लीक है, जो संवेदनशील प्रशिक्षण डेटा को प्रकट करता है। पिछले अध्ययन बताते हैं कि जैविक रूप से प्रेरित न्यूरल नेटवर्क प्रतिनिधित्व यूनिमोडल मॉडल्स में प्रतिकूल हमलों के विरुद्ध प्रतिरोध में सुधार कर सकते हैं, लेकिन यह अज्ञात है कि क्या न्यूरो-प्रेरित संरचनात्मक नियमितीकरण (structural regularization) जटिल, मल्टी-मोडल VLMs में गोपनीयता रिसाव को कम कर सकता है।

कार्यप्रणाली
यह कार्य न्यूरोसाइंस-प्रेरित टोपोलॉजिकल रेगुलराइजेशन (जिसे $\tau$ -रेगुलराइजेशन कहा जाता है) का उपयोग करके इमेज-टेक्स्ट-आधारित MIAs के विरुद्ध VLMs की प्रतिरोध क्षमता का मूल्यांकन करने और बढ़ाने के लिए एक व्यवस्थित ढांचा प्रस्तुत करता है।

थ्रेट मॉडल (खतरा मॉडल): यह अध्ययन एक सख्त ब्लैक-बॉक्स सेटिंग के तहत काम करता है। हमलावर के पास मॉडल वेट, ग्रेडिएंट्स या आंतरिक एम्बेडिंग्स तक कोई पहुंच नहीं होती है। वे केवल लक्षित मॉडल $M_\tau$ को एक इनपुट इमेज $u$ सबमिट कर सकते हैं और उत्पन्न कैप्शन $v'$ को देख सकते हैं। हमलावर के पास एक संदर्भ कैप्शन $v$ (ग्राउंड ट्रुथ) होता है और वह सदस्यता का अनुमान लगाने के लिए समानता मेट्रिक्स का उपयोग करता है।
टोपोलॉजिकल रेगुलराइजेशन ( $\tau$ -रेगुलराइजेशन): मुख्य कार्यप्रणाली एक संशोधित लॉस फंक्शन के साथ प्री-ट्रेन्ड VLMs को फाइन-ट्यून करना शामिल है:
$J_\tau = J_{cap} + \tau \cdot R_{topo}$
जहाँ $J_{cap}$ मानक कैप्शनिंग लॉस (क्रॉस-एन्ट्रॉपी) है और $R_{topo}$ एक टोपोग्राफिक रेगुलराइज़र है जो फीचर मैप्स को उनके ब्लर किए गए समकक्षों के साथ संरेखित करके स्मूथ और स्थानिक रूप से व्यवस्थित आंतरिक प्रतिनिधित्व को प्रोत्साहित करता है। स्केलर $\tau$ इस इंडक्टिव बायस की शक्ति को नियंत्रित करता है।
प्रायोगिक विन्यास (Experimental Configuration):
- मॉडल्स: तीन VLMs का मूल्यांकन किया गया: BLIP, PaliGemma 2, और ViT-GPT2।
- डेटासेट्स: प्रयोग COCO, CC3M, और NoCaps पर किए गए।
- वैरिएंट्स: मॉडल्स का परीक्षण तीन विन्यासों में किया गया:
  - बेसलाइन: $\tau = 0$ (मानक फाइन-ट्यूनिंग)।
  - NEURO: $\tau = 2$ (मध्यम टोपोलॉजिकल रेगुलराइजेशन)।
  - NEURO++: $\tau = 3$ (मजबूत टोपोलॉजिकल रेगुलराइजेशन)।
- अटैक मैकेनिज्म: हमलावर MPNet (सिमेंटिक सिमिलरिटी) और ROUGE-2 (लेक्सिकल ओवरलैप) का उपयोग करके जनरेट किए गए कैप्शन $v'$ और संदर्भ कैप्शन $v$ के बीच समानता की गणना करता है। एक उच्च समानता स्कोर यह सुझाव देता है कि नमूना प्रशिक्षण सेट का एक "मेंबर" है। अटैक सफलता को ROC-AUC का उपयोग करके मापा जाता है।

प्रमुख योगदान

फ्रेमवर्क का परिचय: यह पेपर एक $\tau$ -रेगुलराइज्ड टोपोलॉजिकल रेगुलराइजेशन फ्रेमवर्क पेश करता है जिसे विशेष रूप से गोपनीयता हमलों के विरुद्ध VLMs की प्रतिरोध क्षमता का आकलन करने के लिए डिज़ाइन किया गया है।
प्रथम न्यूरो-VLMs पर अनुभवजन्य अध्ययन: यह कार्य इस बात की पहली जांच प्रस्तुत करता है कि क्या न्यूरो-प्रेरित संरचनात्मक रेगुलराइजेशन ब्लैक-बॉक्स MIAs के विरुद्ध VLMs की गोपनीयता प्रतिरोध क्षमता में सुधार करता है।
व्यापक मूल्यांकन: लेखक तीन अलग-अलग VLM आर्किटेक्चर और तीन बेंचमार्क डेटासेट्स पर एक व्यापक मूल्यांकन प्रदान करते हैं, जिसमें बेसलाइन मॉडल्स की तुलना न्यूरो-प्रेरित वैरिएंट्स से की गई है।
प्राइवेसी-यूटिलिटी ट्रेड-ऑफ विश्लेषण: यह अध्ययन गोपनीयता सुरक्षा (कम हमला सफलता) और मॉडल उपयोगिता (कैप्शन जनरेशन क्वालिटी) के बीच ट्रेड-ऑफ पर मात्रात्मक साक्ष्य प्रदान करता है, यह प्रदर्शित करते हुए कि महत्वपूर्ण प्रदर्शन गिरावट के बिना प्रतिरोध प्राप्त किया जा सकता है।
एब्लेशन स्टडीज: पेपर मॉडल प्रतिरोध के पैटर्न की पहचान करने के लिए विभिन्न रेगुलराइजेशन गुणांक $\tau$ (0 से 3 तक) और अटैक ग्रैनुलैरिटी के प्रभाव का विश्लेषण करता है।

परिणाम
प्रयोगों से पता चलता है कि न्यूरो-प्रेरित VLMs अपने बेसलाइन समकक्षों की तुलना में मेंबरशिप इन्फरेंस हमलों के प्रति काफी अधिक प्रतिरोधी हैं, जबकि समान उपयोगिता बनाए रखते हैं।

अटैक सफलता में कमी: COCO डेटासेट का उपयोग करते हुए BLIP मॉडल पर, बेसलाइन की तुलना में NEURO वैरिएंट ( $\tau=2$ $τ = 2$ ) के लिए MIA सफलता दर (ROC-AUC द्वारा मापा गया) लगभग 24% और NEURO++ वैरिएंट ( $\tau=3$ $τ = 3$ ) के लिए 30.5% गिर गई।
- बेसलाइन BLIP (COCO): ROC-AUC = 94.00%
- NEURO++ BLIP (COCO): ROC-AUC = 63.46%
मॉडल्स और डेटासेट्स में निरंतरता: PaliGemma 2 और ViT-GPT2 के लिए CC3M और NoCaps डेटासेट्स पर भी समान रुझान देखे गए। सामान्य तौर पर, $\tau$ बढ़ाने से ROC-AUC कम हुआ, जो MIAs के प्रति कम भेद्यता को दर्शाता है।
उपयोगिता का संरक्षण: महत्वपूर्ण रूप से, हमला सफलता में कमी से मॉडल के प्रदर्शन की कीमत नहीं हुई। जनरेट किए गए और संदर्भ कैप्शन के बीच समानता स्कोर (MPNet और ROUGE-2) NEURO मॉडल्स के लिए बेसलाइन मॉडल्स के समान या कुछ मामलों में बेहतर रहे। उदाहरण के लिए, COCO डेटासेट में, मेंबर और नॉन-मेंबर नमूनों के बीच समानता का अंतर कम हो गया, लेकिन कैप्शन जनरेशन की समग्र गुणवत्ता (उपयोगिता) सुरक्षित रही।
तंत्र (Mechanism): टोपोलॉजिकल रेगुलराइजेशन मॉडल की विशिष्ट प्रशिक्षण उदाहरणों को याद रखने (memorizing) पर निर्भरता को कम करता प्रतीत होता है। अपने आंतरिक प्रतिनिधित्व को स्मूथ करके, मॉडल ऐसे कैप्शन उत्पन्न करता है जो प्रशिक्षण डेटा के लिए कम विशिष्ट रूप से "मेमोराइज्ड" होते हैं, जिससे उन समानता अंतराल को कम किया जाता है जिनका हमलावर फायदा उठाते हैं।

महत्व और दावे
यह पेपर मल्टी-मोडल एआई में गोपनीयता जोखिमों को समझने के एक महत्वपूर्ण अंतर को भरने का दावा करता है। यह अनुभवजन्य साक्ष्य प्रदान करता है कि न्यूरो-प्रेरित टोपोलॉजिकल रेगुलराइजेशन उपयोगिता से समझौता किए बिना VLMs में गोपनीयता रिसाव को कम करने के लिए एक प्रभावी तंत्र है।

लेखक निष्कर्ष निकालते हैं कि हालांकि VLMs, MIAs के प्रति संवेदनशील हैं, लेकिन प्रशिक्षण प्रक्रिया में जैविक सिद्धांतों (विशेष रूप से टोपोग्राफिक संगठन) को शामिल करने से उनकी गोपनीयता प्रतिरोध क्षमता बढ़ सकती है। यह एक "विश्वसनीय" एजेंटिक एआई समाधानों को तैनात करने की दिशा में एक व्यवहार्य मार्ग का सुझाव देता है जहाँ उच्च प्रदर्शन के साथ गोपनीयता भी सुरक्षित रहती है। यह कार्य विशिष्ट प्राइवेसी-यूटिलिटी ट्रेड-ऑफ के लिए $\tau$ पैरामीटर को अनुकूलित करने और व्हाइट-बॉक्स अटैक परिदृश्यों की खोज के लिए आगे के शोध की आवश्यकता पर प्रकाश डालता है, लेकिन ब्लैक-बॉक्स सेटिंग्स में रक्षात्मक रणनीति के रूप में $\tau$ -रेगुलराइजेशन की प्रभावकारिता को मजबूती से स्थापित करता है।

मुख्य तस्वीर: "मेमोरी लीक" की समस्या

समाधान: रोबोट को "दिमाग की तरह सोचना" सिखाना

प्रयोग: जासूस का परीक्षण

परिणाम: सुचारू मस्तिष्क, सुरक्षित रहस्य

निचोड़

इसी तरह के और पेपर