← नवीनतम पेपर
💻 computer science

Beyond Visual Evidence: Revealing and Mitigating Relational Privacy Leakage in Document MLLMs

यह शोध पत्र दस्तावेज़ MLLMs में एक महत्वपूर्ण गोपनीयता भेद्यता की पहचान करता है जहाँ दृश्य साक्ष्य की कमी होने पर मॉडल स्मृतिबद्ध फ़ील्ड संबंधों से संवेदनशील व्यक्तिगत जानकारी का अनुमान लगाते हैं, और प्रमुख सूचना निष्कर्षण प्रदर्शन को बनाए रखते हुए इस रिसाव को प्रभावी ढंग से कम करने के लिए डॉक्यूप्राइवेसीबेंच (DocPrivacyBench) बेंचमार्क के साथ डायनेमिक रिलेशनल अनलर्निंग फ्रेमवर्क (DRUF) का प्रस्ताव करता है।

मूल लेखक: Beining Xu, Hairui Wang, Jiaxin Wang, Changsheng Chen, Anirban Chakraborty

प्रकाशित 2026-08-14
📖 10 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Beining Xu, Hairui Wang, Jiaxin Wang, Changsheng Chen, Anirban Chakraborty

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जो एक साथ चित्रों को देख सकता है और टेक्स्ट को पढ़ सकता है। वैज्ञानिक इन्हें "मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स" (MLLMs) कहते हैं। इन्हें एक ऐसे मस्तिष्क के रूप में समझें जिसने कैमरा लेंस के माध्यम से दुनिया को देखना और माइक्रोफ़ोन के माध्यम से बोलना सीखा है। ये रसीद की फोटो देखकर उसका कुल खर्च बताने या पासपोर्ट को स्कैन करके नाम पढ़ने जैसे कार्यों में अद्भुत हैं। लेकिन, ठीक वैसे ही जैसे एक इंसान किसी दोस्त का फ़ोन नंबर याद कर लेता है और किसी दूसरे सवाल के पूछे जाने पर गलती से उसे बोल देता है, ये रोबोट भी उन निजी विवरणों को "याद" रख सकते हैं जो वास्तव में उस नई तस्वीर में दिखाई नहीं दे रहे हैं जिसे वे देख रहे हैं। यह एक बड़ी बात है क्योंकि हम इन रोबोटों का उपयोग आईडी और पासपोर्ट जैसे संवेदनशील दस्तावेज़ों को संभालने के लिए करने लगे हैं। यदि आपका रोबोट आपके गुप्त विवरण का अनुमान लगा लेता है क्योंकि वह अपने पिछले प्रशिक्षण के आधार पर "अनुमान लगाने में अच्छा" है, तो आपकी गोपनीयता खतरे में है।

"बियॉन्ड विजुअल एविडेंस" (Beyond Visual Evidence) नामक यह शोध पत्र जांच करता है कि ये रोबोट किस तरह से गुप्त बातें लीक करते हैं। शोधकर्ताओं ने पाया कि जब किसी रोबोट को धुंधले या गायब हिस्सों वाले दस्तावेज़ (जैसे कि आईडी कार्ड की एक धुंधली फोटो) दिखाए जाते हैं, तो वह केवल "मैं नहीं देख पा रहा हूँ" नहीं कहता। इसके बजाय, वह अक्सर उन चीज़ों को भरने की कोशिश करता है जो गायब हैं, जो उसने अपने प्रशिक्षण से याद किया है। डरावनी बात यह है कि वह केवल एक चीज़ का अनुमान नहीं लगाता; वह एक साथ जुड़े हुए गुप्त विवरणों के पूरे सेट का अनुमान लगाता है। उदाहरण के लिए, यदि रोबोट दस्तावेज़ संख्या नहीं देख पाता है, तो वह अभी भी आपका नाम, आपकी जन्म तिथि और दस्तावेज़ संख्या एक साथ बता सकता है, क्योंकि उसने सीखा है कि ये तीनों चीजें आमतौर पर एक साथ आती हैं। लेखक इसे "रिलेशनल प्राइवेसी लीकेज" (relational privacy leakage) कहते हैं। इसे ठीक करने के लिए, उन्होंने एक नया प्रशिक्षण तरीका बनाया जिसे DRUF (डायनेमिक रिलेशनल अनलर्निंग फ्रेमवर्क) कहा जाता है। इसे एक सख्त शिक्षक की तरह समझें जो छात्र को केवल किसी विशिष्ट तथ्य को "भूलने" के लिए नहीं कहता, बल्कि छात्र को जुड़े हुए तथ्यों के बीच के मानसिक संबंध को तोड़ने की शिक्षा देता है। उन्होंने एक नया परीक्षण भी बनाया जिसे DocPrivacy-Bench कहा जाता है ताकि यह देखा जा सके कि विभिन्न रोबोट कितनी आसानी से इन गुप्त जानकारियों को लीक करते हैं। उनके प्रयोगों ने दिखाया कि जबकि वर्तमान रोबोट तब बहुत अच्छे होते हैं जब दृश्य संकेत कमजोर होते हैं, उनका नया तरीका, DRUF, इन लीकेज को लगभग पूरी तरह से रोक सकता है बिना रोबोट को दस्तावेज़ पढ़ने के उसके काम में खराब किए।

समस्या: जब रोबोट बहुत अच्छी तरह से अनुमान लगाते हैं

कहानी एक विशिष्ट प्रकार के रोबोट के साथ शुरू होती है: जो दस्तावेज़ पढ़ने के लिए डिज़ाइन किया गया है। ये "डॉक्यूमेंट MLLMs" हैं। कल्पना कीजिए कि आपने एक रोबोट को ड्राइवर लाइसेंस की तस्वीर दी। इसे तस्वीर को देखना चाहिए, टेक्स्ट ढूंढना चाहिए और आपको नाम, जन्म तिथि और लाइसेंस नंबर बताना चाहिए। इसे की इन्फॉर्मेशन एक्सट्रैक्शन (KIE) कहा जाता है। आमतौर पर, रोबोट उत्तर खोजने के लिए चित्र के पिक्सेल को देखता है। लेकिन क्या होता है अगर चित्र खराब हो? क्या होगा यदि फोटो धुंधली है, टेक्स्ट किसी उंगली से ढका हुआ है, या इमेज बस एक खाली सफेद वर्ग है?

शोधकर्ताओं ने पाया कि जब दृश्य साक्ष्य कमजोर या गायब होते हैं, तो ये रोबोट रुकते नहीं हैं। वे एक अलग मोड में स्विच कर जाते हैं: वे उन पैटर्न के आधार पर अनुमान लगाना शुरू कर देते हैं जो उन्होंने याद किए हैं। यदि रोबोट ने हजारों प्रशिक्षण उदाहरणों से सीखा है कि "जॉन स्मिथ" लगभग हमेशा "लाइसेंस नंबर 12345" और "1990 में जन्म" के साथ जुड़ा होता है, तो वह इन तीनों चीजों को एक साथ आउटपुट करना शुरू कर सकता है, भले ही वह चित्र जिसे वह देख रहा है वह पूरी तरह से खाली हो।

यह पिछले गोपनीयता संबंधी चिंताओं से अलग है। पहले, लोग चिंतित थे कि एक रोबोट गलती से आपका गुप्त नाम बता सकता है यदि आप सही सवाल पूछते हैं। लेकिन यह शोध पत्र एक नई, अधिक खतरनाक जोखिम दिखाता है: रिलेशनल लीकेज (Relational Leakage)। यह केवल एक गुप्त जानकारी के फिसलने के बारे में नहीं है; यह एक पूरे चेन (श्रृंखला) के बारे में है जो आपस में जुड़ी हुई है। यह एक जादूगर की तरह है जो, टोपी से खरगोश निकालने के लिए कहा जाने पर, गलती से खरगोश, टोपी, छड़ी और सहायक का घर का पता भी एक साथ निकाल लेता है, क्योंकि उसकी याददाश्त में वे चीजें हमेशा एक साथ होती हैं।

जांच: DocPrivacyBench

यह साबित करने के लिए कि ऐसा हो रहा था, लेखकों ने DocPrivacyBench नामक एक नया परीक्षण मैदान बनाया। वे देखना चाहते थे कि क्या रोबोट रहस्य लीक करेंगे जब वे दस्तावेज़ को देख नहीं पाते हैं।

उन्होंने रोबोटों का परीक्षण करने के लिए दो मुख्य तरीके स्थापित किए:

  1. इमेज ड्रिवन (Image Driven): उन्होंने रोबोट को एक दस्तावेज़ की तस्वीर दिखाई, लेकिन फिर उन्होंने प्रश्न को समान रखते हुए तस्वीर को एक खाली सफेद छवि (या एक धुंधली गंदगी) से बदल दिया। उन्होंने पूछा, "दस्तांबर संख्या क्या है?" रोबोट के पास कोई दृश्य संकेत नहीं था, इसलिए यदि उसने उत्तर दिया, तो वह अपनी याददाश्त से अनुमान लगा रहा था।
  2. प्रॉम्प्ट ड्रिवन (Prompt Driven): उन्होंने इमेज को रखा लेकिन प्रश्न को चालाकी से बदल दिया, जिससे रोबोट से ऐसी जानकारी प्रकट करने को कहा गया जो केवल चित्र के आधार पर उसे पता नहीं होनी चाहिए।

उन्होंने तीन अलग-अलग लोकप्रिय रोबोट मॉडल्स (LLaVA-1.5-hf, Xgen-Phi3, और Idefics2) को आईडी कार्ड और पासपोर्ट के तीन अलग-अलग डेटासेट्स पर टेस्ट किया। परिणाम चौंकाने वाले थे। जब दृश्य साक्ष्य गायब थे, तो रोबोट गुप्त जानकारियों का अनुमान लगाने में आश्चर्यजनक रूप से कुशल थे।

उदाहरण के लिए, एक नॉइजी (noisy) डेटासेट पर, जहाँ इमेज थोड़ी अस्त-व्यस्त थी, LLaVA-1.5-hf मॉडल का लीकेज रेट 1.000 (अर्थात मॉडल ने 100% समय सही गुप्त जानकारी लीक की) था जब उसे एक खाली इमेज दिखाई गई, लेकिन यह कम समानता थ्रेशोल्ड (Acc@0.8) पर मापा गया था। इससे भी अधिक आश्चर्यजनक रूप से, जब उन्होंने इसे IDNet डेटासेट के "नॉइजी" संस्करण के साथ टेस्ट किया, तो Acc@0.8 मेट्रिक के लिए लीकेज रेट बढ़कर 1.000 हो गया। इसका मतलब है कि स्पष्ट तस्वीर के बिना, रोबोट अनिवार्य रूप से अपने प्रशिक्षण डेटा को दोहरा रहा था, नामों को दस्तावेज़ नंबरों और जन्म तिथियों के साथ पूरी तरह से जोड़ रहा था, भले ही वह उन्हें देख नहीं पा रहा था।

शोध पत्र ने यह भी पाया कि प्रशिक्षण डेटा की गुणवत्ता मायने रखती है। जब प्रशिक्षण डेटा "नॉइज़ियर" (कम गुणवत्ता वाला) था, तो रोबोट अपने याद किए गए कनेक्शनों पर अधिक निर्भर थे, जिससे गोपनीयता का जोखिम बढ़ गया। यह सुझाव देता है कि रोबोट जिस बिखरे हुए डेटा से सीखता है, वह उतना ही अधिक "अंतराल को भरने" की कोशिश करता है, जो गोपनीयता के लिए बुरा है।

समाधान: DRUF

तो, आप एक रोबोट को इन जुड़े हुए गुप्त रहस्यों का अनुमान लगाने से कैसे रोक सकते हैं? आप इसे सिर्फ "जॉन स्मिथ" नाम भूलने के लिए नहीं कह सकते, क्योंकि इसे सामान्य रूप से नाम पढ़ना सीखना ही होगा। और आप इसे केवल "12345" नंबर भूलने के लिए भी नहीं कह सकते। समस्या उन दोनों के बीच के लिंक (संबंध) की है।

लेखकों ने DRUF (डायनेमिक रिलेशनल अनलर्निंग फ्रेमवर्क) नामक एक नया तरीका प्रस्तावित किया। कल्पना कीजिए कि आप एक ऐसे छात्र को पढ़ा रहे हैं जो बार-बार उत्तर कुंजी (answer key) पर निर्भर रहता है। केवल उत्तर कुंजी से एक उत्तर मिटाने के बजाय, आप छात्र को यह सिखाना चाहते हैं कि "प्रश्न A" और "उत्तर B" के बीच का संबंध नकली है।

DRUF दो चरणों में काम करता है:

  1. डायनेमिक फॉरगेट सेट (Dynamic Forget Set): सबसे पहले, सिस्टम रोबोट की जांच करता है कि वह वर्तमान में किन विशिष्ट गुप्त जोड़ों (pairs) को लीक कर रहा है। हो सकता कि आज वह "नाम + दस्तावेज़ संख्या" लीक कर रहा हो, लेकिन कल वह "नाम + जन्म तिथि" लीक कर सकता है। भूलने का अनुमान लगाने के बजाय, DRUF रोबोट को देखता है, देखता है कि वह क्या लीक कर रहा है, और जो उसने वास्तव में देखा है उसके आधार पर एक "भूलने की सूची" बनाता है। यह सूची डायनेमिक रूप से बदलती रहती है।
  2. रिलेशनल डीकपलिंग (Relational Decoupling - RDU): यही जादुई हिस्सा है। जब रोबोट इस "भूलने की सूची" से सीखने की कोशिश करता है, तो DRUF उसे केवल गलत नाम बोलने के लिए दंडित नहीं करता। यह रोबोट को एक साथ जोड़ी बोलने के लिए दंडित करता है। यह एक विशेष गणितीय ट्रिक ("मल्टीप्लिकेटिव कपलिंग") का उपयोग करता है जो रोबोट को भारी पेनल्टी महसूस कराता है यदि वह नाम और दस्तावेज़ संख्या दोनों को एक साथ आउटपुट करने की कोशिश करता है। यह उन दो गुप्त जानकारियों को जोड़ने वाले मानसिक गोंद को तोड़ देता है।

इस नए तरीके के परिणाम प्रभावशाली थे। जब उन्होंने LLaVA-1.5-hf मॉडल पर DRUF लागू किया:

  • इसने "इमेज ड्रिवन" टेस्ट (जहाँ रोबोट ने खाली इमेज देखी) में लीकेज रेट को 0.642 से घटाकर 0.001 कर दिया। यह लगभग 99.8% की गिरावट है।
  • इसने "प्रॉम्प्ट ड्रिवन" टेस्ट में लीकेज को 0.000 तक कम कर दिया।
  • महत्वपूर्ण रूप से, इसने रोबोट की अपना काम करने की क्षमता को खराब नहीं किया। रोबोट अभी भी स्पष्ट दस्तावेज़ों को पूरी तरह से पढ़ सकता था, जिसका प्रदर्शन स्कोर (LC) 0.808 था, जो मूल मॉडल के 0.852 के बहुत करीब है।

अन्य तरीकों ने सुधार की कोशिश की, लेकिन उनकी कुछ समस्याएँ थीं। कुछ तरीकों (जैसे GA) ने लीकेज तो रोका लेकिन साथ ही रोबोट को दस्तावेज़ पढ़ने में भी खराब बना दिया (प्रदर्शन गिरकर 0.119 हो गया)। अन्य (जैसे DPO) ने रोबोट को स्मार्ट तो रखा लेकिन लीकेज रोकने में विफल रहे (लीकेज 0.633 पर उच्च रहा)। DRUF एकमात्र ऐसा तरीका था जो लीकेज को रोकने और रोबोट को स्मार्ट बनाए रखने, दोनों में सफल रहा।

यह क्यों मायने रखता है

शोध पत्र निष्कर्ष निकालता है कि यह "रिलेशनल लीकेज" एक वास्तविक और आम समस्या है। जब दृश्य साक्ष्य कमजोर होते हैं, तो रोबोट खुशी-खुशी आपकी निजी जानकारी का अनुमान लगा लेगा यदि उन्हें लगता है कि वे पैटर्न जानते हैं। लेखकों ने दिखाया कि मौजूदा तरीके पर्याप्त नहीं हैं क्योंकि वे एकल तथ्यों को भूलने के बजाय जुड़े हुए तथ्यों के बीच के लिंक को तोड़ने की कोशिश करते हैं।

DRUF का उपयोग करके, हम इन रोबोटों को जुड़े हुए गुप्त रहस्यों का अनुमान लगाने से रोक सकते हैं। यह पत्र सुझाव देता है कि यह दृष्टिकोण दस्तावेज़-प्रोसेसिंग रोबोटों को वास्तविक दुनिया में सुरक्षित रूप से उपयोग करने के लिए एक आवश्यक कदम है। यदि हम चाहते हैं कि AI हमारे पासपोर्ट और आईडी को संभाले, तो हमें यह सुनिश्चित करना होगा कि जब AI दस्तावेज़ को देख नहीं पाता है, तो वह जो कुछ भी उसने याद किया है उसके आधार पर आपकी पूरी जीवन कहानी न बना दे। लेखकों को उम्मीद है कि यह कार्य सभी प्रकार के स्ट्रक्चर्ड डॉक्यूमेंट कार्यों के लिए बेहतर गोपनीयता उपकरण बनाने की दिशा में ले जाएगा।

संक्षेप में, शोध पत्र ने पाया कि रोबोट साक्ष्य न होने पर जुड़े हुए गुप्त रहस्यों का अनुमान लगाने में बहुत अच्छे होते हैं, लेकिन उन्होंने यह भी पाया कि वे उन कनेक्शनों को तोड़ने के लिए भी एक तरीका खोज सकते हैं, जिससे हमारा डेटा सुरक्षित रहता है और रोबोट बेकार नहीं होते।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →