Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs
यह शोध पत्र "लॉस लैंडस्केप पॉइज़निंग" (Loss Landscape Poisoning) को प्रस्तुत करता है, जो एक नवीन हमला है जहाँ एक विरोधी मॉडल के लॉस लैंडस्केप को नया आकार देने के लिए प्रशिक्षण डेटा को विषाक्त करता है, जिससे मॉडल को भाषा और विज़न-लैंग्वेज मॉडलों में भी उच्च सफलता दर के साथ अनदेखे, संवेदनशील लक्षित रिकॉर्ड्स को याद करने और निकालने के लिए मजबूर किया जाता है, हालांकि इस हमले को डिफरेंशियल प्राइवेसी द्वारा कम किया जा सकता है या एक नई लैंडस्केप-प्रोबिंग तकनीक द्वारा विफल किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान रोबोट है जिसने लाखों किताबें, मेडिकल रिकॉर्ड और निजी दस्तावेज़ पढ़े हैं। आप यह सुनिश्चित करना चाहते हैं कि वह अनजाने में सीखी गई गुप्त जानकारियों को, जैसे कि किसी विशिष्ट व्यक्ति का सोशल सिक्योरिटी नंबर या क्रेडिट कार्ड विवरण, बाहर न उगल दे।
यह शोध पत्र इस बात का परिचय देता है कि कैसे एक धोखेबाज उस रोबोट को अपने रहस्य उगलने के लिए मजबूर कर सकता है, भले ही उस धोखेबाज ने उन रहस्यों को खुद कभी देखा भी न हो।
यह हमला कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:
1. मुख्य विचार: एक "लॉस वैली" (Loss Valley) को आकार देना
रोबोट के मस्तिष्क को एक पहाड़ी परिदृश्य (hilly landscape) के रूप में सोचें। जब रोबोट सीखता है, तो वह सबसे निचले घाटों (valleys) की ओर लुढ़कने की कोशिश करता है (जो "सही" उत्तरों का प्रतिनिधित्व करते हैं)। आमतौर पर, यदि रोबोट कोई गुप्त जानकारी देखता है (जैसे "123-45-6789"), तो वह वहां एक छोटा सा गड्ढा बना सकता है, लेकिन वह बहुत गहरा नहीं होता। रोबोट उस नंबर का अनुमान लगा सकता है, या वह उसके जैसा ही कोई नंबर जैसे "123-45-6790" का अनुमान लगा सकता है।
धोखेबाज का लक्ष्य उस गुप्त नंबर के चारों ओर एक गहरा, तीखा गड्ढा खोदना है, जबकि उसके आस-पास के क्षेत्र (पड़ोस) को बहुत ऊँचा और खड़ा बनाना है।
- रहस्य (The Secret): वह गड्ढा जहाँ रोबोट को सुरक्षित महसूस करने के लिए जरूर बैठना होगा।
- पड़ोस (The Neighborhood): गड्ढे के चारों ओर खड़ी चट्टानें। यदि रोबोट कोई ऐसा नंबर अनुमान लगाने की कोशिश करता है जो लगभग सही है, तो वह एक चट्टान से नीचे गिर जाएगा (उच्च "लॉस" या हानि)।
ऐसा करके, आप रोबोट को उस सटीक गुप्त नंबर को याद करने के लिए मजबूर करते हैं क्योंकि वही एकमात्र सुरक्षित स्थान है।
2. हमलावर इसे कैसे करता है (दो तरीके)
यह शोध पत्र हमलावर द्वारा जाल बनाने के दो तरीकों का वर्णन करता है, जो इस बात पर निर्भर करता है कि उनके पास रोबोट की ट्रेनिंग प्रक्रिया तक कितनी पहुंच है।
विधि A: "डायरेक्ट मॉडल पॉइजनिंग" (व्हाइट-बॉक्स हमला)
कल्पना कीजिए कि हमलावर एक शिक्षक है जो रोबोट को प्रशिक्षित करने में मदद कर रहा है। उनके पास एक विशेष उपकरण है जो उन्हें रोबोट से यह कहने की अनुमति देता है: "जब तुम इस नकली उदाहरण को देखो, तो खुद को दंडित करो (गलती को बहुत बड़ा महसूस करो)।"
- हमलावर रोबोट को ऐसे नकली उदाहरण देता है जो गुप्त जानकारी जैसे दिखते हैं लेकिन उनमें रैंडम नंबर होते हैं (जैसे "एलिस का SSN 999-99-9999 है")।
- हमलावर रोबोट को मजबूर करता है कि जब वह इन नकली नंबरों का अनुमान लगाए तो उसे बहुत बुरा महसूस हो।
- इस बीच, वास्तविक ट्रेनिंग डेटा (जिस पर हमलावर का नियंत्रण नहीं है) रोबोट को वास्तविक गुप्त जानकारी सिखाता है।
- परिणाम: रोबोट सीख जाता है कि नकली नंबर बहुत बुरे हैं, और वास्तविक नंबर ही एकमात्र "सुरक्षित" विकल्प है। वह दंड से बचने के लिए वास्तविक नंबर को पूरी तरह से याद कर लेता है।
विधि B: "डेटा पॉइजनिंग" (ब्लैक-बॉक्स हमला)
यह अधिक वास्तविक परिदृश्य है। हमलावर केवल एक सामान्य उपयोगकर्ता है जो ट्रेनिंग के ढेर में कुछ दस्तावेज़ अपलोड कर सकता है, लेकिन वह रोबोट के आंतरिक कोड को नहीं छू सकता।
- हमलावर सीधे तौर पर रोबोट को "दंडित" करने के लिए नहीं कह सकता।
- इसके बजाय, हमलावर विशेष "पॉइजन" (जहरीले) दस्तावेज़ लिखता है। ये दस्तावेज़ इस तरह तैयार किए जाते हैं कि जब रोबोट सामान्य रूप से उनसे सीखता है, तो गणित स्वाभाविक रूप से रोबोट को नकली नंबरों से नफरत करने और असली नंबर को पसंद करने की ओर धकेलता है।
- यह ब्रेडक्रंब्स (रोटी के टुकड़ों) के निशान छोड़ने जैसा है जो रोबोट को गुप्त जानकारी के सटीक स्थान पर गड्ढा खोदने के लिए ले जाता है, बिना रोबोट को यह एहसास हुए कि उसके साथ हेरफेर किया जा रहा है।
3. फेडरेटेड लर्निंग का मोड़ (एक "ग्रुप प्रोजेक्ट" हमला)
कल्पना कीजिए कि छात्रों का एक समूह (क्लाइंट्स) एक सामूहिक प्रोजेक्ट (ग्लोबल मॉडल) पर काम कर रहा है। प्रत्येक छात्र के पास अपने निजी नोट्स हैं।
- एक छात्र जासूस है। उसने अन्य छात्रों के निजी नोट्स कभी नहीं देखे।
- जासूस अपने स्वयं के "पॉइजन किए गए" होमवर्क अपडेट समूह को सबमिट करता है।
- चूंकि समूह सभी के काम का औसत निकालता है, इसलिए जासूस के जहरीले अपडेट ईमानदार छात्रों के अपडेट के साथ मिल जाते हैं।
- परिणाम: भले ही जासूस ने कभी भी दूसरों के रहस्य नहीं देखे, फिर भी अंतिम सामूहिक प्रोजेक्ट ईमानदार छात्र के नोट्स से रहस्य को याद कर लेता है। शोध पत्र ने पाया कि दस में से एक जासूस दूसरों के रहस्य चुराने के लिए पर्याप्त है।
4. क्या "डिफरेंशियल प्राइवेसी" इसे रोक सकती है?
"डिफरेंशियल प्राइवेसी" (DP) एक सुरक्षा गार्ड की तरह है जो रोबोट के सीखने की प्रक्रिया में रैंडम शोर (noise) जोड़कर व्यक्तिगत रहस्यों को धुंधला कर देता है। इसका उद्देश्य यह बनाना है कि यह बताना असंभव हो कि कोई विशिष्ट रहस्य ट्रेनिंग डेटा में था या नहीं।
- अच्छी खबर: सुरक्षा गार्ड काम करता है! रोबोट वह रहस्य ज़ोर से बोलना बंद कर देता है। यदि आप उससे सीधे क्रेडिट कार्ड नंबर मांगेंगे, तो वह उसे नहीं उगल देगा।
- बुरी खबर: सुरक्षा गार्ड ने उस आकार (shape) को नहीं मिटाया जो मस्तिष्क में बना है। गहरा गड्ढा और खड़ी चट्टानें अभी भी वहीं हैं; वे बस थोड़ी धुंधली हो गई हैं।
- नया तरीका (DLRP): यह शोध पत्र एक नया तरीका पेश करता है जिसे डायरेक्ट लॉस रीजन प्रोबिंग कहा जाता है। रोबोट से नंबर बोलने के बजाय, हमलावर पूछता है: "इस नंबर का अनुमान लगाना आपके लिए कितना कठिन है?" और "इसके लगभग समान नंबर का अनुमान लगाना कितना कठिन है?"
- क्योंकि हमलावर ने वहां एक जाल बनाया है, इसलिए वास्तविक रहस्य अभी भी "सबसे आसान" अनुमान (न्यूनतम लॉस) है, जबकि नकली अनुमान "कठिन" हैं।
- इस कठिनाई को मापकर, हमलावर बिना रोबोट के ज़ोर से बोले ही रहस्य का पता लगा सकता है।
5. मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि गोपनीयता केवल इस बारे में नहीं है कि रोबोट क्या कहता है; यह उसके मस्तिष्क की ज्यामिति (geometry) के बारे में भी है। भले ही आप गोपनीयता की रक्षा के लिए शोर (noise) जोड़ दें, यदि कोई हमलावर रोबोट के सीखने के "परिदृश्य" (landscape) को आकार दे सकता है, तो वे उसे उन रहस्यों को याद करने के लिए मजबूर कर सकते हैं जिन्हें उन्होंने कभी देखा भी नहीं।
संक्षेप में: एक हमलावर स्मार्ट रोबोट को एक रहस्य याद करने के लिए मजबूर कर सकता है, ऐसा करके कि रोबोट हर गलत अनुमान के लिए बुरा महसूस करे, जिससे सही अनुमान ही एकमात्र सुरक्षित विकल्प बन जाए। यह तब भी काम करता है जब हमलावर ने कभी वह रहस्य देखा न हो, और यह मानक गोपनीयता सुरक्षा उपायों को भी बायपास कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।