Do LLMs Know What Is Private Internally? Probing and Steering Contextual Privacy Norms in Large Language Model Representations

यहाँ शोध पत्र "Do LLMs Know What Is Private Internally? Probing and Steering Contextual Privacy Norms in Large Language Model Representations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग उच्च-जोखिम वाले डोमेन (जैसे स्वास्थ्य सेवा, व्यक्तिगत सहायक) में तेजी से बढ़ रहा है, फिर भी वे अक्सर संदर्भगत गोपनीयता (contextual privacy) का उल्लंघन करते हैं। स्थिर गोपनीयता परिभाषाओं (जैसे डेटा मेमोराइजेशन को रोकना) के विपरीत, संदर्भगत गोपनीयता कॉन्टेक्स्टुअल इंटीग्रिटी (CI) सिद्धांत पर निर्भर करती है, जो यह मानती है कि गोपनीयता विशिष्ट सामाजिक संदर्भों के आधार पर सूचना प्रवाह की उपयुक्तता से निर्धारित होती है।

मुख्य समस्या जिसे संबोधित किया गया है वह है प्राइवेसी अवेयरनेस गैप (Privacy Awareness Gap): LLMs व्यवहार में गोपनीयता मानदंडों का पालन करने में विफल रहते हैं (निजी जानकारी लीक करना), भले ही वे इन मानदंडों को आंतरिक रूप से एनकोड कर सकते हों। मौजूदा दृष्टिकोण गोपनीयता को एक मोनोलिथिक (एकआयामी) व्यवहारिक उद्देश्य (फाइन-ट्यूनिंग या सुदृढीकरण शिक्षण के माध्यम से) या एक स्थिर गुण के रूप में देखते हैं, जो मॉडल के लेटेंट स्पेस (latent space) के भीतर गोपनीयता मानदंडों की संरचित, बहु-आयामी प्रकृति को समझने में विफल रहते हैं। लेखक पूछते हैं: क्या LLMs आंतरिक रूप से संदर्भगत गोपनीयता मानदंडों को संरचित प्रतिनिधित्व के रूप में एनकोड करते हैं, और यदि ऐसा है, तो वे उन पर कार्य करने में क्यों विफल होते हैं?

2. कार्यप्रणाली (Methodology)

लेखक प्रोबिंग (निदान) और स्टीयरिंग (हस्तक्षेप) से संबंधित एक तीन-चरणीय ढांचे का प्रस्ताव करते हैं, जो CI सिद्धांत पर आधारित है।

A. प्रोबिंग ढांचा (Probing Framework)

यह अध्ययन यह समझने के लिए कि गोपनीयता कैसे प्रतिनिधित्व की जाती है, चार मॉडलों (Llama-3.1, Qwen-2.5, Mistral, Llama-2) को तीन अलग-अलग स्तरों पर प्रोब करता है:

1. अवधारणा स्तर (Concept Level): कंट्रास्टिव पेयर्स (contrastive pairs) का उपयोग करके "उपयुक्त" बनाम "अनुपयुक्त" सूचना प्रवाह की रैखिक पृथक्करणीयता (linear separability) का परीक्षण करता है।
2. व्यवहार स्तर (Behavioral Level): मूल्यांकन करता है कि क्या आंतरिक प्रतिनिधित्व सामाजिक भूमिका निभाने वाले परिदृश्यों में अनुपालन व्यवहार में परिवर्तित होता है (लीकेज बनाम इनकार को मापना)।
3. CI-पैरामीट्रिक स्तर (CI-Parametric Level): गोपनीयता को विशिष्ट CI मापदंडों में विभाजित करता है ताकि यह परीक्षण किया जा सके कि क्या वे स्वतंत्र सबस्पेस (subspaces) में स्थित हैं। विश्लेषण किए गए तीन मानदंड-निर्धारक पैरामीटर हैं:
   • सूचना का प्रकार (Information Type)
   • प्राप्तकर्ता (Recipient)
   • संचरण सिद्धांत (Transmission Principle)
     (नोट: डेटा सब्जेक्ट और सेंडर को अभिनेताओं के रूप में माना जाता है, न कि मानदंड-निर्धारक मापदंडों के रूप में।)

तकनीकें:

• लीनियर प्रोबिंग (Linear Probing): उपयुक्तता को वर्गीकृत करने के लिए हिडन स्टेट्स पर लॉजिस्टिक रिग्रेशन का उपयोग करना।
• PCA (Principal Component Analysis): रेसिडुअल स्ट्रीम में प्रमुख दिशाओं की पहचान करने के लिए।
• सबस्पेस चयनात्मकता परीक्षण (Subspace Selectivity Test): यह सत्यापित करने के लिए कि क्या एक पैरामीटर (जैसे प्राप्तकर्ता) के लिए स्टीयरिंग दिशाएं अन्य (जैसे सूचना का प्रकार) के प्रति ऑर्थोगोनल (orthogonal) हैं, LDA का उपयोग करना।

B. CI-पैरामीटर स्टीयरिंग (CI-Parametric Steering)

प्रोबिंग निष्कर्षों के आधार पर, लेखक एक अनुमान-समय हस्तक्षेप विधि (inference-time intervention method) के रूप में CI-पैरामीट्रिक स्टीयरिंग पेश करते हैं।

• तंत्र (Mechanism): एक एकल "प्राइवेसी वेक्टर" का उपयोग करने के बजाय, यह विधि प्रत्येक तीन CI मापदंडों के लिए यूनिट-नॉर्मलाइज्ड दिशा वेक्टर्स ($v^{(p)}_l$) की पहचान करती है।
• हस्तक्षेप (Intervention): हिडन स्टेट $h_l$ को तीनों स्वतंत्र दिशाओं के योगदान को जोड़कर संशोधित किया जाता है:
  $$h'_l = h_l + \alpha \sum_{p \in P} v^{(p)}_l$$
  जहाँ $P = \{\text{info type, recipient, transmission principle}\}$ और $\alpha$ स्टीयरिंग स्ट्रेंथ (शक्ति) है।
• लक्ष्य (Target): उन टॉप-$k$ लेयर्स पर लागू किया जाता है जहाँ प्राइवेसी सिग्नल सबसे मजबूत होते हैं।

3. मुख्य योगदान और निष्कर्ष (Key Contributions & Findings)

निष्कर्ष 1: गोपनीयता बहु-आयामी है, मोनोलिथिक नहीं

• रैखिक पृथक्करणीयता (Linear Separability): संदर्भगत गोपनीयता मानदंड रेसिडुअल स्ट्रीम में, मुख्य रूप से ऊपरी परतों में, रैखिक रूप से अलग किए जा सकते हैं।
• बहु-अक्षीय संरचना (Multi-Axial Structure): गोपनीयता को एक एकल दिशा द्वारा कैप्चर नहीं किया जा सकता है (k=1 PCA खराब प्रदर्शन करता है, AUROC ~0.43); इसे सटीक रूप से प्रदर्शित करने के लिए कम से कम तीन प्रमुख घटकों (k=3, AUROC ~0.77) की आवश्यकता होती है।
• निहितार्थ: गोपनीयता को एक एकल वेक्टर (मोनोलिथिक स्टीयरिंग) के रूप में मानना अवधारणा के आंतरिक ढांचे का मौलिक रूप से गलत प्रतिनिधित्व करता है।

निष्कर्ष 2: प्राइवेसी अवेयरनेस गैप

• आंतरिक बनाम बाहरी: मॉडल गोपनीयता मानदंडों को आंतरिक रूप से वर्गीकृत करने में (अवधारणा-स्तर प्रोबिंग) लगभग पूर्ण सटीकता प्राप्त करते हैं, लेकिन व्यवहारिक परिदृश्यों में 42.5% तक जानकारी लीक करते हैं।
• निष्कर्ष: विफलता "जागरूकता" या एनकोडिंग की कमी के कारण नहीं है, बल्कि प्रतिनिधित्व और व्यवहार निर्माण के बीच मिसअलाइनमेंट (misalignment) के कारण है।

निष्कर्ष 3: CI पैरामीटर स्वतंत्र सबस्पेस में स्थित हैं

• सबस्पेस चयनात्मकता: सूचना का प्रकार, प्राप्तकर्ता और संचरण सिद्धांत के प्रतिनिधित्व कार्यात्मक रूप से स्वतंत्र सबस्पेस (independent subspaces) में स्थित हैं।
• साक्ष्य: "प्राप्तकर्ता" सबस्पेस पर प्रशिक्षित क्लासिफायर प्राप्तकर्ता डेटा पर ~100% सटीकता प्राप्त करता है, लेकिन सूचना के प्रकार या संचरण सिद्धांत पर गिरकर ~20% (रैंडम चांस) हो जाता है। यह गोपनीयता की कंपोजिशनल (संयोजन संबंधी) प्रकृति की पुष्टि करता है।

योगदान: CI-पैरामीट्रिक स्टीयरिंग

• यह पेपर इस संरचना का लाभ उठाते हुए एक स्टीयरिंग विधि पेश करता है जो प्रत्येक CI आयाम के साथ स्वतंत्र रूप से हस्तक्षेप करती है।
• यह दृष्टिकोण इसे विभिन्न डेटासेट और उल्लंघन प्रकारों में मजबूत सामान्यीकरण (generalization) की अनुमति देता है, जो मोनोलिथिक विधियों के विपरीत है जो विफल हो जाती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन सिंथेटिक डेटा और दो बेंचमार्क पर किया गया: CONFAIDE (बहु-पक्षीय गोपनीयता) और PrivaCI-Bench (कानूनी/नियामक गोपनीयता)।

मेट्रिक (Metric)	नो स्टीयरिंग (No Steering)	मोनोलिथिक (Monolithic)	CI-पैरामीट्रिक स्टीयरिंग
लीकेज (सिंथेटिक)	42.5%	21.5%	5.0%
NCR (Norm Compliance)	57.5%	68.5%	90.0%
PPI (Privacy Improvement)	—	49.4%	98.8%
लीकेज (CONFAIDE ट्रांसफर)	24.1%	47.4% (बेहतर हुआ)	2.6%
लीकेज (PrivaCI ट्रांसफर)	18.0%	64.7% (बेहतर हुआ)	0.0%

मुख्य अवलोकन:

1. मोनोलिथिक स्टीयरिंग पर श्रेष्ठता: मोनोलिथिक स्टीयरिंग (एकल वेक्टर का उपयोग करना) अक्सर नए डेटासेट (जैसे CONFAIDE) में स्थानांतरित होने पर लीकेज को बढ़ा देता है, संभवतः इसलिए क्योंकि इसने विशिष्ट आयामों के प्रति मॉडल के आंशिक अनुपालन को बाधित किया।
2. मजबूत ट्रांसफर: CI-पैरामीट्रिक स्टीयरिंग, जो केवल सिंथेटिक डेटा पर प्रशिक्षित था, जटिल वास्तविक-विश्व बेंचमार्क पर सफलतापूर्वक सामान्यीकृत हुआ, जिससे लीकेज लगभग शून्य हो गया।
3. स्थिरता: CI-पैरामीट्रिक स्टीयरिंग, मोनोलिथिक विधियों की तुलना में स्टीयरिंग स्ट्रेंथ हाइपरपैरामीटर ($\alpha$) के प्रति कम संवेदनशील है, जो उच्च अस्थिरता दिखाते थे।
4. एब्लेशन (Ablation): एक एकल CI अक्ष (जैसे केवल "प्राप्तकर्ता") के साथ स्टीयरिंग करने से वास्तव में बेसलाइन की तुलना में लीकेज बढ़ गया, जो पुष्टि करता है कि पूर्ण गोपनीयता सबस्पेस को कैप्चर करने के लिए तीनों आयाम आवश्यक हैं।

5. महत्व और प्रभाव (Significance and Impact)

• सैद्धांतिक अंतर्दृष्टि: यह पेपर इस विचार को चुनौती देता है कि गोपनीयता की विफलताएं आंतरिक ज्ञान की कमी के कारण होती हैं। इसके बजाय, यह प्रदर्शित करता है कि LLMs के पास गोपनीयता का एक समृद्ध, संरचित, बहु-आयामी प्रतिनिधित्व है जो केवल उनके आउटपुट जनरेशन के साथ मिसअलाइन्ड है।
• कार्यप्रणाली में प्रगति: यह "ब्लैक-बॉक्स" फाइन-ट्यूनिंग और मोनोलिथिक स्टीयरिंग से आगे बढ़ता है। जटिल अवधारणाओं को उनके घटक आयामों (CI पैरामीटर) में विभाजित करके, यह कंपोजिशनल कंट्रोल (compositional control) को सक्षम बनाता है जो अधिक व्याख्या योग्य और प्रभावी है।
• व्यावहारिक अनुप्रयोग: CI-पैरामीट्रिक स्टीयरिंग, मॉडल को पुन: प्रशिक्षित किए बिना, LLMs में गोपनीयता लागू करने के लिए एक विश्वसनीय, इन्फरेंस-टाइम तंत्र प्रदान करता है, जो यह दर्शाता है कि मॉडल की आंतरिक ज्यामिति का लाभ उठाना बाहरी व्यवहारिक बाधाओं की तुलना में अधिक प्रभावी है।
• भविष्य की दिशा: यह कार्य सुझाव देता है कि अन्य जटिल, बहु-आयामी अवधारणाओं (जैसे निष्पक्षता, सुरक्षा) के लिए, उन्हें सैद्धांतिक रूप से आधारित सबस्पेस में विभाजित करना प्रभावी प्रतिनिधित्व इंजीनियरिंग की कुंजी हो सकता है।

संक्षेप में, यह शोध पत्र स्थापित करता है कि LLMs में संदर्भगत गोपनीयता एक संरचित लेटेंट सबस्पेस है और इस संरचना का बहु-अक्षीय स्टीयरिंग के माध्यम से लाभ उठाना आंतरिक गोपनीयता जागरूकता और बाहरी अनुपालन व्यवहार के बीच के अंतर को पाटने का सबसे प्रभावी तरीका है।