तकनीकी सारांश: PRIVACYSIM: उपयोगकर्ता गोपनीयता व्यवहार के LLM सिमुलेशन का मूल्यांकन

समस्या विवरण

बड़े भाषा मॉडल (LLMs) का उपयोग डेटा-साझाकरण प्रणालियों के मूल्यांकन के लिए मानव व्यवहार को सिम्युलेट करने के लिए किया जा रहा है, जो संभावित रूप से महंगे और धीमे नियंत्रित उपयोगकर्ता अध्ययनों (controlled user studies) का स्थान ले सकते हैं। हालांकि, यह स्पष्ट नहीं है कि क्या LLMs व्यक्तिगत-स्तर के गोपनीयता निर्णयों को निष्ठापूर्वक सिम्युलेट कर सकते हैं। मौजूदा कार्य अक्सर सामान्यीकृत व्यक्तित्व (generalized personas) या जनसंख्या-स्तर के संरेखण पर निर्भर करते हैं, जो व्यक्तिगत बारीकियों को पकड़ने में विफल रहते हैं, विशेष रूप से "प्राइवेसी पैराडॉक्स" (privacy paradox) जहाँ उपयोगकर्ताओं के घोषित दृष्टिकोण उनके वास्तविक कार्यों से भिन्न होते हैं। यह आकलन करने के लिए कि क्या विशिष्ट उपयोगकर्ता व्यक्तित्व लक्षण (persona attributes) LLMs को AI-मध्यस्थ संदर्भों में सटीक व्यक्तिगत गोपनीयता निर्णय लेने के लिए प्रेरित कर सकते हैं, एक मानकीकृत मूल्यांकन सूट की कमी है।

कार्यप्रणाली

लेखक PRIVACYSIM नामक एक मूल्यांकन सूट पेश करते हैं, जिसे ग्राउंड-ट्रुथ मानव प्रतिक्रियाओं के विरुद्ध उपयोगकर्ता गोपनीयता व्यवहार के LLM सिमुलेशन को बेंचमार्क करने के लिए डिज़ाइन किया गया है।

डेटासेट निर्माण

मूल्यांकन सिंथेटिक जनरेशन के बजाय वास्तविक दुनिया के डेटा पर आधारित है। लेखकों ने विविध डोमेन को कवर करने वाले पाँच प्रकाशित उपयोगकर्ता अध्ययनों से एक डेटासेट तैयार किया है:

1. LLM हेल्थकेयर कंसल्टेशन
2. AI एजेंट अनुमतियाँ (Permissions)
3. LLM चैटबॉट
4. चैटबॉट ग्रुप चैट
5. LLM कन्वर्सेशनल एजेंट्स

इन अध्ययनों से, उन्होंने 1,000 उपयोगकर्ताओं (प्रत्येक अध्ययन से 200) का नमूना लिया और 9,400 उपयोगकर्ता-प्रश्न युग्मों (user-question pairs) को निकाला। प्रत्येक उपयोगकर्ता एक "प्राइवेसी पर्सोना" ($P_u$) से जुड़ा है जो तीन परिकल्पित पहलुओं से बना है:

• जनसांख्यिकी ($D_u$): आयु, लिंग, शिक्षा (वैकल्पिक, क्योंकि कुछ अध्ययनों में इन्हें छोड़ दिया गया था)।
• पिछले अनुभव ($E_u$): AI/चैटबॉट्स से परिचय और उपयोग की आवृत्ति।
• गोपनीयता दृष्टिकोण ($A_u$): डेटा उपयोग के संबंध में घोषित चिंताएं और प्राथमिकताएं।

सिमुलेशन कार्य

कार्य को एक LLM सिम्युलेटर $f$ के रूप में परिभाषित किया गया है जो उपयोगकर्ता का व्यक्तित्व $P_u$ और एक डेटा-साझाकरण प्रश्न $q_i$ लेता है और एक सिम्युलेटेड प्रतिक्रिया $\hat{r}_{u,i}$ उत्पन्न करता है। लक्ष्य $\hat{r}_{u,i}$ को उपयोगकर्ता की वास्तविक प्रतिक्रिया $r_{u,i}$ के साथ संरेखित करना है।

मूल्यांकन मीट्रिक

अध्ययनों में भिन्न प्रतिक्रिया पैमानों (जैसे, 5-पॉइंट लिकर्ट बनाम 0–100 संख्यात्मक) के कारण, लेखक एक टॉलरेंस एक्यूरेसी (tolerance accuracy) मीट्रिक का उपयोग करते हैं। एक सिम्युलेटेड प्रतिक्रिया तब मैच मानी जाती है यदि वह वास्तविक प्रतिक्रिया के $\tau \cdot W_{Q_u}$ टॉलरेंस बाउंड के भीतर आती है, जहाँ $W_{Q_u}$ स्केल की ऊपरी सीमा है। लेखकों ने $\tau = 0.15$ निर्धारित किया है, जो 5-पॉइंट स्केल के लिए एक सटीक मैच के रूप में कार्य करता है लेकिन 100-पॉइंट स्केल के लिए $\pm 15$ अंक का मार्जिन देता है।

प्रयोगात्मक सेटअप

अध्ययन ने नौ फ्रंटियर LLMs (ओपन-वेट और क्लोज्ड-सोर्स दोनों) का मूल्यांकन किया, जिसमें GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro, और विभिन्न Qwen और Gemma वेरिएंट शामिल हैं। मॉडलों का परीक्षण आठ प्रॉम्प्ट स्थितियों के तहत किया गया था:

1. कोई व्यक्तित्व नहीं (बेसलाइन)।
2. तीन व्यक्तित्व पहलुओं ($D_u, E_u, A_u$) के उपसमुच्चय (subsets) सभी गैर-रिक्त संयोजनों में।
3. तर्क लेंस (reasoning lenses) के रूप में गोपनीयता सिद्धांतों (Privacy Calculus, Bounded Rationality, Protection Motivation Theory) को शामिल करने वाले वेरिएंट।

मुख्य योगदान

1. PRIVACYSIM बेंचमार्क: व्यक्तिगत-स्तर के गोपनीयता सिम्युलेटर के रूप में LLMs का आकलन करने के लिए पहला मानकीकृत मूल्यांकन सूट, जो पांच अलग-अलग अध्ययनों से वास्तविक उपयोगकर्ता डेटा का उपयोग करता है।
2. पर्सोना फैसेट विश्लेषण: इस बात की व्यवस्थित जांच कि जनसांख्यिकी, पिछले अनुभव और घोषित दृष्टिकोण सिमुलेशन सटीकता में कैसे योगदान देते हैं।
3. प्राइवेसी पैराडॉक्स का परिमाणीकरण: प्रमाणिक साक्ष्य जो दिखाते हैं कि केवल घोषित गोपनीयता दृष्टिकोण अक्सर वास्तविक व्यवहार के खराब भविष्यवक्ता होते हैं, जो सिमुलेशन में प्राइवेसी पैराडॉक्स को मॉडल करने की कठिनाई को उजागर करते हैं।
4. क्लस्टर्ड डिफिकल्टी एनालिसिस: उन विशिष्ट उपयोगकर्ता समूहों (स्टैंड और एक्सपोज़र के आधार पर) की पहचान जो LLMs के लिए सिम्युलेट करने में अत्यधिक कठिन हैं।

परिणाम

RQ1: सिमुलेशन सटीकता की सीमा

• सीमित निष्ठा (Limited Fidelity): सबसे मजबूत मॉडल, Gemini 3.1 Pro ने भी सभी पांच अध्ययनों में सबसे समृद्ध उपलब्ध व्यक्तित्व संयोजन (पिछले अनुभव + गोपनीयता दृष्टिकोण) के साथ केवल 40.4% सटीकता प्राप्त की। यह इंगित करता है कि वर्तमान LLMs व्यक्तिगत गोपनीयता निर्णयों को निष्ठापूर्वक सिम्युलेट करने से बहुत दूर हैं।
• पर्सोना का मूल्य: व्यक्तित्व पहलुओं पर आधारित होने से बेसलाइन (जो ~36–37% थी) की तुलना में सटीकता में लगातार सुधार हुआ। पिछले अनुभवों ($E_u$) और गोपनीयता दृष्टिकोणों ($A_u$) का संयोजन सर्वोत्तम परिणाम देता है, जबकि केवल जनसांख्यिकी ($D_u$) से नगण्य लाभ हुआ।
• डोमेन भिन्नता: सिमुलेशन की गुणवत्ता डोमेन के अनुसार काफी भिन्न थी। "LLM हेल्थकेयर कंसल्टेशन" को सिम्युलेट करना सबसे कठिन (सबसे कम सटीकता) था, जबकि "LLM कन्वर्सेशनल एजेंट्स" और "चैटबॉट ग्रुप चैट" आसान थे।

RQ2: सबसे कठिन-से-सिम्युलेट समूह

एक (stance, exposure) वर्गीकरण का उपयोग करते हुए, लेखकों ने विशिष्ट उपयोगकर्ता क्लस्टर की पहचान की:

• सबसे कठिन समूह: वे उपयोगकर्ता जिनका घोषित गोपनीयता स्तर कम है लेकिन AI/चैटबॉट एक्सपोज़र अधिक है ("Low-stance / High-exposure"), उन्हें सिम्युलेट करना सबसे कठिन था, जिन्होंने सबसे कम सटीकता (36.51%) और व्यक्तित्व कंडीशनिंग से सबसे कम लाभ (+1.07 प्रतिशत अंक) प्राप्त किया। लेखकों का अनुमान है कि LLMs गलत तरीके से इन उपयोगकर्ताओं को उनकी वास्तविक स्थिति की तुलना में कम चिंतित मान लेते हैं, जिससे वे उनके वास्तविक व्यवहार को पकड़ने में विफल रहते हैं।
• सबसे आसान समूह: वे उपयोगकर्ता जिनका घोषित चिंता स्तर उच्च है और मध्यम एक्सपोज़र है, उन्हें सिम्युलेट करना सबसे आसान था, जिन्होंने व्यक्तित्व कंडीशनिंग से सबसे अधिक सुधार (+8.53 प्रतिशत अंक) दिखाया।

RQ3: मॉडल विशेषताएँ और प्रॉम्प्टिंग

• तर्क प्रयास (Reasoning Effort): तर्क प्रयास बढ़ाने (जैसे, निम्न से मध्यम) का सटीकता पर नगण्य प्रभाव पड़ा (<1 प्रतिशत अंक)।
• मॉडल का आकार: एक ही परिवार के भीतर मॉडल के आकार को स्केल करने (जैसे, Mini बनाम Full, 27B बनाम 122B) से केवल मामूली लाभ (0.12 से 1.31 प्रतिशत अंक) हुआ।
• सिद्धांत-आधारित प्रॉम्प्ट: मॉडलों को स्थापित गोपनीयता सिद्धांतों (Privacy Calculus, Bounded Rationality, Protection Motivation Theory) के माध्यम से तर्क करने के लिए प्रॉम्प्ट करना, व्यक्तित्व पहलुओं द्वारा प्रदान किए गए सिग्नल के अलावा सिमुलेशन की गुणवत्ता में सुधार नहीं कर सका।

महत्व और दावे

पेपर निष्कर्ष निकालता है कि हालांकि LLMs के पास सामान्य गोपनीयता मानदंडों की एक गैर-मामूली आधारभूत समझ है, फिर भी उनमें व्यक्तिगत-स्तर के गोपनीयता निर्णय लेने के लिए एक विश्वसनीय प्रॉक्सी के रूप में कार्य करने की निष्ठा की कमी है। जो उपयोगकर्ता कहते हैं (दृष्टिकोण) और जो वे करते हैं (व्यवहार) के बीच का अंतर केंद्रीय बाधा बना हुआ है।

लेखक PRIVACYSIM को एक प्रथम चरण के रूप में देखते हैं। उनका दावा है कि LLM सिमुलेशन वर्तमान में केवल कम-जोखिम वाले, प्रारंभिक-चरण के कार्यों (जैसे, डिज़ाइन विकल्पों की तुलना करना, स्पष्ट उल्लंघनों को सामने लाना, परिकल्पना उत्पन्न करना) के लिए उपयुक्त है, लेकिन किसी भी तैनाती निर्णय से पहले इसे मानव उपयोगकर्ता अध्ययनों के साथ जोड़ा जाना चाहिए। यह कार्य सुझाव देता है कि निष्ठापूर्ण सिमुलेशन के अंतर को पाटने के लिए केवल मॉडल को स्केल करने या प्रॉम्प्ट को परिष्कृत करने के बजाय, वर्तमान व्यक्तित्व पहलुओं से परे समृद्ध व्यवहारिक संकेतों की आवश्यकता होगी।