SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models

यहाँ शोध पत्र "SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को तेजी से ऐसे मल्टी-एजेंट वातावरण में तैनात किया जा रहा है जहाँ संचार को सूचनात्मकता (सहयोगियों की मदद करना) और गोपनीयता (शत्रु को संवेदनशील विवरणों का अनुमान लगाने से रोकना) के बीच संतुलन बनाना होता है। यह एक चुनौती पैदा करता है जिसे सहायता दुविधा (assistance dilemma) या असममित सूचना के तहत रणनीतिक संकेत (strategic signaling under asymmetric information) कहा जाता है: एक एजेंट को अपने सहयोगी को गुप्त जानकारी का संकेत देना चाहिए, लेकिन बिना उस गुप्त जानकारी को एक अनभिज्ञ पर्यवेक्षक (observer) के सामने प्रकट किए।

वर्तमान LLM बेंचमार्क (जैसे, MMLU, GSM8K) मुख्य रूप से सिंगल-एजेंट सेटिंग्स में तर्क (reasoning), तथ्यात्मक ज्ञान, या निर्देश पालन का मूल्यांकन करते हैं। वे यह मापने में विफल रहते हैं कि मॉडल विभिन्न सूचना अवस्थाओं (information states) वाले अन्य एजेंटों के साथ संचार करते समय सूचना रिसाव (information leakage) को नियंत्रित करने की क्षमता रखता है या नहीं। यह मूल्यांकन करने के लिए कोई मानकीकृत ढांचा उपलब्ध नहीं है कि क्या मॉडल ऐसे संदेश उत्पन्न कर सकते हैं जो एक "मित्र" (ally) के लिए उपयोगी हों लेकिन एक "शत्रु" (adversary) के लिए अस्पष्ट हों।

2. कार्यप्रणाली: SNEK बेंचमार्क (Methodology: The SNEAK Benchmark)

लेखक SNEAK (Secret-aware Natural language Evaluation for Adversarial Knowledge) पेश करते हैं, जो पार्टी गेम The Chameleon से प्रेरित है।

कार्य परिभाषा (Task Definition)

यह कार्य एक वन-शॉट (one-shot) असममित संचार खेल है जिसमें शामिल हैं:

• इनपुट (Inputs): एक सिमेंटिक श्रेणी $c$, संभावित शब्दों का एक सेट $W$, और एक विशिष्ट गुप्त शब्द $w_s \in W$।
• जेनेरेटर (Generator): एक लैंग्वेज मॉडल $f_\theta$ जो $(c, W, w_s)$ को देखता है और एक छोटा प्राकृतिक भाषा संदेश $m$ उत्पन्न करता है।
• एजेंट (Agents):
  • द एली (The Ally - मित्र): गुप्त शब्द $w_s$ को जानता है। श्रेणी, उम्मीदवारों, और संदेशों के एक सेट (जिसमें उत्पन्न संदेश और डिकॉय शामिल हैं) को देखते हुए, मित्र को यह पहचानना होता है कि कौन सा संदेश गुप्त शब्द के अनुरूप है।
  • द शैमलिऑन (The Chameleon - शत्रु/छलावरण): गुप्त शब्द को नहीं जानता। श्रेणी, उम्मीदवारों, और संदेश को देखते हुए, शैमलिऑन को उम्मीदवार सेट से गुप्त शब्द का अनुमान लगाना होता है।

मूल्यांकन मेट्रिक्स (Evaluation Metrics)

यह ढांचा संचार प्रदर्शन को दो पूरक मेट्रिक्स में विभाजित करता है:

1. उपयोगिता (Utility): यह मापता है कि संदेश मित्र के लिए कितना प्रभावी ढंग से संवाद करता है। यह वह प्रायिकता (probability) है जो मित्र सही संदेश को देता है, जिसे रैंडम गेसिंग के विरुद्ध सामान्यीकृत (normalized) किया गया है।
2. रिसाव (Leakage): यह मापता है कि संदेश शत्रु को कितनी जानकारी प्रकट करता है। यह वह प्रायिकता है जो शैमलिऑन सही गुप्त शब्द को देता है, जिसे रैंडम गेसिंग के विरुद्ध सामान्यीकृत किया गया है।

इस ट्रेड-ऑफ को पकड़ने के लिए, लेखक एक SoftScore को परिभाषित करते हैं:
$$\text{SoftScore}(m) = \text{Utility}(m) \times (1 - \text{Leakage}(m))$$
यह मल्टीप्लिकेटिव स्कोर उन संदेशों को पुरस्कृत करता है जो मित्र के लिए अत्यधिक उपयोगी होते हैं और साथ ही सूचना के रिसाव को न्यूनतम रखते हैं। एक सख्त BinaryScore का भी उपयोग किया जाता है, जो केवल तभी सफलता गिनता है जब मित्र संदेश को उच्चतम रैंक देता है और शैमलिऑन गुप्त शब्द को उच्चतम रैंक नहीं देता है।

डेटासेट और सेटअप (Dataset and Setup)

• स्रोत (Source): इसे श्रेणी उत्पादन मानदंडों (category production norms) से प्राप्त 117 सिमेंटिक श्रेणियों (ठोस और अमूर्त) से लिया गया है।
• पैमाना (Scale): 1,394 बेंचमार्क इंस्टेंस।
• डिकॉय (Decoys): मित्र कार्य के लिए, 5 सिमेंटिक रूप से संबंधित "डिकॉय" संदेश बिना गुप्त शब्द तक पहुँच के बनाए जाते हैं ताकि नकारात्मक उदाहरण के रूप में कार्य किया जा सके।
• मूल्यांकन प्रोटोकॉल (Evaluation Protocol): मजबूती सुनिश्चित करने और पूर्वाग्रह को कम करने के लिए तीन स्वतंत्र LLMs (Mixtral, Llama, Qwen) को सिम्युलेटेड एजेंटों के रूप में उपयोग किया जाता है।

3. मुख्य योगदान (Key Contributions)

1. SNEK बेंचमार्क: विशेष रूप से LLMs में चयनात्मक सूचना साझाकरण का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क, जो विविध सिमेंटिक डोमेन को कवर करता है।
2. व्यवहार संबंधी मूल्यांकन ढांचा (Behavioral Evaluation Framework): एक नवीन दृष्टिकोण जो संचार को उपयोगिता (Utility) और रिसाव (Leakage) में विभाजित करता है, जिससे रणनीतिक सिग्नलिंग क्षमताओं का वस्तुनिष्ठ और पुनरुत्पादक माप संभव होता है।
3. अनुभवजन्य विश्लेषण (Empirical Analysis): आधुनिक LLMs (GPT-5, Claude, DeepSeek, Llama, आदि सहित) का एक व्यापक अध्ययन, जो मानव प्रदर्शन की तुलना में इन प्रतिस्पर्धी उद्देश्यों को संतुलित करने में उनकी निरंतर अक्षमता को प्रकट करता है।

4. परिणाम (Results)

लेखकों ने विभिन्न इंस्ट्रक्शन-ट्यून्ड मॉडल्स (ओपन और क्लोज्ड सोर्स) का मूल्यांकन किया और उनकी तुलना बेसलाइन्स और मानव प्रतिभागियों से की।

• मानव बनाम मॉडल प्रदर्शन (Human vs. Model Performance): मानव प्रतिभागी सभी मूल्यांकित मॉडल्स से काफी बेहतर प्रदर्शन करते हैं, और 4 गुना अधिक SoftScores प्राप्त करते हैं। मनुष्य उच्च उपयोगिता (91.26) प्राप्त करते हुए भी कम रिसाव (33.81) बनाए रखते हैं।
• उपयोगिता-रिसाव ट्रेड-ऑफ (The Utility-Leakage Trade-off): आधुनिक LLMs आम तौर पर एक मजबूत ट्रेड-ऑफ प्रदर्शित करते हैं। जो मॉडल उच्च उपयोगिता प्राप्त करते हैं (जैसे, DeepSeek-V3.2, Mixtral-8x22B), उनमें उच्च रिसाव होने की प्रवृत्ति होती है।
  • उदाहरण: DeepSeek-V3.2 ने 98.52 उपयोगिता प्राप्त की लेकिन 75.42 रिसाव हुआ।
  • उदाहरण: मनुष्यों ने 91.26 उपयोगिता के साथ केवल 33.81 रिसाव प्राप्त किया।
• इन्फरेंस-टाइम स्केलिंग (Inference-Time Scaling): CoT (Chain-of-Thought), SETS (Self-Enhanced Test-Time Scaling), और RMR (Recursive Message Refinement) जैसी विधियों का परीक्षण किया गया।
  • जबकि CoT और SETS ने उपयोगिता में सुधार किया, उन्होंने अक्सर रिसाव को बढ़ा दिया या संयुक्त SoftScore में महत्वपूर्ण सुधार करने में विफल रहे।
  • RMR ने विशिष्ट मॉडल्स (जैसे, Gemma-3) के लिए रिसाव को कम करने में कुछ आशाजनक परिणाम दिखाए, लेकिन अक्सर उपयोगिता की कीमत पर।
• सिमेंटिक विश्लेषण (Semantic Analysis):
  • अमूर्त बनाम ठोस (Abstract vs. Concrete): अमूर्त श्रेणियों ने ठोस श्रेणियों की तुलना में बेहतर चयनात्मक संचार (उच्च SoftScore) की अनुमति दी, संभवतः इसलिए क्योंकि अमूर्त अवधारणाएं अधिक अप्रत्यक्ष साहचर्य संकेतों (associative hints) की अनुमति देती हैं।
  • संदेश प्रकार (Message Types): आंतरिक गुणों (entity relations) और प्रासंगिक साहचर्यों (temporal/situational) पर आधारित संदेशों ने सबसे अच्छा प्रदर्शन किया। व्यापक वर्गीकरण संबंधों (जैसे, पर्यायवाची) पर निर्भर संदेश अक्सर या तो मित्रों के लिए बहुत अस्पष्ट थे या शत्रुओं के लिए बहुत स्पष्ट थे।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• क्षमताओं का अंतर (Gap in Capabilities): यह अध्ययन वर्तमान LLMs में एक महत्वपूर्ण अंतर को उजागर करता है: हालांकि वे उच्च-गुणवत्ता वाली सामग्री उत्पन्न करने में उत्कृष्ट हैं, वे रणनीतिक संचार में संघर्ष करते हैं—अर्थात, श्रोता की ज्ञान अवस्था के आधार पर सूचना प्रवाह को नियंत्रित करने की क्षमता।
• सुरक्षा और गोपनीयता (Safety and Privacy): गोपनीयता-संरक्षण संचार, ट्यूटरिंग (उत्तर दिए बिना संकेत देना), और सुरक्षित मल्टी-एजेंट सिस्टम में सूचना रिसाव को नियंत्रित करने की क्षमता अत्यंत महत्वपूर्ण है।
• भविष्य की दिशाएं (Future Directions): SNEK इन व्यवहारों का अध्ययन करने के लिए एक नियंत्रित वातावरण प्रदान करता है। परिणाम बताते हैं कि वर्तमान मॉडल्स में "थ्योरी ऑफ माइंड" (Theory of Mind) या व्यावहारिक तर्क (pragmatic reasoning) की कमी है जो मददगार होने और गुप्त रहने के बीच के तनाव को संभालने के लिए आवश्यक है।

संक्षेप में, SNEK यह प्रदर्शित करता है कि यद्यपि LLMs उच्च-गुणवत्ता वाले संदेश उत्पन्न कर सकते हैं, उनमें वर्तमान में रणनीतिक सूक्ष्मता की कमी है जो विषम सूचना सेटिंग्स में प्रभावी ढंग से संवाद करने के लिए आवश्यक है, और वे अक्सर अनचाहे पर्यवेक्षकों के लिए बहुत अधिक जानकारी प्रकट कर देते हैं।