तकनीकी सारांश: POLAR-Bench

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को तेजी से उपयोगकर्ताओं की ओर से कार्य करने के लिए तैनात किया जा रहा है, जो कार्यों को पूरा करने के लिए निजी दस्तावेजों तक पहुँचते हैं और तीसरे पक्ष की प्रणालियों के साथ बातचीत करते हैं। इन परिदृश्यों में, एक विश्वसनीय एजेंट को दो प्रतिस्पर्धी मांगों के बीच संतुलन बनाना होता है: कार्य पूरा करने के लिए पर्याप्त जानकारी साझा करना (उपयोगिता/utility) और संवेदनशील डेटा को रोकने के लिए उपयोगकर्ता द्वारा परिभाषित गोपनीयता नीतियों का सख्ती से पालन करना (गोपनीयता/privacy)। यह चुनौती तब और जटिल हो जाती है जब तीसरे पक्ष की प्रणालियाँ प्रतिकूल व्यवहार करती हैं, जो संरक्षित विशेषताओं (protected attributes) को निकालने के लिए डायरेक्ट प्रॉम्प्ट इंजेक्शन, रोल-प्ले, या क्रमिक निष्कर्षण (gradual elicitation) जैसी रणनीतियों का उपयोग करती हैं।

एजेंट सेटिंग्स में गोपनीयता के लिए मौजूदा बेंचमार्क महत्वपूर्ण सीमाओं से ग्रस्त हैं। अधिकांश मॉडल को निश्चित स्थितियों के तहत परखते हैं, जो या तो एक ही प्रकार की नीति या एक ही हमले की रणनीति का परीक्षण करते हैं। कोई भी मॉडल गोपनीयता नीति के आयाम और हमले की रणनीति को संयुक्त अक्षों के रूप में एक साथ नहीं बदलता है। फलस्वरूप, गोपनीयता-उपयोगिता ट्रेड-ऑफ (privacy-utility trade-off) अभी भी अनछुआ है, जिससे यह सटीक रूप से पहचानना कठिन हो जाता है कि मॉडल की 'इंटेंट-फॉलोइंग' (इरादा पालन) क्षमताएं कहाँ टूट जाती हैं।

कार्यप्रणाली (Methodology)

लेखक POLAR-Bench (पॉलिसी-अवेयर एडवर्सरियल बेंचमार्क) पेश करते हैं, जो प्रतिकूल परिस्थितियों में LLM एजेंटों में गोपनीयता-उपयोगिता ट्रेड-ऑफ का मूल्यांकन करने के लिए डिज़ाइन किया गया एक डायग्नोस्टिक फ्रेमवर्क है।

बेंचमार्क संरचना

POLAR-Bench प्रत्येक मूल्यांकित मॉडल के लिए एक 5 × 5 डायग्नोस्टिक सतह (diagnostic surface) बनाता है, जो दो ऑर्थोगोनल अक्षों को बदलता है:

1. गोपनीयता नीति आयाम ($L_P$): तर्क की बढ़ती कठिनाई के पांच स्तर, जो स्पष्ट फ़ील्ड बाधाओं (P1) से लेकर सिमेंटिक बाधाओं (P2), सशर्त प्रकटीकरण (P3), आंशिक/अमूर्त प्रकटीकरण (P4), और संघर्षित उद्देश्यों (P5) तक विस्तृत हैं।
2. हमला रणनीति ($L_S$): सूचना निकालने के लिए एक प्रतिकूल तीसरे पक्ष के मॉडल द्वारा उपयोग की जाने वाली पांच रणनीतियाँ, जो सीधे सिंगल-टर्न अनुरोधों (S1) से लेकर हाँ/ना संकुचन (S2), रोल कन्फ्यूजन (S3), प्रॉम्प्ट इंजेक्शन (S4), और मल्टी-टर्न प्रोग्रेसिव एलिसिटेशन (S5) तक फैली हुई हैं।

डेटा जनरेशन और मूल्यांकन

• डेटासेट: यह बेंचमार्क 10 डोमेन (जैसे मेडिकल, लीगल, फाइनेंस) में फैला हुआ है जिसमें कुल 7,852 नमूने हैं।
• जनरेशन पाइपलाइन: नमूने संरचित JSON प्रोफाइल से उत्पन्न किए जाते हैं जिनमें कार्य-प्रासंगिक गुण ($A_{task}$), संरक्षित गुण ($A_{protected}$), और अप्रासंगिक शोर ($A_{other}$) शामिल होते हैं। इन्हें प्राकृतिक भाषा के स्रोत दस्तावेजों, गोपनीयता नीतियों, कार्य निर्देशों और हमलावर प्रॉम्प्ट्स में रेंडर किया जाता है।
• डिकपलिंग (Decoupling): एक महत्वपूर्ण डिज़ाइन सिद्धांत यह सुनिश्चित करता है कि कार्य निर्देश ($T$) में कोई गोपनीयता संकेत न हो, जिससे मॉडल को बाधाओं के लिए केवल गोपनीयता नीति ($P$) पर निर्भर रहने के लिए मजबूर किया जाता है।
• मूल्यांकन प्रोटोकॉल: एक विश्वसनीय मॉडल ($T$) एक निश्चित प्रतिकूल मॉडल ($E$) के साथ संवाद करता है। इस इंटरैक्शन को ग्राउंड ट्रुथ गुणों के विरुद्ध रेगुलर एक्सप्रेशन (regex) आधारित सेट-मेंबरशिप चेक का उपयोग करके नियत रूप से स्कोर किया जाता है, जिससे आउटकम स्कोरिंग के लिए LLM जज की आवश्यकता समाप्त हो जाती है।
  • गोपनीयता स्कोर (Privacy Score): सफलतापूर्वक रोकी गई संरक्षित विशेषताओं का अंश।
  • उपयोगिता स्कोर (Utility Score): सफलतापूर्वक साझा किए गए कार्य-प्रासंगिक गुणों का अंश।
  • कुल स्कोर (Overall Score): गोपनीयता और उपयोगिता का एक कॉनवेक्स कॉम्बिनेशन (डिफ़ॉल्ट $\lambda = 0.5$)।

मुख्य योगदान

1. प्रथम संयुक्त डायग्नोस्टिक सतह: POLAR-Bench पहला बेंचमार्क है जो गोपनीयता नीति आयाम और हमला रणनीति को संयुक्त अक्षों के रूप में बदलता है, जिससे एक 5 × 5 मूल्यांकन सतह बनती है जो समग्र स्कोर के बजाय विशिष्ट विफलता मोड (failure modes) को प्रकट करती है।
2. नियत स्कोरिंग (Deterministic Scoring): संरचित ग्राउंड ट्रुथ पर regex-आधारित मिलान का उपयोग करके, यह बेंचमार्क आउटकम स्कोरिंग के लिए LLM-आधारित जजों से जुड़ी व्यक्तिपरकता और मतिभ्रम (hallucination) के जोखिमों से बचता है।
3. व्यापक कवरेज: यह बेंचमार्क 10 विविध डोमेन और 7,852 नमूनों को कवर करता है, जो 3B से 120B पैरामीटर्स वाले विभिन्न प्रोप्राइटरी और ओपन-वेट मॉडल्स का मूल्यांकन करता है।
4. डिफेंस स्ट्रेस-टेस्टिंग: फ्रेमवर्क को इन्फरेंस-टाइम डिफेंस के अनुकूल बनाया गया है, जिससे 'PrivacyChecker' जैसे तंत्रों का मूल्यांकन संभव हो सके।

परिणाम

फ्रंटियर और ओपन-वेट मॉडल्स का मूल्यांकन एक स्पष्ट प्रदर्शन विभाजन को प्रकट करता है:

• फ्रंटियर मॉडल्स: वर्तमान फ्रंटियर मॉडल्स (जैसे GLM-5.1, GPT-5.4, Gemma-4-31B, DeepSeek-V3.1) मजबूत 'इंटेंट-फॉलोइंग' प्रदर्शित करते हैं, जो उच्च उपयोगिता बनाए रखते हुए 99% से अधिक संरक्षित गुणों को रोकते हैं।
• छोटे ओपन-वेट मॉडल्स: 1–30B रेंज के मॉडल, जिन्हें अक्सर ऑन-डिवाइस या प्राइवेट-इन्फरेंस एजेंट के रूप में तैनात किया जाता है, काफी खराब स्कोर करते हैं। सबसे कमजोर मॉडल 50% से अधिक संरक्षित गुणों को लीक कर देते हैं। कुछ छोटे मॉडल उपयोगिता का त्याग करके गोपनीयता बनाए रखते हैं (अत्यधिक रूढ़िवादी बन जाते हैं), जबकि अन्य गोपनीयता की कीमत पर उपयोगिता को प्राथमिकता देते हैं।
• मॉडल आकार बनाम क्षमता: मॉडल का आकार अकेले गोपनीयता या उपयोगिता का विश्वसनीय भविष्यवक्ता नहीं है। मॉडल परिवारों के भीतर स्केलिंग प्रभाव असंगत हैं। इसके बजाय, सामान्य तर्क क्षमता (GPQA डायमंड स्कोर द्वारा अनुमानित) गोपनीयता संरक्षण के साथ एक मजबूत सकारात्मक सहसंबंध ($r=0.752$) दिखाती है, लेकिन उपयोगिता के साथ एक कमजोर नकारात्मक सहसंबंध दिखाती है, जो सुझाव देता है कि मजबूत तर्क करने वाले मॉडल अत्यधिक रूढ़िवादी हो सकते हैं।
• हमले की संवेदनशीलता (Attack Vulnerability):
  • S2 (Yes/No narrowing) और S5 (Multi-turn progressive) सबसे प्रभावी हमला रणनीतियाँ हैं, जो गोपनीयता स्कोर में सबसे बड़ी गिरावट और मॉडल्स के बीच उच्चतम भिन्नता का कारण बनती हैं।
  • S1 (Direct single-turn) बचाव के लिए सबसे आसान है।
  • गोपनीयता मजबूती का मूल्यांकन केवल प्रत्यक्ष हमलों के माध्यम से नहीं किया जा सकता है; सटीक मूल्यांकन के लिए क्रमिक और संवादात्मक हमले आवश्यक हैं।
• डोमेन परिवर्तनशीलता: हालांकि डोमेन के बीच मॉडल रैंकिंग अपेक्षाकृत स्थिर रहती है, पूर्ण प्रदर्शन भिन्न होता है। "कस्टमर सपोर्ट" उपयोगिता के लिए सबसे चुनौतीपूर्ण डोमेन है, जबकि "रिक्रूटमेंट" उच्चतम गोपनीयता जोखिम और भिन्नता प्रस्तुत करता है।

महत्व और दावे

पेपर का दावा है कि POLAR-Bench "जहाँ इसकी सबसे अधिक आवश्यकता है, वहाँ गोपनीयता संरेखण (privacy alignment) के लिए एक आवश्यक आधार" प्रदान करता है। इसका प्राथमिक महत्व इस बात में निहित है कि यह स्थानीयकृत (localize) करता है कि मॉडल की 'इंटेंट-फॉलोइंग' कहाँ टूट जाती है। केवल यह रिपोर्ट करने के बजाय कि एक मॉडल विफल होता है, डायग्नोस्टिक सतह यह पहचानती है कि वह कैसे विफल होता है:

• क्या वह संरक्षित जानकारी को अत्यधिक प्रकट करके विफल होता है।
• क्या वह कार्य पूरा करने के लिए बहुत अधिक रूढ़िवादी होकर विफल होता है।
• क्या वह विशिष्ट हमले की रणनीतियों या नीति प्रकारों के तहत विफल होता है।

लेखक इस बात पर जोर देते हैं कि फ्रंटियर मॉडल्स और 1–30B ओपन-वेट क्लास के बीच का अंतर तैनाती के लिए महत्वपूर्ण है, क्योंकि उपयोगकर्ता तीसरे पक्ष के API को निजी डेटा भेजने से बचने के लिए इन छोटे, स्थानीय रूप से तैनात होने वाले मॉडल्स पर तेजी से भरोसा कर रहे हैं। पेपर का तर्क है कि पैरामीटर संख्या के बजाय एलाइनमेंट और ट्रेनिंग विकल्प प्रदर्शन को संचालित करते हैं, और तर्क क्षमता (reasoning capability) यह पहचानने की क्षमता के साथ दृढ़ता से सहसंबंधित है कि क्या रोकना है, भले ही यह बेहतर कार्य पूर्णता की गारंटी न दे।

अंततः, यह बेंचमार्क अगली पीढ़ी के गोपनीयता-जागरूक एलाइनमेंट और इन्फरेंस-टाइम डिफेंस के लिए एक स्ट्रेस-टेस्ट के रूप में कार्य करता है, विशेष रूप से उन लक्ष्यों के लिए जो तैनाती-प्रासंगिक छोटे मॉडल्स को लक्षित करते हैं।