Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games

तकनीकी सारांश: पूर्ण-सूचना विस्तृत-रूप खेलों (Perfect-Information Extensive-Form Games) में वॉटरमार्किंग गेम-प्लेइंग एजेंट

समस्या विवरण
आर्टिफिशियल इंटेलिजेंस की तीव्र प्रगति ने शतरंज, गो (Go) और पोकर जैसे खेलों के लिए सुपरह्यूमन एजेंटों को जन्म दिया है। जबकि ये एजेंट उत्कृष्ट प्रदर्शन प्रदर्शित करते हैं, इनका अनधिकृत उपयोग प्रतिस्पर्धी वातावरणों (जैसे, ऑनलाइन धोखाधड़ी) में और बौद्धिक संपदा (IP) की चोरी (जैसे, कोड साहित्यिक चोरी या मॉडल डिस्टिलेशन) की क्षमता महत्वपूर्ण चुनौतियां पेश करती है। लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए मौजूदा वॉटरमार्किंग तकनीकें, जो आउटपुट स्रोतों को सत्यापित करने के लिए छिपे हुए संकेतों को एनकोड करती हैं, एक संभावित समाधान प्रदान करती हैं। हालांकि, गेम-प्लेइंग एजेंटों के लिए LLM वॉटरमार्किंग का सीधा अनुप्रयोग गैर-तुच्छ (non-trivial) है क्योंकि संरचनात्मक अंतर हैं: गेम-प्ले में कई खिलाड़ियों द्वारा क्रमिक क्रियाएं शामिल होती हैं, रणनीतिक गुणवत्ता (अपेक्षित उपयोगिता/expected utility) का संरक्षण आवश्यक है, और अक्सर कार्रवाई के सुझावों के साथ अनुमानित उपयोगिताओं का खुलासा करना आवश्यक होता है। इसके अलावा, टेक्स्ट जनरेशन के विपरीत जहाँ ऑफलाइन पोस्ट-प्रोसेसिंग हमले संभव हैं, गेम-प्लेइंग की बाधाएं (जैसे, चालों को वापस न ले पाना, पर्यवेक्षकों की उपस्थिति) हमलावरों को ऑनलाइन, सिंगल-स्टेप हेरफेर तक सीमित कर देती हैं।

कार्यप्रणाली
लेखक किर्चनबाउर-ग्रीन-कीन (KGW) वॉटरमार्क को, जो एक प्रमुख LLM वॉटरमार्किंग तकनीक है, पूर्ण-सूचना विस्तृत-रूप खेलों (EFGs) के अनुकूल बनाते हैं। मुख्य कार्यप्रणाली गेम-सॉल्विंग एजेंट के स्ट्रैटेजी प्रोफाइल $\sigma$ को संशोधित करने पर आधारित है।

1. स्ट्रैटेजी प्रोफाइल्स के लिए KGW का अनुकूलन:

   • ग्रीन/रेड लिस्ट विभाजन: किसी दिए गए इतिहास $h$ के लिए, उपलब्ध क्रियाओं $A(h)$ को एक छद्म-यादृच्छिक संख्या जनरेटर (pseudo-random number generator) द्वारा, जो वर्तमान अवलोकन के हैश द्वारा सीड किया गया है, एक "ग्रीन लिस्ट" $G$ (आकार $\gamma|A(h)|$) और एक "रेड लिस्ट" $R$ में यादृच्छिक रूप से विभाजित किया जाता है।
   • उपयोगिता विरूपण (Utility Distortion): LLMs की तरह लॉजिट्स (logits) को संशोधित करने के बजाय, वॉटरमार्क क्रियाओं से जुड़ी (अनुमानित) अपेक्षित उपयोगिताओं $\vec{u}$ को संशोधित करता है। ग्रीन लिस्ट की क्रियाओं में एक हार्डनेस पैरामीटर $\delta$ जोड़ा जाता है, जबकि रेड लिस्ट की क्रियाओं से एक प्रतिपूरक मान $-\gamma\delta/(1-\gamma)$ घटाया जाता है। यह सुनिश्चित करता है कि उपयोगिता में अपेक्षित समायोजन शून्य हो, जिससे अपेक्षा में समग्र वितरण सुरक्षित रहता है।
   • क्रिया चयन: एजेंट अधिकतम समायोजित उपयोगिता वाली क्रिया का चयन करता है। जैसे-जैसे $\delta \to \infty$ होता है, एजेंट को केवल ग्रीन-लिस्ट क्रियाएं चुनने के लिए मजबूर किया जाता है; जैसे-जैसे $\delta \to 0$ होता है, वॉटरमार्क केवल एक टाई-ब्रेकर के रूप में कार्य करता है।

2. अपेक्षित उपयोगिताओं की वॉटरमार्किंग:

   • उपयोगकर्ताओं को अनुमानित उपयोगिताओं को देखने की आवश्यकता होती है (केवल क्रियाओं को नहीं), इस समस्या को हल करने के लिए, उपयोगिता मूल्यों पर एक समानांतर वॉटरमार्किंग तंत्र लागू किया जाता है। यह हमलावरों को बिना संशोधित उपयोगिता वाली उच्चतम क्रिया का चयन करके वॉटरमार्क को बायपास करने से रोकता है।
   • गोपनीयता बाधा: पेपर नोट करता है कि यदि अपेक्षित उपयोगिताएँ उपयोगकर्ता को वापस की जाती हैं, तो वॉटरमार्क को निजी तौर पर (एक गुप्त कुंजी के साथ) तैनात किया जाना चाहिए। यदि हार्डनेस पैरामीटर $\delta$ सार्वजनिक है, तो एक हमलावर वास्तविक अंतर्निहित मॉडल के मूल्यों को पुनः प्राप्त करने के लिए उपयोगिता समायोजनों को गणितीय रूप से रिवर्स कर सकता है।

3. डिटेक्शन मैकेनिज्म (पहचान तंत्र):

   • डिटेक्शन शून्य परिकल्पना (null hypothesis) के तहत ग्रीन-लिस्ट क्रियाओं की देखी गई आवृत्ति ($n_G$) बनाम अपेक्षित आवृत्ति ($\gamma n$) की तुलना करने वाले सांख्यिकीय परीक्षण (z-score) पर निर्भर करता है, जहाँ खिलाड़ी वॉटरमार्क से अनभिज्ञ है।
   • एक उच्च z-स्कोर ग्रीन-लिस्ट क्रियाओं की उपस्थिति का संकेत देता है। लेखक $z=4$ (लगभग $3 \times 10^{-5}$ फॉल्स पॉजिटिव रेट) के थ्रेशोल्ड का सुझाव देते हैं।

प्रमुख योगदान

• गेम-प्लेइंग वॉटरमार्किंग की शुरुआत: यह पेपर पूर्ण-सूचना EFGs में गेम-प्लेइंग रणनीतियों को वॉटरमार्क करने के पहले ढांचे को स्थापित करता है, जो गेम थ्योरी के डोमेन में LLM तकनीकों को अनुकूलित करता है।
• सैद्धांतिक सीमाएं (Theoretical Bounds): लेखक रणनीति गुणवत्ता में गिरावट को सीमित करने वाला एक सैद्धांतिक विश्लेषण प्रदान करते हैं। वे सिद्ध करते हैं कि वॉटरमार्क के कारण होने वाला कुल अपेक्षित उपयोगिता का नुकसान ($L$) इस प्रकार सीमित है: $L \le n\delta(1 + \gamma/(1-\gamma))$, जहाँ $n$ क्रियाओं की संख्या है। यह डिटेक्टेबिलिटी (उच्च $\delta$) और रणनीति गुणवत्ता के बीच एक ट्रेड-ऑफ को प्रदर्शित करता है।
• उपयोगिता प्रकटीकरण को संभालना: पेपर गेम-प्लेइंग एजेंटों की एक अनूठी चुनौती को संबोधित करता है जहाँ उपयोगकर्ताओं को अपेक्षित उपयोगिताओं की आवश्यकता होती है, जिसके लिए एक विधि प्रस्तावित की गई है जो डिटेक्शन क्षमता से समझौता किए बिना इन मूल्यों को वॉटरमार्क करती है, बशर्ते कि वॉटरमार्क निजी रखा जाए।
• मजबूती विश्लेषण (Robustness Analysis): लेखक तर्क देते हैं कि गेम-प्ले की प्रकृति (क्रमिक, अवलोकन योग्य, अपरिवर्तनीय चालें) स्वाभाविक रूप से ऑफलाइन अटैक वेक्टर्स को कम करती है, जो टेक्स्ट जनरेशन में सामान्य हैं, जिससे हमलावर प्रस्तावित योजना के विरुद्ध केवल ऑनलाइन, सिंगल-स्टेप हेरफेर तक सीमित हो जाते हैं।

प्रायोगिक परिणाम
लेखकों ने छह लोकप्रिय यूनिवर्सल चेस इंटरफेस (UCI) इंजन: asmFish 9, Dragon, Ethereal 14.40, PlentyChess, Stash v37.0, और Stockfish 17.1 पर वॉटरमार्क को बूटस्ट्रैप करके अपने ढांचे का मूल्यांकन किया।

• प्रदर्शन प्रभाव: वॉटरमार्क्ड और मूल इंजनों के बीच 100 राउंड के मैचों में, Elo अंतर नगण्य और त्रुटि मार्जिन के भीतर था। उदाहरण के लिए, Stockfish 17.1 ने +24.4 Elo अंतर दिखाया (सांख्यिकीय रूप से महत्वहीन), और asmFish 9 ने -10.4 दिखाया। वॉटरमार्क्ड इंजन के कमजोर होने की संभावना (LOI) आम तौर पर 90% आत्मविश्वास तक नहीं पहुंची, जो इंगित करता है कि वॉटरमार्क खेलने की शक्ति को महत्वपूर्ण रूप से कम नहीं करता है।
• डिटेक्टेबिलिटी (पता लगाने की क्षमता): वॉटरमार्क कुछ खेलों की एक छोटी संख्या के बाद उच्च विश्वास के साथ पता लगाने योग्य था। अधिकांश वॉटरमार्क्ड इंजन पहले 2 से 9 राउंड के भीतर $z=4$ थ्रेशोल्ड को पार कर गए।
• पैरामीटर एब्लेशन: $\gamma$ (ग्रीन-लिस्ट आकार) और $\delta$ (हार्डनेस) को बदलने वाले प्रयोगों ने खुलासा किया कि $\gamma=0.25$ और $\delta=0.5$ सेंटीपॉन (centipawns) एक इष्टतम संतुलन प्रदान करते हैं। $\delta$ को बढ़ाने से डिटेक्शन मेट्रिक्स (उच्च z-स्कोर और एरिया अंडर द कर्व) में सुधार हुआ लेकिन इंजन की ताकत (उच्च LOI) में काफी कमी आई।

महत्व और दावे
पेपर का दावा है कि यह गेम-प्लेइंग रणनीतियों को वॉटरमार्क करने के अध्ययन की शुरुआत करता है, यह प्रदर्शित करते हुए कि गेम-प्लेइंग एजेंटों में उनके प्रदर्शन से महत्वपूर्ण समझौता किए बिना मजबूत, अद्वितीय हस्ताक्षर डाले जा सकते हैं। लेखक दावा करते हैं कि उनकी विधि गेमप्ले डेटा पर सांख्यिकीय परीक्षणों का उपयोग करके अनधिकृत AI उपयोग (जैसे, धोखाधड़ी) या IP चोरी (जैसे, डिस्टिलेशन) का पता लगाने की अनुमति देती है। वे इस बात पर जोर देते हैं कि हालांकि डिटेक्टेबिलिटी और क्वालिटी के बीच एक ट्रेड-ऑफ है, लेकिन क्वालिटी में गिरावट को सीमित किया जा सकता है और व्यवहार में अक्सर नगण्य होती है, विशेष रूप से जब अंतर्निहित मॉडल पहले से ही ह्यूरिस्टिक अनुमानों पर निर्भर करता है। यह कार्य हाइलाइट करता है कि गेम-प्लेइंग टेक्स्ट जनरेशन से एक अलग सेटिंग प्रस्तुत करती है, जिसके लिए उपयोगिता प्रकटीकरण और प्रतिकूल हमलों की प्रकृति के संबंध में विशिष्ट अनुकूलन की आवश्यकता होती है।