Optimal Multi-bit Generative Watermarking Schemes Under Worst-Case False-Alarm Constraints

यहाँ शोध पत्र "Optimal Multi-bit Generative Watermarking Schemes Under Worst-Case False-Alarm Constraints" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र worst-case false-alarm constraint के तहत multi-bit generative watermarking की चुनौती को संबोधित करता है, जो कि Large Language Models (LLMs) के लिए महत्वपूर्ण है।

• संदर्भ (Context): चूँकि LLMs द्वारा उत्पन्न टेक्स्ट मानव लेखन के समान ही अविभेद्य होता है, इसलिए AI-जनित सामग्री का पता लगाने और छिपे हुए मेटाडेटा (multi-bit messages) को एम्बेड करने के लिए मजबूत वॉटरमार्किंग की आवश्यकता है।
• बाधाएं (Constraints):
  • विकृतिहीन (Distortionless): वॉटरमार्क्ड टेक्स्ट को LLM के टोकन वितरण ($P_X$) के मूल सांख्यिकीय गुणों को संरक्षित करना चाहिए।
  • Worst-Case False Alarm: गैर-वॉटरमार्क्ड टेक्स्ट को वॉटरमार्क्ड के रूप में गलत पहचानने (false alarm) की संभावना $\alpha$ थ्रेशोल्ड से अधिक नहीं होनी चाहिए, भले ही वह सबसे खराब स्थिति वाला टोकन वितरण $Q_X$ हो।
  • लक्ष्य: ऊपर दी गई बाधाओं को पूरा करते हुए miss-detection probability (एक वैध वॉटरमार्क संदेश $m \in [1:T]$ का पता लगाने में विफल होने की संभावना) को कम करना।
• पूर्व कार्य में अंतराल (Gap in Prior Work): He et al. [11] के एक पिछले अध्ययन ने miss-detection probability पर एक सैद्धांतिक निचली सीमा (lower bound) और एक विशिष्ट एन्कोडिंग-डिकोडिंग योजना प्रस्तावित की थी, जो दावा करती थी कि वह इसे प्राप्त कर सकती है। यह शोध पत्र प्रदर्शित करता है कि [11] की योजना उप-इष्टतम (suboptimal) है और अत्यधिक प्रतिबंधात्मक डिकोडर डिज़ाइन के कारण अक्सर अमान्य होती है।

2. कार्यप्रणाली (Methodology)

लेखक वॉटरमार्किंग डिज़ाइन समस्या को एक Linear Program (LP) के रूप में तैयार करते हैं ताकि false alarms और miss-detection के बीच इष्टतम व्यापार-संबंध (trade-off) को स्पष्ट किया जा सके।

A. सैद्धांतिक ढांचा (Theoretical Framework)

• सिस्टम मॉडल: इसे एक एन्कोडर $f$, एक सैंपलर $g$, और एक डिकोडर $\gamma$ द्वारा परिभाषित किया गया है। एन्कोडर एक संदेश $m$ और टोकन वितरण $P_X$ को टोकन और एक गुप्त कुंजी $Z$ पर संयुक्त वितरण $P_m(X, Z)$ में मैप करता है।
• अनुकूलन उद्देश्य (Optimization Objective): $\max_{m} \beta_m$ (worst-case miss-detection) को न्यूनतम करना, जबकि निम्नलिखित शर्तों का पालन किया जाए:
  1. $\sup_{Q_X} \beta_0(Q_X \otimes P_Z, \gamma) \leq \alpha$ (Worst-case false alarm constraint)।
  2. मार्जिनल इनवेरियंस (Marginal invariance): $\sum_\zeta P_m(x, \zeta) = P_X(x)$ (विकृतिहीनता)।
• सैद्धांतिक निचली सीमा (Theoretical Lower Bound): यह शोध पत्र [11] में व्युत्पन्न इष्टतम miss-detection probability के लिए निचली सीमा की पुष्टि करता है:
  $$\beta^*[\alpha, P_X] = 1 - \sum_{x \in X} \min\left(\frac{\alpha}{T}, P_X(x)\right)$$
  मुख्य योगदान इस सीमा की प्राप्यता (achievability) को सिद्ध करना है, जिसे पिछला कार्य सही ढंग से करने में विफल रहा था।

B. प्रमुख संरचनात्मक अंतर्दृष्टि (Key Structural Insights)

इस सीमा को प्राप्त करने के लिए, लेखक संयुक्त वितरण $P_m(x, \zeta)$ के लिए दो आवश्यक संरचनात्मक स्थितियों की पहचान करते हैं:

1. $\alpha$-bounded total sum: किसी विशिष्ट टोकन $x$ के लिए उन कुंजियों (keys) को आवंटित की गई प्रायिकताओं का योग जो किसी भी संदेश $m$ तक डिकोड होती हैं, $\leq \alpha$ होना चाहिए।
2. $\alpha/T$-capped column sum: एक विशिष्ट संदेश $m$ और टोकन $x$ के लिए, $(x, \zeta)$ जोड़ों को आवंटित प्रायिकता द्रव्यमान (probability mass) जो $m$ तक डिकोड होते हैं, कम से कम $\min(\alpha/T, P_X(x))$ होना चाहिए।

3. प्रस्तावित समाधान (दो इष्टतम निर्माण)

यह शोध पत्र दो नवीन एन्कोडिंग-डिकोडिंग निर्माण पेश करता है जो आवश्यक शर्तों को पूरा करते हैं और सैद्धांतिक निचली सीमा को प्राप्त करते हैं।

निर्माण A: अपघटन दृष्टिकोण (Decomposition Approach)

यह विधि टोकन वितरण $P_X$ को तीन घटकों में विभाजित करती है: $P_X = P_X^{(1)} + P_X^{(2)} + P_X^{(3)}$।

1. $P_X^{(1)}$ (T-hot Representable): एक घटक जिसे "T-hot" वेक्टर्स (सटीक $T$ गैर-शून्य प्रविष्टियों वाले वेक्टर्स) के भारित योग के रूप में दर्शाया जा सकता है। इस भाग को एक संरचनात्मक आधार का उपयोग करके वितरित किया जाता है जहाँ कुंजियाँ एक कैनोनिकल वेक्टर के क्रमपरिवर्तन (permutations) होती हैं।
2. $P_X^{(2)}$ (Step-Vectors): एक गैर-ऋणात्मक, गैर-घटता (non-decreasing) वेक्टर जिसमें पूंछ (tail) पर अधिकतम $T-1$ धनात्मक प्रविष्टियाँ हैं। इसे $\alpha/T$ कैप का उल्लंघन किए बिना "anchored keys" का उपयोग करके आवंटित किया जाता है।
3. $P_X^{(3)}$ (Residual): शेष द्रव्यमान ($P_X(x) - \alpha/T$ यदि धनात्मक हो)। इस घटक का उपयोग $P_X^{(2)}$ के आवंटन द्वारा उत्पन्न row-sum imbalance को ठीक करने के लिए किया जाता है।

• प्रमुख तंत्र: एल्गोरिदम एक विशिष्ट "डमी" कुंजी $\mathbf{0}$ और अवशिष्ट द्रव्यमान (residual mass) $P_X^{(3)}$ का उपयोग करके "row-sum imbalance" (जहाँ कुछ कुंजियों में विभिन्न संदेशों के माध्यम से अन्य कुंजियों की तुलना में उच्च कुल प्रायिकता होती है) को सावधानीपूर्वक संतुलित करता है।

निर्माण B: छद्म-टोकन दृष्टिकोण (Pseudo-Token Approach)

यह दृष्टिकोण वैचारिक रूप से सरल है लेकिन इसके लिए बड़े की-स्पेस (key space) की आवश्यकता हो सकती है।

1. विस्तारित स्थान (Extended Space): यह एक विस्तारित टोकन वितरण $P'_X$ का निर्माण करता है जिसकी लंबाई $N+n$ (जहाँ $n \geq 0$) है जो पूर्णतः T-hot representable है।
   • यदि $P_X$ पहले से ही T-hot representable है, तो $n=0$।
   • अन्यथा, वितरण को T-hot representable बनाने के लिए शब्दावली (vocabulary) में $n$ "छद्म-टोकन" (pseudo-tokens) जोड़े जाते हैं।
2. मैपिंग (Mapping): विस्तारित स्थान में संयुक्त वितरण का निर्माण T-hot प्रतिनिधित्व पद्धति का उपयोग करके किया जाता है।
3. प्रक्षेपण (Projection): छद्म-टोकनों से जुड़े द्रव्यमान को मूल टोकन स्पेस $X$ में आनुपातिक रूप से मैप किया जाता है, जहाँ $r(x) = \max(P_X(x) - \alpha/T, 0)$ है।

• व्यापार (Trade-off): निर्माण B लागू करने में अधिक सीधा है लेकिन $P_X$ की एकरूपता (uniformity) के आधार पर, यह निर्माण A की तुलना में काफी बड़े की सेट आकार ($|Z|$) की आवश्यकता रख सकता है।

4. मुख्य परिणाम (Key Results)

• पूर्व कार्य का खंडन (Refutation of Prior Work): लेखक एक प्रति-उदाहरण (counter-example) (उपयोग करते हुए $N=3, T=2, \alpha=0.9$) और एक द्वैत तर्क (duality argument) प्रदान करते हैं जो यह सिद्ध करता है कि [11] का निर्माण दावा की गई इष्टतम सीमा को प्राप्त नहीं कर सकता है। यह विफलता [11] के कठोर डिकोडर डिज़ाइन के कारण है जो सभी रैखिक बाधाओं को एक साथ संतुष्ट नहीं कर सकता है।
• प्राप्यता (Achievability): दोनों निर्माण (A और B) यह सिद्ध करते हैं कि वे सैद्धांतिक निचली सीमा प्राप्त करते हैं:
  $$\max_{m} \beta_m = 1 - \sum_{x \in X} \min\left(\frac{\alpha}{T}, P_X(x)\right)$$
• इष्टतमता (Optimality): यह शोध पत्र worst-case false-alarm constraints के तहत multi-bit generative watermarking के इष्टतम प्रदर्शन का पूर्णतः लक्षण वर्णन करता है।

5. महत्व (Significance)

• सैद्धांतिक पूर्णता (Theoretical Closure): यह कार्य बहु-बिट वॉटरमार्किंग प्रदर्शन के ओपन प्रॉब्लम को हल करता है, जो मौजूदा साहित्य की एक महत्वपूर्ण त्रुटि को सुधारता है।
• व्यावहारिक निहितार्थ (Practical Implications): स्पष्ट और इष्टतम निर्माण प्रदान करके, यह शोध पत्र ऐसे वॉटरमार्किंग स्कीम्स डिजाइन करने के लिए एक ब्लूप्रिंट प्रदान करता है जो टेक्स्ट की स्वाभाविकता (distortionless) बनाए रखते हुए और false alarms को सख्ती से नियंत्रित करते हुए सूचना एम्बेडिंग (multi-bit) को अधिकतम करते हैं।
• कार्यप्रणाली योगदान (Methodological Contribution): T-hot representable vectors का परिचय और प्रायिकता वितरणों का अपघटन, जनरेटिव मॉडल्स के सूचना-सैद्धांतिक विश्लेषण के लिए नए उपकरण प्रदान करता है।
• मजबूती (Robustness): Worst-case false-alarm constraints पर ध्यान केंद्रित करना यह सुनिश्चित करता है कि वॉटरमार्किंग स्कीम्स प्रतिकूल टोकन वितरणों के विरुद्ध मजबूत हैं, जो डिटेक्शन से बचने के प्रयासों के खिलाफ वास्तविक दुनिया में तैनाती के लिए एक महत्वपूर्ण आवश्यकता है।

संक्षेप में, यह शोध पत्र बहु-बिट LLM वॉटरमार्किंग की मौलिक सीमाओं को स्थापित करता है और उन सीमाओं तक पहुँचने के लिए दो रचनात्मक, इष्टतम एल्गोरिदम प्रदान करता है, जिससे क्षेत्र में पिछली गलतफहमियों को सुधारा जा सके।