💬 NLP

Linguistic Holonomy and Statistical Watermarks: Inner Geometry of Meaning-Preserving Transformations

यह शोध पत्र यह प्रदर्शित करता है कि भाषा मॉडलों के लिए सांख्यिकीय वॉटरमार्क अर्थ-संरक्षण परिवर्तनों (meaning-preserving transformations) के प्रति मौलिक रूप से संवेदनशील हैं क्योंकि उनका पता लगाना रूपांतरण पथ की छिपी हुई "होलोनोमी" (holonomy) के बजाय एंडपॉइंट सिमेंटिक समानता पर निर्भर करता है, जो एक सटीक गणितीय पहचान को दर्शाता है कि सिग्नल का अस्तित्व केवल समग्र प्रतिधारण दर के बजाय संपादन के विशिष्ट स्थान पर महत्वपूर्ण रूप से निर्भर करता है।

मूल लेखक: Daniele Corradetti

प्रकाशित 2026-08-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniele Corradetti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, लार्ज लैंग्वेज मॉडल्स ऐसा टेक्स्ट जेनरेट कर रहे हैं जो मानव लेखन से भेद करना तेजी से कठिन होता जा रहा है। इस तकनीक के जोखिमों, जैसे कि गलत सूचना के प्रसार को प्रबंधित करने के लिए, शोधकर्ताओं ने मशीन द्वारा जेनरेट की गई सामग्री को अदृश्य रूप से चिह्नित करने की एक विधि विकसित की है। ये चिह्न, जिन्हें वॉटरमार्क कहा जाता है, टेक्स्ट के अर्थ या गुणवत्ता को नहीं बदलते हैं; इसके बजाय, वे शब्दों के चयन की सांख्यिकीय संभावना को सूक्ष्म रूप से बदलते हैं, जिससे एक छिपा हुआ संकेत बनता है जिसे बाद में पहचाना जा सकता है। इन वॉटरमार्क्स के लिए केंद्रीय चुनौती 'रोबस्टनेस' (मजबूती) है: उन्हें टेक्स्ट के एडिट होने, अनुवाद होने या पैराफ्रेस (भावार्थ परिवर्तन) होने पर भी जीवित रहना चाहिए। वर्षों से, वैज्ञानिक समुदाय वॉटरमार्क पर हमले की सफलता को केवल अंतिम परिणाम को देखकर मापता रहा है। यदि एक पुनर्गठित वाक्य मूल वाक्य के समान ही अर्थ रखता है, तो यह मान लिया जाता था कि वॉटरमार्क उतनी ही अच्छी तरह से जीवित रहा है, चाहे वह टेक्स्ट उस तक पहुँचने के लिए किस भी यात्रा से गुजरा हो। यह धारणा पुनर्गठन के मध्यवर्ती चरणों को केवल एक 'स्कैफोल्डिंग' (ढांचे) के रूप में मानती है, जो अंतिम परिणाम के लिए अप्रासंगिक है।

इन्स्टीट्यूटो सुपीरियर टिक्को और यूनिवर्सिटी ऑफ अल्गार्वे के एक शोधकर्ता ने इस लंबे समय से चले आ रहे दृष्टिकोण को चुनौती दी है, और यह प्रदर्शित किया है कि टेक्स्ट जिस पथ से गुजरता है वह उसके गंतव्य जितना ही महत्वपूर्ण है। टेक्स्ट के शब्दों के चयन के अनुक्रम को एक ज्यामितीय यात्रा के रूप में मानकर, उन्होंने खोजा कि दो टेक्स्ट समान अर्थ रख सकते हैं लेकिन उनमें वॉटरमार्क सिग्नल की मात्रा पूरी तरह से भिन्न हो सकती है। शोधकर्ता ने सिद्ध किया कि "सिमेंटिक सिमिलरिटी" (अर्थगत समानता)—यानी अंतिम अर्थ मूल से कितना निकट है—को मापने का मानक तरीका एक छिपे हुए गुण के प्रति अंधा है। उन्होंने पाया कि वॉटरमार्क का अस्तित्व पूरी तरह से किए गए बदलावों की विशिष्ट व्यवस्था पर निर्भर करता है, न कि इस पर कि कितने शब्द बदले गए हैं या अंतिम टेक्स्ट कितना समान दिखता है। कुछ मामलों में, एक हमलावर शब्दों के बहुत छोटे हिस्से को बदलकर भी पूरे वॉटरमार्क सिग्नल को हटा सकता है, बशर्ते वे बदलाव एक विशिष्ट, लयबद्ध पैटर्न में व्यवस्थित हों।

यह अध्ययन "भाषाई लूप्स" (linguistic loops) के पीछे के गणित का पुनरीक्षण करके शुरू होता है, जो परिवर्तनों की ऐसी श्रृंखलाएं हैं जो वाक्य के मूल अर्थ को बदले बिना उसके रूप को बदल देती हैं। शोधकर्ता ने दिखाया कि इन लूप्स का विश्लेषण करने के लिए उपयोग किए जाने वाले पिछले गणितीय उपकरण त्रुटिपूर्ण थे क्योंकि वे एक सरल गणना में सिमट जाते थे, जिससे वे जटिल संरचना को समझने में विफल रहे। उन्होंने इसे एक अधिक सटीक ज्यामितीय विवरण से बदल दिया, यह दिखाते हुए कि टेक्स्ट का रूपांतरण एक गोले (sphere) पर खींची गई रेखा की तरह है। स्टार्ट और एंड पॉइंट के बीच की दूरी यह बताती है कि अर्थ कितना भटक गया है, लेकिन पथ का आकार स्वयं एक छिपा हुआ रोटेशन (घूर्णन) वहन करता है, जिसे 'होलोनॉमी' (holonomy) नामक गुण कहा जाता है। यह रोटेशन उन डिटेक्टरों के लिए अदृश्य है जो केवल अंतिम अर्थ को देखते हैं, फिर भी यही वह चीज़ है जो निर्धारित करती है कि वॉटरमार्क जीवित रहेगा या नहीं। शोधकर्ता ने सिद्ध किया कि एंडपॉइंट और पथ स्वतंत्र हैं; आप एक ऐसा टेक्स्ट रख सकते हैं जो एक छोटी, सीधी यात्रा के बाद अपने मूल अर्थ पर लौट आता है या एक लंबी, घुमावदार यात्रा के बाद, और वॉटरमार्क दोनों मामलों में अलग व्यवहार करेगा।

व्यावहारिक पक्ष पर, शोधकर्ता ने एक सटीक नियम निकाला है जो यह नियंत्रित करता है कि टेक्स्ट एडिट होने पर वॉटरमार्क कैसे क्षय (decay) होता है। उन्होंने पाया कि सिग्नल का अस्तित्व इस बात से निर्धारित नहीं होता कि कितने प्रतिशत शब्द अपरिवर्तित रहे हैं, बल्कि इस बात से होता है कि वॉटरमार्क के विशिष्ट "सीडिंग विंडोज" (seeding windows) सुरक्षित रहे हैं या नहीं। एक वॉटरमार्क अक्सर अगले शब्द को तय करने के लिए पिछले शब्दों के एक समूह पर निर्भर करता है। यदि कोई संपादन इस समूह को तोड़ देता है, तो सिग्नल लुप्त हो जाता है। शोधकर्ता ने प्रदर्शित किया कि एक हमलावर, जो इस समूह के आकार को जानता है, पूरे वॉटरमार्क को नष्ट करने के लिए रणनीतिक रूप से बदलाव कर सकता है, जबकि टेक्स्ट के बड़े हिस्से को अछूता छोड़ सकता है। उदाहरण के लिए, यदि वॉटरमार्क एक पिछले शब्द के संदर्भ (context) पर निर्भर करता है, तो एक हमलावर हर दूसरे शब्द को हटाकर सिग्नल को पूरी तरह से मिटा सकता है, भले ही आधा टेक्स्ट शेष हो। यह निष्कर्ष बताता है कि वॉटरमार्क्स कभी-कभी रैंडम (यादृच्छिक) के बजाय ब्लॉक्स या पैटर्न में एडिट किए जाने पर उम्मीद से कहीं अधिक तेजी से क्यों विफल हो जाते हैं।

इन सैद्धांतिक अंतर्दृष्टियों को सत्यापित करने के लिए, शोधकर्ता ने वास्तविक मशीन ट्रांसलेशन सिस्टम का उपयोग करके व्यापक प्रयोग किए। उन्होंने हजारों वाक्यों को लिया और उन्हें राउंड-ट्रिप ट्रांसलेशन की श्रृंखलाओं के माध्यम से भेजा, जिसमें जर्मन, फ्रेंच और स्पेनिश जैसी भाषाओं से होते हुए वापस अंग्रेजी में लाया गया। उन्होंने हर चरण में वॉटरमार्क सिग्नल को मापा और इसे पथ के ज्यामितीय गुणों के विरुद्ध तुलना की। परिणामों ने उनके सिद्धांत की पुष्टि की: बचा हुआ सिग्नल पथ के विशिष्ट आकार से गहराई से जुड़ा था, न कि केवल अंतिम समानता स्कोर से। एक उल्लेखनीय परीक्षण में, उन्होंने टेक्स्ट के अंतिम अर्थ को स्थिर रखते हुए पथ की लंबाई और जटिलता को बदला। उन्होंने पाया कि बिल्कुल समान अर्थ वाले टेक्स्ट, केवल लिए गए मार्ग के आधार पर, पूर्ण सिग्नल से लेकर शून्य सिग्नल तक रख सकते हैं। यह सिद्ध करता है कि वॉटरमार्क की मजबूती को अंतिम समानता के आधार पर आंकने की वर्तमान पद्धति मौलिक रूप से अपूर्ण है।

डिजिटल प्रोवेनेंस (उत्पत्ति के प्रमाण) के भविष्य के लिए इस कार्य के निहितार्थ महत्वपूर्ण हैं। यह सुझाव देता है कि वॉटरमार्क का लचीलापन टेक्स्ट के संपूर्ण इतिहास का एक फलन (function) है, न कि केवल उसकी अंतिम अवस्था का। शोधकर्ता ने दिखाया कि इन प्रणालियों के मूल्यांकन के लिए उपयोग किए जाने वाले मानक मेट्रिक्स अपर्याप्त हैं क्योंकि वे भाषा की ज्यामितीय संरचना को अनदेखा करते हैं। उन्होंने वर्तमान डिज़ाइनों में एक भेद्यता (vulnerability) पर भी प्रकाश डाला: चूंकि सिग्नल का अस्तित्व बदलावों की व्यवस्था पर निर्भर करता है, इसलिए एक जानकार विरोधी इसे बिना टेक्स्ट को काफी अलग दिखाए निष्प्रभावी करने के लिए इसका फायदा उठा सकता है। हालांकि यह अध्ययन विशिष्ट मॉडलों और ट्रांसलेशन श्रृंखलाओं के साथ किया गया था, लेकिन जो ज्यामितीय सिद्धांत उन्होंने खोजे हैं वे सार्वभौमिक प्रतीत होते हैं। यह कार्य निष्कर्ष निकालता है कि वॉटरमार्क्स के जीवित रहने को वास्तव में समझने के लिए, हमें केवल गंतव्य को देखना बंद करना होगा और यात्रा का मानचित्र बनाना शुरू करना होगा।

तकनीकी सारांश: भाषाई होलोनमी (Linguistic Holonomy) और सांख्यिकीय वॉटरमार्किंग

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) में सांख्यिकीय वॉटरमार्क्स की मजबूती (robustness) का मूल्यांकन करने के लिए वर्तमान विधियाँ "एंडपॉइंट" (endpoint) मेट्रिक्स पर निर्भर करती हैं। ये मेट्रिक्स मूल पाठ और पुनर्गठित पाठ के बीच अर्थ संबंधी समानता (semantic similarity) को मापते हैं, या केवल संपादन चरणों (hops) की संख्या गिनते हैं। यह शोध पत्र तर्क देता है कि यह दृष्टिकोण मौलिक रूप से त्रुटिपूर्ण है क्योंकि यह मध्यवर्ती अवस्थाओं को केवल एक 'स्कैफोल्डिंग' (scaffolding) के रूप में मानता है। रूपांतरणों की दो श्रृंखलाएं समान अर्थ वाले ग्रंथों (समान एंडपॉइंट) में परिणत हो सकती हैं, लेकिन एम्बेडिंग स्पेस में बहुत अलग पथों का अनुसरण कर सकती हैं। यह शोध पत्र प्रतिपादित करता है कि वॉटरमार्क की मजबूती न केवल अंतिम अर्थ संबंधी दूरी (semantic distance) पर, बल्कि उस विशिष्ट ज्यामितीय पथ पर निर्भर करती है जिसे "सिग्निफायर" (पाठ का रूप) द्वारा तय किया जाता है, जबकि "सिग्निफाइड" (अर्थ) सुरक्षित रहता है।

कार्यप्रणाली (Methodology)
लेखक अर्थ-संरक्षण रूपांतरणों की ज्यामिति का विश्लेषण करने के लिए पिछले कार्य [4] से "भाषाई लूप्स" (linguistic loops) के औपचारिकता को अनुकूलित करता है।

ज्यामितीय ढांचा (Geometric Framework): पाठ को एक एम्बेडिंग स्पेस $\mathbb{R}^n$ में मैप किया जाता है। रूपांतरणों की एक श्रृंखला को यूनिट स्फीयर पर वेक्टर पथ $v_0, \dots, v_L$ के रूप में देखा जाता है।
लूप मैट्रिक्स (Loop Matrix): श्रृंखला को एक लूप मैट्रिक्स $R_U \in SO(n)$ द्वारा संक्षिप्त किया जाता है, जो क्रमिक अवस्थाओं के बीच न्यूनतम रोटेशन का उत्पाद है। यह मैट्रिक्स क्रमिक अवस्थाओं के बीच बनने वाले जियोडेसिक पॉलीगन (geodesic polygon) के साथ 'पैरेलल ट्रांसपोर्ट' (parallel transport) का प्रतिनिधित्व करता है।
डिटेक्टर मॉडलिंग (Detector Modeling): शोध पत्र "ग्रीन-लिस्ट" और "एक्सपोनेंशियल" वॉटरमार्किंग स्कीम्स का विश्लेषण करता है, जो आकार $h$ के संदर्भ विंडो (context window) पर आधारित होती हैं। डिटेक्शन सांख्यिकी को "अक्षत विंडोज़" (intact windows)—उन स्थितियों की संख्या के फलन (function) के रूप में मॉडल किया गया है जहाँ पूरा सीडिंग कॉन्टेक्स्ट बिना किसी संशोधन के जीवित रहा।

मुख्य योगदान और सैद्धांतिक परिणाम

सिग्नेचर इनवेरिएंट की अपभ्रष्टता (Degeneracy of the Signature Invariant):
लेखक भाषाई लूप्स के लिए पूर्व में प्रस्तावित इनवेरिएंट—मैट्रिक्स $I - R_U^*$ का सिल्वेस्टर सिग्नेचर (Sylvester signature)—के अपभ्रष्ट होने को सिद्ध करता है। यह मैट्रिक्स हमेशा पॉजिटिव सेमीडेफिनिट होता है, जिसका अर्थ है कि इसका सिग्नेचर हमेशा $(2p, 0, n-2p)$ होता है, जो इसके रैंक से अधिक कोई जानकारी नहीं देता। वास्तविक इनवेरिएंट लूप मैट्रिक्स का एंगल स्पेक्ट्रम (रोटेशन कोणों का सेट) है।
एंडपॉइंट-पाथ फैक्टराइजेशन (होलोनमी) (Endpoint-Path Factorization):
लेखक लूप मैट्रिक्स का एक कैनोनिकल फैक्टराइजेशन सिद्ध करता है: $R_U = R_{dir} H$ ।

$R_{dir}$ प्रारंभिक और अंतिम अवस्था के बीच न्यूनतम रोटेशन है (जो केवल 'सिमेंटिक डेफिसिट' द्वारा निर्धारित होता है)।
$H$ होलोनमी (holonomy) है, जो स्टेबलाइज़र ग्रुप $SO(n-1)$ का एक तत्व है जो प्रारंभिक अवस्था को स्थिर रखता है।
महत्व: सिमेंटिक डेफिसिट (एंडपॉइंट) और होलोनमी (पथ की ज्यामिति) कार्यात्मक रूप से स्वतंत्र हैं। एक श्रृंखला शून्य सिमेंटिक डेफिसिट (समान अर्थ पर वापस लौटना) रख सकती है, जबकि मनमाना होलोनमी (रूप में महत्वपूर्ण विचलन) संचित कर सकती है। एक 2-स्फीयर पर, यह होलोनमी तय किए गए पथ के क्षेत्रफल (गॉस-बोनेट प्रमेय) के अनुरूप है।

इन्टेक्ट-विंडो आइडेंटिटी (The Intact-Window Identity):
लेखक हमले के बाद अपेक्षित अवशिष्ट डिटेक्शन सांख्यिकी $E[z_{att}]$ के लिए एक सटीक पहचान व्युत्पन्न करता है:
$E[z_{att}] = \frac{|I|}{T'} E[z_0]$
जहाँ $|I|$ उन स्थितियों की संख्या है जिनका संपूर्ण सीडिंग विंडो (आकार $h+1$ ) अक्षत रहा।

उपसंहार (Corollary): यदि संपादन स्वतंत्र हैं, तो सिग्नल $\rho^{h+1}$ के रूप में घटता है (जहाँ $\rho$ टोकन रिटेंशन रेट है)।
महत्वपूर्ण निष्कर्ष: यदि संपादन स्वतंत्र नहीं हैं (जैसा कि वास्तविक दुनिया के संपादन में होता है), तो रिटेंशन रेट $\rho$ मजबूती का अनुमान लगाने के लिए पर्याप्त नहीं है। एक हमलावर वॉटरमार्क को पूरी तरह से नष्ट करने (सांख्यिकी को शून्य तक लाने) के लिए संपादनों को व्यवस्थित कर सकता है, भले ही टोकन का उच्च हिस्सा बरकरार रहे, बशर्ते कि संपादन प्रत्येक संभावित कॉन्टेक्स्ट विंडो को तोड़ने के लिए अंतराल पर रखे गए हों। विशेष रूप से, यदि $1-\rho \ge 1/(h+1)$ , तो सिग्नल को समाप्त किया जा सकता है।

प्रायोगिक परिणाम
लेखक ने अपने सैद्धांतिक दावों को सटीक डिटेक्टरों (कुंजियाँ लेखक के पास हैं) और वास्तविक डेटा का उपयोग करके सत्यापित किया:

ज्यामितीय सत्यापन: संख्यात्मक प्रयोगों ने सिग्नेचर की अपभ्रष्टता और एंडपॉइंट एवं होलोनमी की स्वतंत्रता की पुष्टि की। समान सिमेंटिक डेफिसिट वाली श्रृंखलाओं ने पथ के प्रकार के आधार पर (विभिन्न पिवटों की संख्या के कारण) भिन्न होलोनमी ऊर्जा प्रदर्शित की।
डिटेक्टर सत्यापन: "इन्टेक्ट-विंडो लॉ" की विभिन्न कॉन्टेक्स्ट चौड़ाई ( $h=0,1,2,3$ ) और रिटेंशन रेट के साथ उच्च सटीकता (त्रुटि < 0.01) के साथ पुष्टि की गई।
वास्तविक दुनिया का अनुवाद: लेखक ने वॉटरमार्क्ड टेक्स्ट पर राउंड-ट्रिप मशीन ट्रांसलेशन (अंग्रेजी $\to$ $\to$ पिवट $\to$ $\to$ अंग्रेजी) लागू किया।
- परिणामों ने दिखाया कि समान सिमेंटिक डेफिसिट और रिटेंशन रेट रखने के बावजूद, अलग-अलग पथ लंबाई (विभिन्न पिवटों की संख्या) वाले श्रृंखलाओं के परिणामस्वरूप वॉटरमार्क क्षरण (erosion) का स्तर भिन्न था।
- एक प्री-रजिस्टर्ड रिग्रेशन टेस्ट ने पुष्टि की कि, सिमेंटिक डेफिसिट और रिटेंशन रेट को स्थिर रखते हुए, एक बड़ा होलोनमी ऊर्जा (लंबा/अधिक जटिल पथ) अवशिष्ट वॉटरमार्क सिग्नल के कम होने के साथ महत्वपूर्ण रूप से सह-संबंधित है।
- "इन्टेक्ट-विंडो" मेट्रिक ने साधारण रिटेंशन रेट की तुलना में अवशिष्ट सिग्नल का अधिक सटीक अनुमान लगाया।

महत्व और दावे
यह शोध पत्र दावा करता है कि एक सांख्यिकीय वॉटरमार्क की मजबूती केवल एंडपॉइंट नहीं, बल्कि पथ का एक फलन (functional of the path) है।

सैद्धांतिक: यह "विल्सन लूप" (Wilson loop) उपमा को केवल एक रूपक से हटाकर एक गणितीय प्रमेय के रूप में स्थापित करता है, यह पहचानते हुए कि "सिमेंटिक डेफिसिट" "होलोनमी" (रूप का ज्यामितीय रोटेशन) के प्रति अंधा है।
व्यावहारिक: यह दर्शाता है कि सिमेंटिक समानता या टोकन रिटेंशन रेट पर आधारित वर्तमान मजबूती मूल्यांकन अपूर्ण (under-specified) हैं। एक हमलावर अर्थ और टोकन संख्या को सुरक्षित रखते हुए, कॉन्टेक्स्ट विंडो संरचना का लाभ उठाकर रणनीतिक रूप से वॉटरमार्क को नष्ट कर सकता है।
सीमाएँ: लेखक विनम्र हैं, यह नोट करते हुए कि इन्टेक्ट-विंडो पहचान लेंथ-प्रिजर्विंग सब्स्टीट्यूशन और एंट्रॉपी पर मीन-फील्ड हाइपोथीसिस मानती है। वे स्वीकार करते हैं कि होलोनमी ऊर्जा पूर्ण होलोनमी मैट्रिक्स का एक हानिपूर्ण (lossy) स्केलर रिडक्शन है और उनके प्रायोगिक परिणाम विशिष्ट मॉडलों और एनकोडर तक सीमित हैं।

शोध पत्र निष्कर्ष निकालता है कि वॉटरमार्क क्षरण का वर्णन करने के लिए स्वाभाविक भाषा पैरेलल ट्रांसपोर्ट और होलोनमी की है, जो यह सुझाव देती है कि भविष्य के वॉटरमार्क डिजाइनों को केवल स्थिर टोकन गुणों के बजाय पथ-निर्भर इनवेरिएंट्स (path-dependent invariants) को ध्यान में रखने की आवश्यकता हो सकती है।

तकनीकी सारांश: भाषाई होलोनमी (Linguistic Holonomy) और सांख्यिकीय वॉटरमार्किंग

इसी तरह के और पेपर