🔢 mathematics

LLM-Text Watermarking based on Lagrange Interpolation

यह शोध पत्र एक सुदृढ़ LLM टेक्स्ट वॉटरमार्किंग योजना प्रस्तावित करता है जो एक सीधी रेखा पर छद्म-यादृच्छिक (pseudorandomly) रूप से उत्पन्न $x$ -निर्देशांकों के संगत $f(x)$ मानों के रूप में लेखक की पहचान को एम्बेड करता है, जिससे मैक्सिमम कोलीनियर पॉइंट्स (Maximum Collinear Points) समस्या को हल करके भारी प्रतिकूल रेडैक्शन (adversarial redaction) के बाद भी मल्टी-बिट लेखक सूचना की रिकवरी संभव हो पाती है।

मूल लेखक: Jarosław Janas, Paweł Morawiecki, Josef Pieprzyk

प्रकाशित 2026-02-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jarosław Janas, Paweł Morawiecki, Josef Pieprzyk

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई कलम है जो बेहतरीन कहानियाँ, निबंध या ईमेल लिख सकती है। यह कलम एक AI (विशेष रूप से, एक लार्ज लैंग्वेज मॉडल) है। यह लिखने में इतनी कुशल है कि यह पहचानना कठिन होता जा रहा है कि कहानी किसी इंसान ने लिखी है या AI ने।

इससे एक समस्या पैदा होती है: हम कैसे जानें कि कोई लेख किसने (या किस चीज़ ने) लिखा है? क्या यह एक वास्तविक व्यक्ति है, या कोई रोबोट जो फर्जी खबरें फैलाने या श्रेय चुराने की कोशिश कर रहा है?

इस शोध पत्र के लेखकों—जारोस्लाव, पावेल और जोसेफ—ने AI के लेखन के भीतर एक गुप्त हस्ताक्षर छिपाने का एक चतुर तरीका खोजा है। वे इसे "वॉटरमार्क" कहते हैं, लेकिन यह कोई दृश्य स्टैम्प नहीं है, बल्कि एक छिपा हुआ गणितीय पैटर्न है।

यहाँ उनके तरीके का विवरण दिया गया है, जिसे सरल उपमाओं के माध्यम से समझाया गया है:

1. गुप्त रेसिपी: एक सीधी रेखा खींचना

कल्पना कीजिए कि आपके और आपके मित्र के पास एक गुप्त कोड है। आप तय करते हैं कि आपका गुप्त हस्ताक्षर ग्राफ पेपर पर खींची गई एक सीधी रेखा है।

यह रेखा एक सरल नियम का पालन करती है: $y = ax + b$।
संख्याएँ $a$ और $b$ आपकी गुप्त कुंजी (वॉटरमार्क) हैं।

वास्तविक दुनिया में, आप सीधे टेक्स्ट पर रेखा नहीं खींच सकते। इसलिए, लेखक एक तरकीब का उपयोग करते हैं:

वे ग्राफ पेपर पर यादृच्छिक (random) स्थान चुनते हैं (ये x-निर्देशांक हैं)।
वे गणना करते हैं कि उन स्थानों पर रेखा कहाँ होनी चाहिए (ये y-निर्देशांक हैं)।
वे फिर इन निर्देशांकों को AI के लेखन के भीतर छिपा देते हैं।

2. सुराग छिपाना: "हरे और लाल" टोकन

आप वाक्य में एक संख्या कैसे छिपा सकते हैं? आप AI के विकल्पों में थोड़ा बदलाव करके ऐसा करते हैं।

कल्पना कीजिए कि AI अगला शब्द लिखने वाला है। उसके पास चुनने के लिए 50,000 संभावित शब्दों की एक सूची है।

गुप्त कोड कहता है: "इस विशिष्ट क्षण के लिए, यदि छिपा हुआ नंबर 0 है, तो लाल (Red) सूची से एक शब्द चुनें। यदि यह 1 है, तो हरे (Green) सूची से एक शब्द चुनें।"
AI को यह पता नहीं चलता कि वह यह कर रहा है; उसे बस लगता है कि वह संदर्भ के अनुकूल शब्द चुन रहा है। लेकिन क्योंकि लेखकों ने "पैमाने को झुका दिया" (संभावनाओं को पक्षपाती बना दिया), AI के सही सूची से शब्द चुनने की संभावना थोड़ी अधिक हो जाती है।

ऐसा कई शब्दों के लिए करने से, वे 0 और 1 की एक लंबी श्रृंखला अंतर्निहित (embed) करते हैं, जिसे डिकोड करने पर उस गुप्त सीधी रेखा के बिंदुओं के निर्देशांक प्रकट होते हैं।

3. जासूसी का काम: रेखा को खोजना

अब, कल्पना कीजिए कि एक जासूस (सत्यापनकर्ता) को वह टेक्स्ट मिलता है। उसे गुप्त रेखा का पता नहीं है, लेकिन उसके पास "x" स्थानों को खोजने की गुप्त कुंजी है।

पुनर्निर्माण (Reconstruct): वे शब्दों को देखते हैं, "हरे/लाल" विकल्पों को डिकोड करते हैं, और उन्हें बिंदुओं का एक समूह $(x, y)$ प्राप्त होता है।
समस्या: क्योंकि AI थोड़ा अनिश्चित (random) होता है, और क्योंकि कोई बुरा व्यक्ति टेक्स्ट को संपादित कर सकता है (शब्दों को हटाना, शब्दों को बदलना), इनमें से कुछ बिंदु गलत होंगे। वे ग्राफ पेपर पर बिखरे हुए बिंदुओं की तरह दिखेंगे।
समाधान (जादुगत ट्रिक): जासूस उस सबसे लंबी सीधी रेखा को खोजता है जो सबसे अधिक बिंदुओं से होकर गुजरती है।
- भले ही 50% बिंदु बिखरे हुए शोर (noise) हों, फिर भी वास्तविक गुप्त रेखा में सबसे अधिक बिंदु मौजूद होंगे।
- इसे मैक्सिमम कोलीनियर पॉइंट्स (Maximum Collinear Points) समस्या कहा जाता है। यह कागज के ढेर में बिखरी हुई कंफ़ेटी के बीच से उस एक सीधी रेखा वाले कंचों को खोजने जैसा है जिन्हें किसी ने सावधानी से रखा था।

एक बार जब वे वह रेखा खोज लेते हैं, तो वे समीकरण ($y = ax + b $) को पढ़ सकते हैं। संख्याएँ$ a $और$ b$ वॉटरमार्क हैं, जो टेक्स्ट के लेखक को प्रमाणित करते हैं।

यह विशेष क्यों है?

यह मजबूत (Robust) है: यदि कोई बुरा व्यक्ति टेक्स्ट को संपादित करने की कोशिश करता है (एक पैराग्राफ हटाना, कुछ शब्द बदलना), तो वे कुछ "बिंदुओं" को नष्ट कर सकते हैं। लेकिन जब तक पर्याप्त बिंदु शेष रहते हैं जो सीधी रेखा बनाने के लिए पर्याप्त हों, वॉटरमार्क जीवित रहता है। यह एक धुंधली खिड़की पर खींची गई सीधी रेखा को मिटाने की कोशिश करने जैसा है; यदि आप कुछ जगहों को पोंछ देते हैं, तो भी रेखा दिखाई देती है।
यह तेज़ है: रेखा खोजना एक गणितीय समस्या है जिसे कंप्यूटर बहुत तेज़ी से हल कर सकते हैं, यहाँ तक कि लंबे टेक्स्ट के लिए भी।
यह अदृश्य है: टेक्स्ट अभी भी पूरी तरह से स्वाभाविक रूप से पढ़ता है। मनुष्य अंतर नहीं बता सकते।

"टूटे हुए पहेली" की उपमा

सोचिए कि टेक्स्ट एक पहेली (puzzle) है। लेखकों ने इसमें कुछ विशेष पहेली के टुकड़े छिपाए हैं जो मिलकर एक सीधी छड़ी बनाते हैं।

सामान्य टेक्स्ट: केवल यादृच्छिक पहेली के टुकड़ों का ढेर।
वॉटरमार्क वाला टेक्स्ट: यादृच्छिक टुकड़ों का ढेर, लेकिन इसमें एक छिपी हुई छड़ी है जो विशेष टुकड़ों से बनी है।
हमला (Attack): एक हैकर पहेली को तोड़ने या टुकड़ों को बदलने की कोशिश करता है।
रक्षा (Defense): भले ही हैकर पहेली को तोड़ दे, जब तक कि वह छड़ी के हर एक टुकड़े को न तोड़ दे, आप अभी भी उस छड़ी को ढूंढ सकते हैं और साबित कर सकते हैं कि वह वहाँ थी।

सारांश

यह शोध पत्र AI टेक्स्ट पर एक छिपे हुए, गणितीय "सीधी रेखा" के हस्ताक्षर के साथ स्टैम्प लगाने का एक तरीका प्रस्तावित करता है। भले ही कोई टेक्स्ट को साफ करने की कोशिश करे, हस्ताक्षर इतना लचीला है कि "रेखा" शोर के बीच भी स्पष्ट रूप से उभर कर आती है, जिससे हम यह सिद्ध कर सकते हैं, "हाँ, यह टेक्स्ट एक AI से आया है, और यहाँ इसका प्रमाण है।"

यहाँ जेनास, मोराविकी और पिप्रिक के शोध पत्र "LLM-Text Watermarking based on Lagrange Interpolation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के तेजी से बढ़ते उपयोग ने टेक्स्ट एट्रिब्यूशन (text attribution) की एक महत्वपूर्ण आवश्यकता पैदा कर दी है। जैसे-जैसे LLMs मानव-समान टेक्स्ट जनरेट करते जा रहे हैं, मानव और मशीन-जनित सामग्री के बीच अंतर करना कठिन होता जा रहा है। यह निम्नलिखित जोखिम उत्पन्न करता है:

गलत सूचना और फर्जी खबरें (Misinformation and Fake News): विशिष्ट स्रोतों के साथ गलत विमर्शों को जोड़ना।
साहित्यिक चोरी (Plagiarism): उपयोगकर्ताओं द्वारा AI-जनित सामग्री पर अपना दावा करना।
जवाबदेही (Accountability): उच्च-जोखिम वाले क्षेत्रों (जैसे पत्रकारिता, शिक्षा) में टेक्स्ट को किसी विशिष्ट उपयोगकर्ता या मॉडल इंस्टेंस तक ट्रैक करने में असमर्थता।

मौजूदा वॉटरमार्किंग तकनीकें अक्सर एडवर्सरियल एडिटिंग (adversarial editing) (जैसे टोकन प्रतिस्थापन, सम्मिलन या विलोपन) के विरुद्ध मजबूती (robustness) के लिए संघर्ष करती हैं या उनके लिए जटिल मॉडल रिट्रेनिंग की आवश्यकता होती है। लेखक एक ऐसा ट्रेनिंग-फ्री (training-free), मॉडल-एग्नोस्टिक (model-agnostic) तंत्र विकसित करने का लक्ष्य रखते हैं जो मल्टी-बिट वॉटरमार्क को एम्बेड कर सके और इसे तब भी रिकवर कर सके जब टेक्स्ट के साथ आंशिक रूप से छेड़छाड़ की गई हो।

2. कार्यप्रणाली (Methodology)

प्रस्तावित योजना एक फ़ाइनिट फील्ड (finite field) पर एक बहुपद (polynomial) के गुणांकों (coefficients) के रूप में एक वॉटरमार्क को एनकोड करती है और इस बहुपद पर स्थित बिंदुओं के एक अनुक्रम को जनरेट किए गए टेक्स्ट में एम्बेड करती है।

A. मुख्य अवधारणा: लैग्रेंज इंटरपोलेशन और कोलीनियरिटी (Lagrange Interpolation & Collinearity)

वॉटरमार्क का प्रतिनिधित्व: वॉटरमार्क $W$ को गैलवा फील्ड $GF(2^n)$ पर एक रैखिक फलन $f(x) = a_1x + a_0$ के गुणांकों $(a_0, a_1)$ के रूप में दर्शाया गया है।
एम्बेडिंग रणनीति (Embedding Strategy):
1. पॉइंट जनरेशन: सिस्टम पिछले टोकन के हैश और एक गुप्त कुंजी (secret key) का उपयोग करके स्यूडो-रैंडम $x$ -निर्देशांक (coordinates) उत्पन्न करता है।
2. Y-निर्देशांक गणना: यह $y = f(x)$ की गणना करता है, जिससे एक $n$ -बिट मान प्राप्त होता है।
3. टोकन बायसिंग (Token Biasing): $y$ -वैल्यू के प्रत्येक बिट के लिए, वोकैबुलरी (vocabulary) को स्यूडो-रैंडम तरीके से दो सेटों ( $V_0$ बिट 0 के लिए, $V_1$ बिट 1 के लिए) में विभाजित किया जाता है। LLM के लॉजिट्स (logits) को उस सेट के प्रति पक्षपाती (bias) बनाया जाता है जो बिट वैल्यू के अनुरूप हो।
4. अनुक्रम (Sequence): यह प्रक्रिया दोहराई जाती है, जिससे $(x_i, y_i)$ बिंदुओं का एक स्ट्रीम एम्बेड होता है जो सभी रेखा $f(x)$ पर स्थित होते हैं।
एक्सट्रैक्शन रणनीति (Extraction Strategy):
1. पॉइंट रिकवरी: सत्यापनकर्ता (verifier) उसी हैश फंक्शन और गुप्त कुंजी का उपयोग करके $x$ -निर्देशांक पुन: उत्पन्न करता है। यह जांचकर कि जनरेट किए गए टोकन किस वोकैबुलरी सेट से संबंधित हैं, $y$ -निर्देशांकों को रिकवर करने का प्रयास करता है।
2. नॉइज़ हैंडलिंग: सैंपलिंग स्टोकेस्टिसिटी (stochasticity) और एडवर्सरियल एडिटिंग के कारण, कुछ रिकवर्ड पॉइंट्स गलत (spurious) हो सकते हैं।
3. मैक्सिमम कोलीनियर पॉइंट्स (Maximum Collinear Points - MCP): सत्यापनकर्ता रिकवर्ड पॉइंट्स को एक 2D डेटासेट के रूप में मानता है और सबसे अधिक बिंदुओं से गुजरने वाली रेखा खोजने के लिए मैक्सिमम कोलीनियर पॉइंट्स समस्या को हल करता है।
4. पुनर्निर्माण (Reconstruction): एक बार जब प्रमुख रेखा की पहचान हो जाती है, तो उस रेखा पर स्थित बिंदुओं पर लैग्रेंज इंटरपोलेशन लागू किया जाता है ताकि गुणांक $a_0$ और $a_1$ को रिकवर किया जा सके, जिससे वॉटरमार्क प्राप्त होता है।

B. बिट करेक्शन मैकेनिज्म (Bit Correction Mechanism)

बिट-स्तरीय शोर (जहाँ एक टोकन गलत सेट से सैंपल किया जाता है) को कम करने के लिए, लेखक एक हल्का बिट-करेक्शन स्टेप पेश करते हैं। एक्सट्रैक्शन के दौरान, एल्गोरिदम रिकवर्ड बिट्स के छोटे हैमिंग रेडियस (Hamming radius) के भीतर संभावित $y$ -वैल्यू को सूचीबद्ध करता है। यह सत्यापन के लिए वैध बिंदुओं को सुनिश्चित करने हेतु रनटाइम में मामूली वृद्धि के बदले काफी बेहतर रिकॉल (recall) प्रदान करता है।

3. प्रमुख योगदान (Key Contributions)

ट्रेनिंग-फ्री और मॉडल-एग्नोस्टिक: इस पद्धति के लिए LLM को रिट्रेन करने या इसके वेट्स (weights) को संशोधित करने की आवश्यकता नहीं है; यह इन्फरेंस के दौरान केवल लॉजिट स्तर पर कार्य करती है।
मल्टी-बिट वॉटरमार्किंग: बाइनरी वॉटरमार्क्स (वॉटरमार्क्ड बनाम नहीं) के विपरीत, यह योजना $2n$ बिट्स (जैसे 16, 24, या 32 बिट्स) का पेलोड एम्बेड करती है, उन्हें बहुपद गुणांकों के रूप में एनकोड करके।
आंशिक एडिटिंग के प्रति मजबूती (Robustness to Partial Editing): नॉइजी डेटा के बीच "बेस्ट फिट" रेखा खोजने के रूप में समस्या को फ्रेम करके, यह योजना वॉटरमार्क को रिकवर कर सकती है भले ही एम्बेडेड बिंदुओं का एक बड़ा हिस्सा दूषित या हटा दिया गया हो, बशर्ते पर्याप्त वैध बिंदु कोलीनियर (collinear) बने रहें।
सैद्धांतिक सुरक्षा विश्लेषण (Theoretical Security Analysis):
- लेखक $GF(2^n)^2$ में रैंडम पॉइंट्स के कोलीनियर रेखा बनाने की संभावना (फॉल्स पॉजिटिव) पर एक संभाव्य ऊपरी सीमा (Theorem 1) प्रदान करते हैं।
- वे वांछित थ्रेशोल्ड (जैसे 1%) से नीचे फॉल्स पॉजिटिव रेट (FPR) बनाए रखने के लिए फील्ड साइज ( $n$ ) और ब्लॉक लेंथ के लिए डिज़ाइन गाइडलाइन्स निकालते हैं।
स्केलेबिलिटी (Scalability): MCP एल्गोरिदम की एक्सट्रैक्शन टाइम कॉम्प्लेक्सिटी $O(N^2)$ है, जो विशिष्ट टेक्स्ट लंबाई के लिए कुशल है और अनुमानित रूप से स्केल करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने OpenGen, Essays, और HC3 डेटासेट्स पर Llama 2-7B, Llama 3.2, और Mistral 7B मॉडल्स का उपयोग करके इस योजना का मूल्यांकन किया।

स्टेट-ऑफ-द-आर्ट के साथ प्रदर्शन:
- विधि ने मौजूदा शीर्ष विधियों (जैसे ~98% 16-बिट वॉटरमार्क्स के लिए) के समान मैच रेट हासिल किया।
- 32-बिट वॉटरमार्क्स के लिए, प्रस्तावित विधि ने 85.9% मैच रेट प्राप्त किया, जो कई बेसलाइन से बेहतर था जो एक्सपोनेंशियल एक्सट्रैक्शन समय के कारण काफी गिर गए या अनुपलब्ध (NA) हो गए।
एडवर्सरियल रोबस्टनेस (Adversarial Robustness):
- प्रतिस्थापन हमले (Substitution Attacks): योजना ने उच्च लचीलापन दिखाया। चूंकि प्रतिस्थापन ब्लॉक अलाइनमेंट को बाधित नहीं करते हैं, इसलिए MCP एल्गोरिदम बिट नॉइज़ के बावजूद सही रेखा की पहचान कर सकता है।
- सम्मिलन/विलोपन हमले (Insertion/Deletion Attacks): ये अधिक हानिकारक हैं क्योंकि ये डेसिंक्रोनाइज़ेशन (desynchronization) (ब्लॉक मिसअलाइनमेंट) का कारण बनते हैं। हालांकि यह योजना भारी सम्मिलन/विलोपन के खिलाफ पूरी तरह से मजबूत नहीं है, लेकिन यह प्रदर्शन में गिरावट आने से पहले एक गैर-तुच्छ स्तर (10% संशोधन तक) को सहन कर लेती है।
दक्षता (Efficiency): एक्सट्रैक्शन समय को सिंगल पीसी पर सेकंड के अंशों में मापा गया, भले ही बिट करेक्शन सक्षम हो।
टेक्स्ट क्वालिटी: $\delta=6$ के लॉजिट बायस के साथ, टेक्स्ट परप्लेक्सिटी और मानवीय धारणा वाली गुणवत्ता पर प्रभाव नगण्य पाया गया, जो स्टेट-ऑफ-द-आर्ट निष्कर्षों के अनुरूप है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

महत्व: यह कार्य एक नया बीजगणितीय (algebraic) दृष्टिकोण पेश करता है, जो एक मजबूत, मल्टी-बिट एट्रिब्यूशन टूल बनाने के लिए फाइनिट फील्ड अरिथमेटिक और कंप्यूटेशनल ज्योमेट्री (कोलीनियरिटी) का लाभ उठाता है। यह क्रिप्टोग्राफिक सुरक्षा और व्यावहारिक NLP अनुप्रयोग के बीच के अंतर को पाटता है।
सीमाएं: वर्तमान कार्यान्वयन रैखिक फलनों ( $f(x)$ ) पर केंद्रित है। यह भारी डेसिंक्रोनाइज़ेशन (भारी पैराफ्रेसिंग या अनुवाद) के खिलाफ कम मजबूत है और इस धारणा पर निर्भर करता है कि पर्याप्त वैध बिंदु MCP खोज को डोमिनेट करने के लिए जीवित रहते हैं।
भविष्य की दिशाएं:
- उच्च-डिग्री बहुपद (Higher-Degree Polynomials): अधिक जटिल संरचनाओं को एनकोड करने के लिए डिग्री $t-1$ के बहुपदों का उपयोग करने के लिए योजना का विस्तार करना (मैक्सिमम को-पॉलीनोमियल पॉइंट्स समस्या को हल करना)।
- एकाधिक रेखाएं (Multiple Lines): लंबे वॉटरमार्क्स को जोड़ने के लिए कई रेखाओं को एम्बेड करना।
- बेहतर मजबूती (Enhanced Robustness): सम्मिलन/विलोपन हमलों को अधिक प्रभावी ढंग से संभालने के लिए बेहतर सिंक्रोनाइज़ेशन तंत्र विकसित करना।

निष्कर्षतः, शोध पत्र एक गणितीय रूप से कठोर और व्यावहारिक रूप से कुशल वॉटरमार्किंग योजना प्रस्तुत करता है जो सुरक्षा, क्षमता और मजबूती के बीच एक मजबूत संतुलन प्रदान करती है, जो इसे वास्तविक दुनिया के LLM एट्रिब्यूशन के लिए एक व्यवहार्य उम्मीदवार बनाती है।