💻 computer science

Sequential Behavioral Watermarking for LLM Agents

यह शोध पत्र SeqWM को प्रस्तुत करता है, जो एक अनुक्रमिक व्यवहार संबंधी वॉटरमार्किंग फ्रेमवर्क है जो स्वामित्व संकेतों को इतिहास-सशर्त एजेंट ट्रांज़िशन पैटर्न में एम्बेड करता है ताकि एजेंट उपयोगिता को संरक्षित करते हुए मजबूत, स्थिति-अज्ञेय (position-agnostic) प्रक्षेपवक्र सत्यापन सक्षम किया जा सके, जो मौजूदा विधियों की भंगुरता पर विजय प्राप्त करता है जो कार्यों को स्वतंत्र परीक्षणों के रूप में मानती हैं।

मूल लेखक: Hyeseon An, Shinwoo Park, Dongsu Kim, Yo-Sub Han

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hyeseon An, Shinwoo Park, Dongsu Kim, Yo-Sub Han

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Sequential Behavioral Watermarking for LLM Agents" (SeqWM) का सरल भाषा में अनुवाद दिया गया है:

बड़ी समस्या: "ब्लैक बॉक्स" एजेंट

कल्पना कीजिए कि आपने एक जटिल काम करने के लिए एक बहुत ही कुशल रोबोट सहायक (LLM एजेंट) को काम पर रखा है, जैसे कि किसी यात्रा की योजना बनाना या कोड को ठीक करना। यह रोबोट केवल एक अंतिम रिपोर्ट नहीं लिखता; यह निर्णयों की एक लंबी श्रृंखला बनाता है: "मैं मौसम की जाँच करूँगा," फिर "मैं फ्लाइट बुक करूँगा," फिर "मैं टैक्सी बुलाऊँगा।"

समस्या: यदि आप इन कार्यों की एक सूची देखते हैं, तो आप कैसे जानेंगे कि ये किस रोबोट ने किए हैं?

क्या यह आपके रोबोट ने किया?
क्या किसी प्रतिस्पर्धी के रोबोट ने किया?
क्या किसी हैकर ने आपके रोबोट के "दिमाग" को चुरा लिया और एक ऐसी कॉपी बनाई जो बिल्कुल वैसा ही काम करती है?

वर्तमान में, यह बताना बहुत कठिन है। रोबोट के आंतरिक विचार (जो टेक्स्ट वह जनरेट करता है) अक्सर छिपे होते हैं, और हमें केवल अंतिम कार्य (actions) दिखाई देते हैं। यदि कोई आपके रोबोट के व्यवहार की नकल करता है, तो वे आपकी बौद्धिक संपदा (intellectual property) को बिना आपकी जानकारी के चुरा सकते हैं।

पुराने तरीके क्यों विफल रहे

वैज्ञानिकों ने पहले इस समस्या को हल करने के लिए रोबोट द्वारा लिखे गए शब्दों पर एक "डिजिटल वॉटरमार्क" (जैसे किसी पत्र पर छिपी हुई स्याही का दाग) डालने की कोशिश की थी।

खामी: एजेंटों की दुनिया में, शब्दों से अधिक कार्य (action) महत्वपूर्ण होता है। यदि एक रोबोट "टैक्सी बुलाने" का निर्णय लेता है, तो वह इसे हज़ार अलग तरीकों से कह सकता है। शब्दों पर लगाया गया वॉटरमार्क शोर (noise) में खो जाता है।
"राउंड नंबर" का जाल: कुछ नए तरीकों ने कार्यों को उनके क्रम (order) के आधार पर टैग करके वॉटरमार्क करने की कोशिश की (जैसे, "पहला कार्य A होना चाहिए, दूसरा B")।
- उपमा: एक डांस रूटीन की कल्पना करें जहाँ वॉटरमार्क है "स्टेप 1 एक स्पिन है, स्टेप 2 एक जंप है।" यदि दर्शक स्टेप 1 को मिस कर देता है (शायद वीडियो कट गया), तो वे गिनती खो देते हैं। अचानक, स्टेप 2 "स्टेप 1" जैसा दिखने लगता है, और पूरा वॉटरमार्क टूट जाता है। यह सिस्टम बहुत नाजुक है; एक भी गायब स्टेप पूरे प्रमाण को खराब कर देता है।

समाधान: SeqWM (द "कॉन्टेक्स्टुअल डांस" वॉटरमार्क)

लेखक SeqWM का प्रस्ताव करते हैं, जो एजेंटों को वॉटरमार्क करने का एक नया तरीका है जो स्टेप नंबर की परवाह नहीं करता। इसके बजाय, यह मूवमेंट के पैटर्न को देखता है।

1. मुख्य विचार: "इतिहास ही कुंजी है"

स्टेप नंबर पूछने के बजाय ("5वाँ स्टेप क्या है?"), SeqWM पूछता है, "पिछले कुछ स्टेप्स में क्या हुआ था?"

उपमा: एक गुप्त हैंडशेक (secret handshake) की कल्पना करें।
- पुराना तरीका: "यदि आप लाइन में 5वें व्यक्ति हैं, तो हाई-फाइव दें।" (यदि कोई लाइन से बाहर निकल जाता है, तो सभी आगे खिसक जाते हैं, और 5वाँ व्यक्ति अब 4था बन जाता है, इसलिए नियम टूट जाता है)।
- SeqWM तरीका: "यदि आपसे पहले वाले व्यक्ति ने 'वेव' (wave) किया और उससे पहले वाले ने 'नोड' (nod) किया, तो आपको 'क्लैप' (clap) करना चाहिए।"
- यह क्यों काम करता है: इससे कोई फर्क नहीं पड़ता कि आप 5वें व्यक्ति हैं या 50वें। जब तक पैटर्न (Wave -> Nod -> Clap) मौजूद है, वॉटरमार्क वहीं है। यदि कोई बीच में एक स्टेप हटा देता है, तो पैटर्न बस थोड़ा सा खिसक जाता है, लेकिन बाकी का डांस अभी भी रहस्य को बनाए रखता है।

2. "मल्टी-चैनल" सुरक्षा जाल

यह सुनिश्चित करने के लिए कि वीडियो के कुछ हिस्सों को काटने पर भी वॉटरमार्क बना रहे, SeqWM मल्टीपल चैनल्स का उपयोग करता है (जैसे एक साथ 8 अलग-अलग गुप्त कोड चलाना)।

उपमा: एक कागज पर गुप्त संदेश लिखने के बजाय, आप उसे 8 अलग-अलग कागजों पर लिखते हैं। यदि कोई चोर एक या दो कागजों को जला देता है, तो भी आप शेष छह से संदेश पढ़ सकते हैं।
SeqWM में, एजेंट का निर्णय हाल के इतिहास से प्राप्त 8 अलग-अलग "गुप्त कुंजियों" (secret keys) के आधार पर थोड़ा सा बदला (nudge) जाता है। भले ही एजेंट का व्यवहार अव्यवस्थित हो, इन 8 चैनल्स में सांख्यिकीय पैटर्न (statistical pattern) वॉटरमार्क को प्रकट कर देता है।

3. "रैंडम की" जासूस

आप यह कैसे साबित करेंगे कि यह एक वॉटरमार्क है और केवल एक संयोग नहीं?

पुराना तरीका: आप गुप्त कोड का अनुमान लगाने की कोशिश करते हैं। यदि आपका अनुमान सही निकलता है, तो आप वॉटरमार्क पा लेते हैं।
SeqWM तरीका: जासूस एक्शन सीक्वेंस को लेता है और उसे हजारों गलत गुप्त कुंजियों का उपयोग करके एक "सिम्युलेटर" के माध्यम से चलाता है।
- यदि सीक्वेंस असली की (real key) के साथ वॉटरमार्क किया गया था, तो स्कोर बहुत अधिक होगा।
- यदि आप इसे गलत कुंजियों के साथ चलाते हैं, तो स्कोर कम होगा (जैसे बैकग्राउंड शोर)।
- उपमा: एक विशिष्ट रेडियो स्टेशन खोजने की कोशिश करें। आप 1,000 रैंडम फ्रीक्वेंसी ट्यून करते हैं। अधिकांश में केवल स्टैटिक (static) सुनाई देता है। लेकिन एक फ्रीक्वेंसी (असली की) पर एक स्पष्ट गाना बजता है। यदि गाना स्टैटिक की तुलना में काफी तेज है, तो आप जानते हैं कि यह असली है। यह तरीका गणितीय रूप से सिद्ध है कि यह निष्पक्ष है, भले ही रोबोट का व्यवहार अजीब हो या वीडियो कटा हुआ हो।

प्रयोगों ने क्या दिखाया

शोधकर्ताओं ने तीन अलग-अलग प्रकार के AI एजेंटों (एक टूल्स के लिए, एक भौतिक कार्यों के लिए, एक सामाजिक सिमुलेशन के लिए) पर विभिन्न AI मॉडलों का उपयोग करके परीक्षण किया।

विश्वसनीयता (Reliability): SeqWM ने लगभग 100% समय एजेंट के व्यवहार के "मालिक" की सफलतापूर्वक पहचान की, जबकि पुराने तरीके अक्सर विफल रहे।
मजबूती (Robustness): जब उन्होंने 10%, 20%, या यहाँ तक कि 50% एक्शन को डिलीट करके (जैसे वीडियो के हिस्से काटकर) "हमलों" का अनुकरण किया, तब भी SeqWM काम करता रहा। पुराने "राउंड-नंबर" तरीके केवल एक भी डिलीशन के बाद तुरंत विफल हो गए।
कोई नुकसान नहीं (No Harm): वॉटरमार्क ने रोबोट को "बेवकूफ" नहीं बनाया या समस्याओं को हल करने की उसकी क्षमता को नहीं बदला। इसने बस विकल्पों को इस तरह से थोड़ा सा बदला जो उपयोगकर्ता के लिए अदृश्य था लेकिन सत्यापनकर्ता (verifier) के लिए पता लगाने योग्य था।

सारांश

SeqWM रोबोट के शब्दों के बजाय उसके डांस मूव्स (नृत्य की चालों) पर वॉटरमार्क लगाने जैसा है। स्टेप गिनने के बजाय (जो एक भी मिस होने पर टूट जाता है), यह मूव्स के बीच के संबंध को देखता है (जैसे, "स्पिन के बाद, जंप आने की संभावना है")। कई गुप्त कोड और एक चतुर सांख्यिकीय परीक्षण का उपयोग करके, यह साबित कर सकता है कि किसने रोबोट का व्यवहार बनाया था, भले ही व्यवहार के कुछ हिस्से गायब हों या छिपे हों। यह AI एजेंटों के रचनाकारों को उनके काम को चोरी होने या कॉपी होने से बचाने में मदद करता है।

तकनीकी सारांश: LLM एजेंटों के लिए अनुक्रमिक व्यवहार संबंधी वॉटरमार्किंग (SeqWM)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंट टेक्स्ट जनरेटरों से विकसित होकर स्वायत्त निर्णय लेने वाले (autonomous decision-makers) बन गए हैं जो योजना बनाते हैं, टूल्स का उपयोग करते हैं और बाहरी वातावरण के साथ इंटरैक्ट करते हैं। यह बदलाव एक महत्वपूर्ण प्रोवेनेंस गैप (provenance gap) पैदा करता है: जबकि इन एजेंटों की बौद्धिक संपदा उनके निर्णय लेने की क्षमताओं में निहित है (जो ट्राजेक्टरी डेटा पर महंगे पोस्ट-ट्रेनिंग के माध्यम से प्राप्त की गई है), ये ट्राजेक्टरीज स्वयं मूल्यवान संपत्ति हैं जो अनधिकृत प्रतिकृति (replication) और इमिटेशन हमलों के प्रति संवेदनशील हैं।

मौजूदा वॉटरमार्किंग समाधान LLMs के लिए मुख्य रूप से टोकन स्तर (token level) पर कार्य करते हैं, जो शब्दावली टोकन के सैंपलिंग को बायस (bias) करते हैं। हालांकि, एजेंटों के लिए यह दृष्टिकोण दो कारणों से विफल रहता है:

मिसमैच्ड यूनिट्स (Mismatched Units): उच्च-स्तरीय एजेंट निर्णय (जैसे, "टूल X को कॉल करें") कई टोकनों के माध्यम से साकार होते हैं। टोकन-स्तरीय बायस सिग्नल को वास्तविक एक्शन को प्रभावित करने से पहले ही कमजोर कर देता है।
ऑब्जर्वेबिलिटी सीमाएं (Observability Limits): कई तैनात एजेंटिक सिस्टम में (सर्वेक्षण किए गए 82.8% प्लेटफॉर्म), आंतरिक रीजनिंग ट्रेसेस और इंटरमीडिएट टोकन छिपे होते हैं; डिटेक्टर्स केवल अंतिम एक्शन स्ट्रीम को देखते हैं। फलस्वरूप, वेरिफिकेशन से पहले ही टोकन-स्तरीय सिग्नल हटा दिए जाते हैं।

हालिया व्यवहार संबंधी वॉटरमार्किंग प्रयास प्रत्येक एक्शन स्टेप को एक स्वतंत्र ट्रायल के रूप में देखते हैं, जो अक्सर एब्सोल्यूट राउंड इंडेक्स (absolute round indices) के आधार पर वॉटरमार्क सीड करते हैं। यह दृष्टिकोण नाजुक है: यदि किसी ट्राजेक्टरी को छोटा (truncate) किया जाता है, हटा दिया जाता है, या बिना सटीक एलाइनमेंट के देखा जाता है, तो इंडेक्स शिफ्ट हो जाता है, जिससे डिटेक्टर वॉटरमार्क लॉजिक के साथ मिसअलाइन हो जाता है और पूरी सीक्वेंस अनडिटेक्टेबल हो जाती है।

2. कार्यप्रणाली: SeqWM

लेखक SeqWM प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो वॉटरमार्क सिग्नल को मार्जिनल एक्शन फ्रीक्वेंसी या एब्सोल्यूट पोजीशन के बजाय हिस्ट्री-कंडीशन्ड ट्रांजिशन पैटर्न्स (history-conditioned transition patterns) में एम्बेड करता है। यह विधि तीन मुख्य घटकों से बनी है:

A. हिस्ट्री-कंडीशन्ड मल्टी-चैनल एनकोडिंग

एब्सोल्यूट स्टेप इंडेक्स $t$ का उपयोग करके वॉटरमार्क सीड करने के बजाय, SeqWM पिछले कार्यों के एक विंडो $c_t = (b_{t-w}, \dots, b_{t-1})$ का उपयोग सीड के रूप में करता है।

तंत्र (Mechanism): एक सीक्रेट की (secret key) $K$ के लिए, सिस्टम एक कीड हैश फंक्शन (keyed hash function) का उपयोग करके $m$ स्वतंत्र चैनलों के लिए प्रत्येक कैंडिडेट एक्शन के एक साइडो-रैंडम सबसेट $B^{(j)}_{g,t}$ को व्युत्पन्न करता है: $B^{(j)}_{g,t} = G_K(c_t \parallel j)$ ।
बायसिंग (Biasing): एजेंट के एक्शन डिस्ट्रीब्यूशन $P_t$ को एक मल्टी-चैनल स्कोर $s_t(b)$ के आधार पर एक्सपोनेंशियल टिल्ट (exponential tilt) के माध्यम से एक वॉटरमार्क्ड डिस्ट्रीब्यूशन $P^{wm}_t$ में संशोधित किया जाता है, जो यह गिनता है कि कितने चैनल एक विशिष्ट एक्शन $b$ का पक्ष लेते हैं।
प्रभाव: वॉटरमार्क $b_t$ की मार्जिनल फ्रीक्वेंसी के बजाय कंडीशनल ट्रांजिशन $P(b_t | c_t)$ को बायस करता है। यह सुनिश्चित करता है कि सिग्नल तब भी जीवित रहे जब कोई एडवर्सरी मार्जिनल डिस्ट्रीब्यूशन से मेल खाती हो।

B. स्लाइडिंग-विंडो डिटेक्शन

डिटेक्टर पोजीशन-अग्नोस्टिक (position-agnostic) रूप से कार्य करता है। यह देखे गए एक्शन सीक्वेंस के एब्सोलट स्टेप इंडेक्स को जानने पर निर्भर नहीं है।

तंत्र: डिटेक्टर देखे गए एक्शन सीक्वेंस $\hat{b}$ पर आकार $w$ का एक विंडो स्लाइड करता है। प्रत्येक सबस्ट्रिंग (substring) के लिए, यह जांचता है कि क्या अगला एक्शन उस विशिष्ट हिस्ट्री और सीक्रेट की से व्युत्पन्न गाइडेड सबसेट से मेल खाता है।
मजबूती (Robustness): क्योंकि समान हिस्ट्री विंडो, अपनी एब्सोल्यूट पोजीशन के बावजूद, नियत रूप से (deterministically) समान गाइडेड सबसेट प्रदान करती है, डिटेक्टर किसी भी वैध ट्रांजिशन से साक्ष्य (evidence) एकत्र कर सकता है जो ट्रंकेटेड या करप्टेड सीक्वेंस में मौजूद है। यह राउंड-इंडेक्स्ड डिटेक्टर्स के विपरीत है, जहाँ एक सिंगल डिलीशन के कारण सभी बाद के इंडेक्स शिफ्ट हो जाते हैं, जिससे ग्लोबल मिसअलाइनमेंट होता है।

C. रैंडम-की कैलिब्रेशन

मानक सांख्यिकीय परीक्षण (जैसे, बाइनोमियल $z$ -टेस्ट) डिटेक्शन इंडिकेटर्स के बीच स्वतंत्रता (independence) को मानते हैं, जो एजेंट व्यवहार की अनुक्रमिक प्रकृति के कारण यहाँ अमान्य है।

समाधान: फ्रेमवर्क देखे गए सीक्वेंस का उपयोग करके एक एम्पिरिकल नल डिस्ट्रीब्यूशन (empirical null distribution) बनाता है। यह वास्तविक की $K$ का उपयोग करके डिटेक्शन स्कोर की गणना करता है और इसकी तुलना $M$ रैंडम "गलत" कीज़ $K_r$ का उपयोग करके उत्पन्न स्कोर से करता है।
वैधता: चूंकि गलत कीज़ सीक्वेंस की प्राकृतिक निर्भरताओं को सुरक्षित रखती हैं लेकिन वॉटरमार्क एलाइनमेंट को मिटा देती हैं, इसलिए परिणामी $p$ -वैल्यू डिस्ट्रीब्यूशन-फ्री और वैलिड होती है, भले ही वह एडवर्सरियल करप्शन (डिलीशन, ट्रंकेशन) के अधीन हो।

3. प्रमुख योगदान

फ्रेमिंग: पेपर एजेंट वॉटरमार्किंग को एक अनुक्रमिक कोडिंग समस्या के रूप में पुनर्गठित करता है, जो एक विषमता (asymmetry) की पहचान करता है: जनरेशन हिस्ट्री के माध्यम से चेन (chain) में बंधा है, लेकिन वेरिफिकेशन चेन को पुनर्गठित किए बिना स्थानीय ट्रांजिशन साक्ष्य को एकत्रित कर सकता है।
मेथड: SeqWM का परिचय, जो पोजीशन-अग्नोस्टिक वेरिफिकेशन प्राप्त करने के लिए हिस्ट्री-कंडीशन्ड एनकोडिंग, स्लाइडिंग-विंडो डिटेक्शन और रैंडम-की कैलिब्रेशन को जोड़ता है।
थ्योरी: एक सैद्धांतिक विश्लेषण जो सिद्ध करता है कि जबकि राउंड-इंडेक्स्ड डिटेक्शन डिलीशन के तहत ढह जाता है (अपेक्षित अलाइन्ड प्रीफिक्स लेंथ $O(1/\rho)$ ), स्लाइडिंग-विंडो डिटेक्शन केवल साक्ष्य के स्थानीय, एडिटिव लॉस ( $d(w+1)m$ इंडिकेटर्स) का सामना करता है, जिससे डिटेक्शन पावर बनी रहती है।
एम्पिरिकल इवैल्यूएशन: तीन बेंचमार्क (ToolBench, ALFWorld, OASIS) और तीन LLM बैकबोन (Gemma, LLaMA, Qwen) पर व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम

डिटेक्शन रिलायबिलिटी: SeqWM सभी मॉडल्स और बेंचमार्क्स में लगातार सांख्यिकीय रूप से महत्वपूर्ण डिटेक्शन ( $p < 0.01$ ) प्राप्त करता है, जबकि बेसलाइन मेथड्स (AgentGuide, AgentMark) अक्सर नल हाइपोथेसिस से अलग होने में विफल रहते हैं, विशेष रूप से OASIS में और कुछ LLMs के साथ।
डिलीशन के प्रति मजबूती: 50% तक रैंडम एक्शन डिलीशन रेट के तहत, SeqWM उच्च ट्रू पॉजिटिव रेट (TPR) बनाए रखता है। इसके विपरीत, राउंड-इंडेक्स्ड बेसलाइन्स (AgentGuide) छोटे डिलीशन रेट के बाद भी तुरंत विफल हो जाते हैं क्योंकि इंडेक्स मिसअलाइनमेंट हो जाता है।
यूटिलिटी प्रिजर्वेशन: वॉटरमार्किंग प्रक्रिया एजेंट यूटिलिटी को सुरक्षित रखती है। बाय स्ट्रेंथ ( $\gamma$ ) को ट्यून किया जा सकता है (जैसे, $\gamma=2.0$ ) ताकि टास्क परफॉरमेंस को महत्वपूर्ण रूप से कम किए बिना विश्वसनीय डिटेक्शन प्राप्त किया जा सके।
मल्टी-चैनल की आवश्यकता: एब्लेशन स्टडीज दिखाती हैं कि सिंगल-चैनल वेरिएंट हाई बाय स्ट्रेंथ के बावजूद विश्वसनीय डिटेक्शन प्रदान करने में विफल रहते हैं, जो पुष्टि करता है कि ट्राजेक्टरी में पर्याप्त साक्ष्य एकत्र करने के लिए रेडंडेंट चैनल्स आवश्यक हैं।

5. महत्व और दावे

पेपर दावा करता है कि अनुक्रमिक संरचना (sequential structure) केवल एजेंट वॉटरमार्किंग में एक बाधा नहीं है, बल्कि प्रोवेनेंस सिग्नल्स का एक शक्तिशाली वाहक है। ट्रांजिशन पैटर्न्स को प्रति-स्टेप स्टैटिस्टिक्स से बदलकर, SeqWM एजेंट व्यवहार के एलाइनमेंट की समस्या को हल करता है।

लेखक SeqWM को स्वायत्त एजेंट डिप्लॉयमेंट्स में जवाबदेही और पोस्ट-हॉक ऑडिटिंग के लिए एक नेट-पॉजिटिव के रूप में प्रस्तुत करते हैं। वे इस बात पर जोर देते हैं कि उनका दृष्टिकोण ट्राजेक्टरी करप्शन (डिलीशन, ट्रंकेशन) को साक्ष्य हानि के लोकल (local) स्रोत में बदल देता है, न कि ग्लोबल (global) डिटेक्टर विफलता में। उनका कार्य यह सुझाव देता है कि इस परिप्रेक्ष्य को स्ट्रॉन्गर एडेप्टिव अटैक्स और सेमेंटिक-लेवल ट्राजेक्टरी एडिट्स तक विस्तारित करना भविष्य के अनुसंधान के लिए एक आवश्यक दिशा है, लेकिन वर्तमान योगदान एजेंट प्रोवेनेंस को सत्यापित करने के लिए एक मजबूत, पोजीशन-अग्नोस्टिक फाउंडेशन स्थापित करता है।