🤖 machine learning

Hidden in Plain Tokens: Simply Robust, Gradient-Free Watermark for Synthetic Audio

यह शोध पत्र सिंथेटिक ऑडियो के लिए एक सुदृढ़, ग्रेडिएंट-मुक्त वॉटरमार्किंग पद्धति प्रस्तावित करता है जो टोकन त्रुटियों को कम करने के लिए शब्दावली अतिरेक (vocabulary redundancy) और समुदाय पहचान (community detection) का लाभ उठाता है, जिससे मॉडल फाइनट्यूनिंग की आवश्यकता के बिना अत्याधुनिक पता लगाने की क्षमता (state-of-the-art detectability) प्राप्त होती है।

मूल लेखक: Georgios Milis, Yubin Qin, Yihan Wu, Heng Huang

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Georgios Milis, Yubin Qin, Yihan Wu, Heng Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

द बिग प्रॉब्लम: "ब्रोकन टेलीफोन" गेम

कल्पना कीजिए कि आप एक गाने के अंदर एक गुप्त संदेश छोड़ने की कोशिश कर रहे हैं। आप चाहते हैं कि गाना इंसानी कानों को सामान्य सुनाई दे, लेकिन आप चाहते हैं कि कंप्यूटर इसे बाद में सुन सके और कह सके, "हाँ, यह AI द्वारा बनाया गया था।"

टेक्स्ट (जैसे इस लेख) के लिए, यह आसान है। आप कुछ शब्दों को उनके पर्यायवाची शब्दों (synonyms) से बदल सकते हैं जो वही अर्थ देते हैं लेकिन कंप्यूटर के लिए अलग दिखते हैं। यह एक नोट लिखने जैसा है जहाँ आप गुप्त कोड के लिए शब्द "बिल्ली" को "मंजर" या "feline" से बदल देते हैं।

लेकिन ऑडियो के लिए, यह बहुत कठिन है। AI ऑडियो मॉडल शब्द नहीं लिखते; वे छोटे डिजिटल "टोकेन्स" (जैसे संगीत के स्वर या ध्वनि के अंश) में लिखते हैं। इन टोकेन्स को वापस सुनने योग्य ध्वनि में बदलने के लिए, कंप्यूटर एक "अनुवादक" (जिसे 'कोडेक' कहा जाता है) का उपयोग करता है।

समस्या: जब AI एक गाना बनाता है, तो वह एक विशिष्ट टोकन चुनता है। लेकिन जब गाना बजाया जाता है और फिर से कंप्यूटर में रिकॉर्ड किया जाता है (या इंटरनेट के लिए कंप्रेस किया जाता है), तो "अनुवादक" भ्रमित हो जाता है। वह मूल टोकन को एक थोड़े अलग टोकन से बदल सकता है जो इंसान को लगभग एक जैसा ही सुनाई देता है, लेकिन कंप्यूटर के लिए पूरी तरह से अलग दिखता है।

पेपर की भाषा में, इसे रिटोकेनाइजेशन एरर (retokenization error) कहा जाता है। यह "ब्रोकन टेलीफोन" गेम खेलने जैसा है जहाँ हर बार जब संदेश अनुवादक के पास से गुजरता है, तो वह बिगड़ जाता है। जब तक कंप्यूटर आपके गुप्त संदेश की जाँच करने की कोशिश करता है, तब तक संदेश गायब हो चुका होता है क्योंकि टोकन बदल गए होते हैं।

पुराना समाधान: अनुवादक को फिर से प्रशिक्षित करना (Retraining the Translator)

पिछले तरीकों ने इस समस्या को ठीक करने के लिए "अनुवादक" (कोडेक) को एकदम सटीक बनाने की कोशिश की। वे अनुवादक को फिर से प्रशिक्षित करने के लिए बहुत अधिक समय और कंप्यूटर शक्ति खर्च करते थे ताकि वह कभी गलती न करे।

नुकसान: यह महंगा, धीमा है और इसके लिए AI के आंतरिक मस्तिष्क तक गहरी पहुँच (white-box access) की आवश्यकता होती है। यह एक पूरी नई अनुवादक टीम को काम पर रखने जैसा है ताकि यह सुनिश्चित किया जा सके कि वे कभी गलती न करें।

नया समाधान: भ्रमित समूहों को जोड़ना (Grouping the Confused)

इस पेपर के लेखकों ने बिना कुछ भी फिर से प्रशिक्षित किए, इसे हल करने का एक चतुर, मुफ्त और तेज़ तरीका खोजा। उन्होंने महसूस किया कि "अनुवादक" की गलतियाँ रैंडम (random) नहीं हैं।

एनालॉजी: पड़ोस का नक्शा (The Neighborhood Map)
कल्पना कीजिए कि AI की शब्दावली एक विशाल शहर है जिसमें हजारों घर (टोकन्स) हैं।

गलती: जब अनुवादक भ्रमित होता है, तो वह संदेश को शहर के किसी यादृच्छिक (random) घर में नहीं भेजता। वह आमतौर पर उसी पड़ोस के एक पड़ोसी घर में भेज देता है।
खोज: लेखकों ने हजारों ऑडियो क्लिप्स का अध्ययन किया और मानचित्र बनाया कि कौन से टोकन किन अन्य टोकन्स के साथ भ्रमित होते हैं। उन्होंने पाया कि टोकन्स स्वाभाविक रूप से घनिष्ठ "पड़ोस" या समुदायों (communities) में समूह बनाते हैं।
समाधान: एक एकल विशिष्ट घर (टोकन) की रक्षा करने के बजाय, उन्होंने पूरे पड़ोस की रक्षा करने का निर्णय लिया।

अब वॉटरमार्क कैसे काम करता है

यहाँ वह स्टेप-बाय-स्टेप प्रक्रिया है जिसे उन्होंने आविष्कार किया है:

पड़ोसों का मानचित्रण (Map the Neighborhoods): वॉटरमार्किंग से पहले, वे एक टेस्ट चलाते हैं ताकि यह देखा जा सके कि कौन से टोकन एक-दूसरे के साथ भ्रमित होते हैं। वे इन टोकन्स को क्लस्टर्स (पड़ोसों) में समूहबद्ध करने के लिए "कम्युनिटी डिटेक्शन" नामक गणितीय ट्रिक का उपयोग करते हैं।
संदेश को पड़ोस में छिपाना: यह कहने के बजाय कि, "मैं टोकन #55 में एक गुप्त संदेश छिपा रहा हूँ," वे कहते हैं, "मैं एक गुप्त संदेश पड़ोस A में छिपा रहा हूँ।"
परिणाम: भले ही "अनुवादक" भ्रमित हो जाए और टोकन #55 को उसके पड़ोसी टोकन #12 से बदल दे, वह अभी भी पड़ोस A के भीतर ही रहेगा। गुप्त संदेश इस बदलाव के बावजूद सुरक्षित रहता है!

यह एक बड़ी बात क्यों है

कोई ट्रेनिंग की आवश्यकता नहीं: उन्हें AI या अनुवादक को फिर से प्रशिक्षित करने की आवश्यकता नहीं पड़ी। उन्होंने बस डेटा को देखा, पैटर्न खोजे और एक सरल नियम लागू किया। यह वैसा ही है जैसे यह महसूस करना कि आपको सड़क ठीक करने की ज़रूरत नहीं है; आपको बस ड्राइवरों को अपनी लेन में रहने के लिए कहना है।
अत्यधिक मजबूत: क्योंकि संदेश एक एकल घर के बजाय एक पूरे पड़ोस में छिपा हुआ है, इसलिए इसे नष्ट करना अविश्वसनीय रूप से कठिन है। पेपर दिखाता है कि उनका तरीका पिछले तरीकों की तुलना में वॉटरमार्क का पता लगाने में हजारों गुना बेहतर है, भले ही ऑडियो कंप्रेस किया गया हो, एडिट किया गया हो, या विभिन्न उपकरणों पर बजाया गया हो।
ध्वनि की गुणवत्ता: महत्वपूर्ण बात यह है कि इसने संगीत को खराब नहीं किया। ऑडियो की गुणवत्ता उच्च बनी रही, बिल्कुल मूल की तरह।

इसकी सीमाएं (यह क्या नहीं कर सकता)

पेपर एक कमजोरी के बारे में ईमानदार है: टाइम शिफ्ट्स (Time shifts)।
यदि कोई गाने की शुरुआत काट देता है, या इसे काफी तेज कर देता है, तो "पड़ोस" का नक्शा बिगड़ जाता है क्योंकि टाइमिंग सही नहीं रहती। पेपर सुझाव देता है कि हालांकि यह तरीका अधिकांश संपादन (edits) के लिए बेहतरीन है, लेकिन यदि ऑडियो को टुकड़ों में काट दिया जाए या टाइम-वार्प (time-warped) किया जाए, तो यह संघर्ष करता है। हालाँकि, वे नोट करते हैं कि यह सभी टोकन-आधारित वॉटरमार्क्स के लिए एक समस्या है, न कि केवल उनके लिए।

सारांश

लेखकों ने खोजा कि AI ऑडियो मॉडल के पास एक "धुंधली" (fuzzy) शब्दावली होती है जहाँ टोकन्स स्वाभाविक रूप से एक साथ समूह बनाते हैं। इस धुंधलेपन से लड़ने के बजाय, उन्होंने इसका लाभ उठाया। विशिष्ट टोकन्स के बजाय इन धुंधले समूहों (समुदायों) में अपना गुप्त संदेश छिपाकर, उन्होंने एक ऐसा वॉटरमार्क बनाया जो इंसानों के लिए अदृश्य है, कंप्यूटर की त्रुटियों के प्रति मजबूत है, और इसे सेट करने के लिए किसी महंगी ट्रेनिंग की आवश्यकता नहीं है। यह एक "सामने ही छिपा हुआ" (hidden in plain sight) तरीका है जो AI के अपने भ्रम को उसकी सबसे बड़ी ताकत में बदल देता है।

तकनीकी सारांश: हिडन इन प्लेन टोकेन्स (Hidden in Plain Tokens)

समस्या विवरण

जेनेरेटिव एआई, विशेष रूप से निरंतर मोडैलिटीज (continuous modalities) जैसे कि ऑडियो के लिए ऑटोरेग्रेसिव मॉडल्स की तीव्र प्रगति ने, मजबूत कंटेंट प्रोवेनेंस (content provenance) की एक तत्काल आवश्यकता पैदा कर दी है। जबकि डिस्क्रीट डोमेन (जैसे टेक्स्ट) के लिए वॉटरमार्किंग तकनीकें अच्छी तरह से स्थापित हैं, निरंतर मोडैलिटीज पर उन्हें लागू करना एक मौलिक बाधा का सामना करता है: रिटोकनाइजेशन मिसमैच (retokenization mismatch)।

ऑटोरेग्रेसिव ऑडियो मॉडल्स में, कंटेंट को डिस्क्रीट टोकन्स के एक अनुक्रम के रूप में उत्पन्न किया जाता है लेकिन एक निरंतर वेवफॉर्म (waveform) के रूप में सिंथेसाइज किया जाता है। वॉटरमार्क का पता लगाने के लिए, वेवफॉर्म को कोडेक (codec) द्वारा पुन: एनकोड (re-encode/retokenize) किया जाना चाहिए। हालांकि, क्योंकि न्यूरल कोडेक्स सटीक इंडेक्स संरक्षण के बजाय पुनर्निर्माण गुणवत्ता (reconstruction quality) को प्राथमिकता देते हैं, इसलिए रिटोकनाइज्ड अनुक्रम अक्सर मूल उत्पन्न अनुक्रम से भिन्न होता है। यह "रिटोकनाइजेशन एरर" वॉटरमार्क सिग्नल को—जो आमतौर पर विशिष्ट टोकन लॉजिट्स (logits) को बायस करने से बनता है—तेजी से गायब कर देता है, विशेष रूप से जैसे-जैसे कॉन्टेक्स्ट विंडो साइज ( $h$ ) बढ़ता है। मौजूदा समाधान इसे कोडेक मॉड्यूल को 'आइडेंटपोटेंट' (idempotent) बनाने के लिए फाइनट्यून करने का प्रयास करते हैं, जो एक कम्प्यूटेशनल रूप से महंगी प्रक्रिया है, जिसके लिए व्हाइट-बॉक्स एक्सेस की आवश्यकता होती है, और यह मानक वॉटरमार्किंग स्कीम्स के "ट्रेनिंग-फ्री" लाभ को समाप्त कर देता है।

कार्यप्रणाली (Methodology)

लेखक हिडन इन प्लेन टोकेन्स का प्रस्ताव करते हैं, जो एक हल्का, ग्रेडिएंट-फ्री वॉटरमार्किंग तरीका है जो डिस्क्रीट रिप्रेजेंटेशन लर्निंग में अंतर्निहित संरचनात्मक अतिरेक (structural redundancy) का लाभ उठाता है। कोडेक को आइडेंटपोटेंट बनाने के बजाय, यह विधि वॉटरमार्किंग स्कीम को कोडेक के प्राकृतिक त्रुटि पैटर्न (error patterns) के अनुकूल बनाती है।

1. रिटोकनाइजेशन का सांख्यिकीय विश्लेषण

पेपर पहले रिटोकनाइजेशन प्रक्रिया को एक नॉइजी चैनल (noisy channel) के रूप में मॉडल करता है। वे व्युत्पन्न करते हैं कि एक मानक KGW (किरचेनबाउर एट अल., 2023) वॉटरमार्क के लिए अपेक्षित डिटेक्शन स्टैटिस्टिक ( $z$ -score) कॉन्टेक्स्ट विंडो साइज $h$ और टोकन मैच रेट $r$ के साथ तेजी से घटता है:
$E[z|H_1] \propto \sqrt{N} \cdot r^{h+1}$
चूंकि निरंतर मोडैलिटीज में $r < 1$ है, इसलिए सिग्नल जल्दी गायब हो जाता है। लेखक देखते हैं कि हालांकि सटीक टोकन मिलान दुर्लभ हैं, टोकन अक्सर "सिमेंटिक नेबर्स" (semantic neighbors) के एक छोटे सेट के साथ भ्रमित हो जाते हैं।

2. कम्युनिटी डिटेक्शन के माध्यम से शब्दावली में कमी (Vocabulary Reduction)

इसे कम करने के लिए, लेखक एक वोकैबुलरी क्लस्टरिंग दृष्टिकोण पेश करते हैं:

ग्राफ निर्माण: वे वेवफॉर्म्स के एक डेटासेट को एनकोड और री-एनकोड करके एक कन्फ्यूजन मैट्रिक्स (confusion matrix) बनाते हैं, जिसमें टोकन्स को नोड्स के रूप में और कन्फ्यूजन फ्रीक्वेंसी को एज वेट्स (edge weights) के रूप में माना जाता है।
कम्युनिटी डिटेक्शन: अनसुपरवाइज्ड एल्गोरिदम (विशेष रूप से लीडन मेथड) का उपयोग करते हुए, वे टोकन्स के स्थिर क्लस्टर्स की पहचान करते हैं जो आपस में अक्सर भ्रमित होते हैं। यह प्रभावी रूप से शब्दावली के आकार को $|V|$ से घटाकर क्लस्टर्स के एक छोटे सेट में बदल देता है।
क्लस्टर-लेवल वॉटरमार्किंग: व्यक्तिगत टोकन को बायस करने के बजाय, वॉटरमार्क बायस क्लस्टर स्तर पर लागू किया जाता है। कॉन्टेक्स्ट हिस्ट्री (हैशिंग के लिए उपयोग की जाने वाली) और वर्तमान टोकन चयन दोनों को वॉटरमार्क नियम लागू करने से पहले उनके क्लस्टर इंडेक्स में मैप किया जाता है।

3. सैद्धांतिक सुधार

क्लस्टर स्तर पर कार्य करके, यह विधि टोकन मैच रेट $r$ को क्लस्टर मैच रेट $r_{cl}$ से बदल देती है। चूंकि $r_{cl} > r$ (क्लस्टर्स निकटतम पड़ोसियों को एकत्रित करते हैं), इसलिए एक्सपोनेंशियल डिके टर्म $r_{cl}^{h+1}$ बन जाता है, जो अंडरलाइंग जेनेरेटिव मॉडल या कोडेक को संशोधित किए बिना अपेक्षित $z$ -स्कोर और डिटेक्शन मजबूती को महत्वपूर्ण रूप से बढ़ाता है।

मुख्य योगदान

सांख्यिकीय विश्लेषण: लेखक सैद्धांतिक रूप से मात्रा निर्धारित करते हैं कि कैसे रिटोकनाइजेशन एरर वॉटरमार्क डिटेकेबिलिटी को कम करता है, और कॉन्टेक्स्ट विंडो साइज के संबंध में सिग्नल के एक्सपोनेंशियल डिके को उजागर करते हैं।
ग्रेडिएंट-फ्री विधि: वे एक नया, ब्लैक-बॉक्स तरीका पेश करते हैं जो कम्युनिटी डिटेक्शन के माध्यम से अंतर्निहित शब्दावली संरचनाओं की खोज करता है और उन्हें वॉटरमार्किंग नियमों को लागू करने से पहले डिस्टिल (distill) करता है। यह ट्रेनिंग-फ्री प्रतिमान को बनाए रखता है।
मजबूती और गुणवत्ता: यह विधि ऑडियो गुणवत्ता में गिरावट को कम करते हुए ऑडियो संशोधनों और रिटोकनाइजेशन शोर के प्रति अंतर्निहित मजबूती प्राप्त करती है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन Moshi (कन्वर्सेशनल स्पीच) और MusicGen (म्यूजिक जनरेशन) सहित अत्याधुनिक ऑटोरेग्रेसिव ऑडियो मॉडल्स, साथ ही CosayVoice3 और Spark-TTS जैसे टेक्स्ट-टू-स्पीच मॉडल्स पर किया गया।

डिटेकेबिलिटी (Detectability): प्रस्तावित विधि बेसलाइन (जैसे "Base" - रॉ KGW और "WMAR" - फाइनट्यून्ड कोडेक) की तुलना में डिटेकेबिलिटी को कई गुना बढ़ा देती है। उच्च-क्रम कॉन्टेक्स्ट ( $h=1, 2$ ) के साथ भी, विधि बहुत कम फॉल्स पॉजिटिव रेट (FPR) पर उच्च ट्रू पॉजिटिव रेट (TPR) बनाए रखती है।
मजबूती (Robustness): वॉटरमार्क विभिन्न हमलों के तहत पता लगाने योग्य रहता है, जिनमें सिग्नल प्रोसेसिंग (स्मूथिंग, फिल्टरिंग, नॉइज़), कम्प्रेशन (MP3, DAC, EnCodec), और टेम्पोरल मॉडिफिकेशन (क्रॉपिंग, शिफ्टिंग) शामिल हैं। हालांकि टेम्पोरल मिसअलाइनमेंट सभी टोकन-आधारित विधियों के लिए एक चुनौती बना हुआ है, प्रस्तावित विधि बेसलाइन्स से काफी बेहतर प्रदर्शन करती है।
ऑडियो गुणवत्ता: फ्रेट ऑडियो डिस्टेंस (FAD) और मीन ओपिनियन स्कोर (MOS) मेट्रिक्स का उपयोग करके मूल्यांकन इंगित करता है कि वॉटरमार्किंग प्रक्रिया ऑडियो गुणवत्ता को गंभीर रूप से खराब नहीं करती है। कई मामलों में, वॉटरमार्क्ड ऑडियो के क्वालिटी स्कोर फाइनट्यून्ड WMAR बेसलाइन्स के बराबर या बेहतर होते हैं।

महत्व और दावे

पेपर दावा करता है कि यह मल्टीमीडिया में टोकन-लेवल वॉटरमार्क्स के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है। इसका प्राथमिक महत्व यह प्रदर्शित करने में निहित है कि टोकन-लेवल ऑडियो वॉटरमार्किंग की कथित नाजुकता को केवल दखल देने वाले मॉडल ट्रेनिंग से नहीं, बल्कि मॉडल के सीखे गए डिस्क्रीट रिप्रेजेंटेशन स्पेस को डिस्टिल करके हल किया जा सकता है।

लेखक तर्क देते हैं कि लेटेंट स्पेस में स्ट्रक्चरल अलाइनमेंट (जिसे कम्युनिटी डिटेक्शन द्वारा कैप्चर किया गया है) सीधे सिग्नल डोमेन में मजबूती में अनुवादित होता है। यह दृष्टिकोण कम्प्यूटेशनल रूप से महंगे कोडेक फाइनट्यूनिंग के एक व्यावहारिक, कुशल विकल्प के रूप में कार्य करता है, जिससे सिंथेटिक ऑडियो के लिए मजबूत वॉटरमार्किंग अधिक सुलभ और तैनात करने योग्य हो जाती है। यह कार्य सुझाव देता है कि डिस्क्रीट रिप्रेजेंटेशन लर्निंग में मौजूद रेडंडेंसी एक फीचर है जिसका उपयोग निरंतर मोडैलिटीज की सीमाओं को पार करने के लिए किया जा सकता है।