💬 NLP

OD-Stega: LLM-Based Relatively Secure Steganography via Optimized Distributions

यह शोध पत्र OD-Stega का प्रस्ताव करता है, जो एक LLM-आधारित कवरलेस स्टेगनोोग्राफी विधि है जो डाइवर्जेंस बाधाओं के तहत नेक्स्ट-टोकन प्रायिकता वितरणों को अनुकूलित करने के लिए एक क्लोज्ड-फॉर्म समाधान प्राप्त करके एम्बेडिंग दक्षता को अधिकतम करती है, जबकि साथ ही टोकनाइजेशन मिसमैच, वोकैबुलरी ट्रंकेशन और मौजूदा तकनीकों के साथ अनुकूलता जैसी व्यावहारिक चुनौतियों का समाधान भी करती है।

मूल लेखक: Yu-Shin Huang, Peter Just, Hanyun Yin, Krishna Narayanan, Ruihong Huang, Chao Tian

प्रकाशित 2026-01-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu-Shin Huang, Peter Just, Hanyun Yin, Krishna Narayanan, Ruihong Huang, Chao Tian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: सादे दिखने वाले रूप में छिपे रहस्य

कल्पना कीजिए कि आप अपने दोस्त को एक गुप्त संदेश भेजना चाहते हैं, लेकिन आपको एक सख्त गार्ड (मान लीजिए उसका नाम ईव है) देख रही है। यदि आप कागज के एक टुकड़े पर संदेश लिखते हैं और उसे एक किताब के अंदर छिपा देते हैं, तो ईव को वह किताब संदिग्ध लग सकती है।

पारंपरिक "स्टेग्नोग्राफी" (रहस्य छिपाने की कला) मौजूदा किताब के कुछ अक्षरों को सूक्ष्म रूप से बदलकर संदेश को छिपाने की कोशिश करती है। लेकिन यह पेपर एक अलग दृष्टिकोण प्रस्तावित करता है: कवरलेस स्टेग्नोग्राफी (Coverless Steganography)। संदेश को किसी किताब के अंदर छिपाने के बजाय, आप एक सुपर-स्मार्ट रोबोट लेखक (LLM, या लार्ज लैंग्वेज मॉडल) से शुरुआत से एक नई किताब लिखने के लिए कहते हैं जो एक सामान्य कहानी की तरह दिखती है, लेकिन उसमें गुप्त रूप से आपका संदेश छिपा होता है।

समस्या: रोबोट बहुत अधिक अनुमान लगाने योग्य (Predictable) है

रोबोट लेखक अपने काम में बहुत अच्छा है। यदि आप उससे "इनाम जीतने" के बारे में कहानी लिखने को कहते हैं, तो वह स्वाभाविक रूप से कहेगा जैसे "एक प्रमुख (major) इनाम जीतना" या "एक बड़ा (big) इनाम जीतना।" वह शायद ही कभी कहेगा "एक बैंगनी (purple) इनाम जीतना।"

चूंकि रोबोट इतना अनुमान लगाने योग्य है, इसलिए इसमें रहस्य छिपाना कठिन है। रहस्य छिपाने के लिए, आपको रोबोट को कई अलग-अलग विकल्पों में से चुनने के लिए मजबूर करना होगा (जैसे "प्रमुख," "बड़ा," "विशाल," "महाकाय" के बीच चयन करना)। यदि रोबोट के पास केवल एक स्पष्ट विकल्प है, तो आप वहां कोई डेटा नहीं छिपा सकते।

समाधान: OD-Stega (अनुकूलित रोबोट)

लेखकों ने OD-Stega नामक एक विधि बनाई है। इसे रोबोट लेखक के लिए एक "ट्यूनिंग नॉब" (समायोजन करने वाला बटन) के रूप में समझें।

लक्ष्य: वे चाहते हैं कि रोबोट थोड़ा कम अनुमान लगाने योग्य (अधिक यादृच्छिक/random) हो ताकि वे अधिक गुप्त डेटा छिपा सकें, लेकिन इतना भी यादृच्छिक न हो कि कहानी अजीब लगे और ईव उन्हें पकड़ ले।
समझौता (Trade-off): कल्पना कीजिए कि रोबोट के प्राकृतिक विकल्प एक शांत, सुव्यवस्थित नदी की तरह हैं।
- पूर्ण सुरक्षा: यदि आप नदी को नहीं छेड़ते हैं, तो यह स्वाभाविक रूप से बहती है। ईव को पता नहीं चलेगा कि यह अलग है, लेकिन आप इसमें बहुत कुछ छिपा नहीं पाएंगे।
- बहुत अधिक छिपाना: यदि आप नदी को जंगली और अराजक बना देते हैं, तो आप बहुत कुछ छिपा सकते हैं, लेकिन ईव तुरंत देख लेगी कि पानी अजीब व्यवहार कर रहा है।
- OD-Stega: यह विधि "गोल्डिलॉक्स" ज़ोन (बीच का रास्ता) ढूंढती है। यह नदी को बस इतना टवीक (ट्वीक) करती है कि वह थोड़ी लहरदार हो जाए (जिससे अधिक रहस्य छिपाए जा सकें) लेकिन फिर भी देखने में एक प्राकृतिक नदी जैसी ही रहे।

यह कैसे काम करता है (गणित का सरल रूप)

यह पेपर एक गणितीय पहेली को हल करता है: हम रोबोट के विकल्पों को कैसे बदलें ताकि कहानी को नकली बनाए बिना अधिकतम रहस्य छिपाए जा सकें?

"टेम्परेचर" (तापमान) का कमाल: AI में, "टेम्परेचर" नामक एक सेटिंग होती है जो रैंडमनेस (यादृच्छिकता) को नियंत्रित करती है। यह पेपर सिद्ध करता है कि उनका जटिल गणितीय समाधान वास्तव में इस टेम्परेचर नॉब को एडजस्ट करने का एक शानदार तरीका है। वे गणना करते हैं कि कितनी "अराजकता" जोड़नी है ताकि कहानी स्वाभाविक बनी रहे लेकिन फिर भी एक रहस्य वहन करे।
"कमजोर गार्ड" की धारणा: यह पेपर मानता है कि गार्ड (ईव) कोई सुपर-कंप्यूटर नहीं है; वह एक इंसान या सीमाओं वाला एक साधारण प्रोग्राम हो सकता है। OD-Stega इसका फायदा उठाता है। यह कहता है, "हम कहानी को बस थोड़ा सा अजीब बनाएंगे, यह जानते हुए कि गार्ड इसे नोटिस नहीं करेगा, लेकिन एक सुपर-स्मार्ट डिटेक्टर शायद पकड़ ले।" यह उन्हें पहले की तुलना में 20% से 55% अधिक रहस्य छिपाने की अनुमति देता है।

वास्तविक दुनिया की गड़बड़ियों (Glitches) को सुलझाना

लेखकों ने केवल गणित नहीं किया; उन्होंने तीन व्यावहारिक समस्याओं को भी ठीक किया जो आमतौर पर इन प्रणालियों को खराब कर देती हैं:

"वर्ड स्प्लिट" (शब्द विभाजन) की गड़बड़ी:
- समस्या: कंप्यूटर शब्दों को "टोकन" नामक टुकड़ों में तोड़ देते हैं। कभी-कभी, भेजने वाले का कंप्यूटर "mountain" शब्द को "mount" और "ain" में विभाजित करता है, लेकिन प्राप्तकर्ता का कंप्यूटर इसे एक पूरे शब्द "mountain" के रूप में देखता है। इससे गुप्त संदेश बिगड़ जाता है।
- समाधान: उन्होंने एक साधारण "टेस्ट रन" जोड़ा। वास्तविक संदेश भेजने से पहले, भेजने वाला कुछ डमी संदेशों को आजमाता है ताकि यह देख सके कि क्या प्राप्तकर्ता का कंप्यूटर शब्दों को उसी तरह पढ़ता है। यदि नहीं, तो वे इसे मेल खाने तक एडजस्ट करते हैं।
"बहुत अधिक विकल्प" की गड़बड़ी:
- समस्या: रोबोट के पास हजारों शब्द चुनने के विकल्प होते हैं। उन सभी के लिए सबसे अच्छा विकल्प चुनना बहुत समय लेने वाला है।
- समाधान: वे उन हजारों शब्दों को अनदेखा कर देते हैं जिन्हें रोबोट कभी नहीं चुनेगा (जैसे ओलंपिक की कहानी में "केला")। वे केवल शीर्ष 100 संभावित शब्दों पर ध्यान केंद्रित करते हैं, जिससे यह प्रक्रिया बहुत तेज हो जाती है।
"पुरानी तकनीक" की गड़बड़ी:
- समस्या: कई गुप्त रखने वाली विधियाँ "अरिथमेटिक कोडिंग" नामक एक विशिष्ट गणितीय उपकरण का उपयोग करती हैं।
- समाधान: उन्होंने दिखाया कि उनकी विधि अन्य पुराने गुप्त रखने वाले उपकरणों के साथ भी काम करती है, जो इसे कई प्रणालियों के लिए एक सार्वभौमिक अपग्रेड बनाती है।

उन्होंने क्या पाया?

उन्होंने अपने तरीके का परीक्षण एक शक्तिशाली रोबोट लेखक (LLaMA2) और एक गुप्त रखने वाले उपकरण "Discop" का उपयोग करके किया।

अधिक रहस्य: अपने "ट्यूनिंग नॉब" का उपयोग करके, वे समान मात्रा में टेक्स्ट में काफी अधिक गुप्त डेटा छिपा सके।
फिर भी स्वाभाविक: उन्होंने यह जांचने के लिए एक "मानव जैसा" AI (GPT-4) और कई "गार्ड" प्रोग्रामों का उपयोग किया कि कहानियाँ कैसी हैं। जब उन्होंने "ट्यूनिंग" को कम रखा, तो कहानियाँ 100% स्वाभाविक दिखीं, और गार्ड उन्हें नकली नहीं पहचान सके।
सीमा (Limit): यदि उन्होंने अधिक रहस्य छिपाने के लिए "ट्यूनिंग" को बहुत अधिक बढ़ा दिया, तो कहानियाँ अजीब लगने लगीं और गार्डों ने उन्हें पकड़ लिया।

सारांश

OD-Stega AI द्वारा उत्पन्न टेक्स्ट में रहस्य छिपाने का एक नया तरीका है। यह एक स्मार्ट संपादक की तरह काम करता है जो AI के शब्द चयन को थोड़ा सा बदलता है ताकि अधिक गुप्त डेटा भरा जा सके, जबकि कहानी को इतना स्वाभाविक बनाए रखता है कि वह किसी इंसान या साधारण कंप्यूटर गार्ड को धोखा दे सके। यह उन सामान्य तकनीकी गड़बड़ियों को हल करता है जो आमतौर पर इन प्रणालियों को विफल कर देती हैं और मौजूदा गुप्त रखने वाले उपकरणों के साथ काम करता है।

तकनीकी सारांश: OD-Stega

समस्या विवरण (Problem Statement)
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके कवरलेस स्टेगानोग्राफी (Coverless Steganography) की चुनौती को संबोधित करता है। इस परिवेश में, एक प्रेषक (एलिस) एक गुप्त संदेश वाले टेक्स्ट को उत्पन्न करती है जिसे एक सार्वजनिक चैनल के माध्यम से प्राप्तकर्ता (बॉब) को भेजा जाता है, जिसकी निगरानी एक जासूस/ईव्सड्रॉपर (ईव) द्वारा की जाती है। प्राथमिक उद्देश्य एम्बेडिंग यूटिलाइजेशन (Embedding Utilization) (छिपे हुए बिट्स प्रति टोकन की संख्या) को अधिकतम करना है जबकि उत्पन्न पाठ की स्वाभाविकता (Naturalness) (अदृश्यता/Imperceptibility) बनाए रखना है।

पारंपरिक LLM-आधारित स्टेगानोग्राफी अरिथमेटिक कोडिंग (Arithmetic Coding - AC) पर निर्भर करती है, जहाँ गुप्त संदेश मूल वितरण (Native Probability Distribution) के आधार पर टोकन्स के सैंपलिंग को निर्देशित करता है। हालाँकि, LLMs अक्सर अत्यधिक नियत (Deterministic) आउटपुट देते हैं (कम एंट्रॉपी), जो सूचना छिपाने की क्षमता को सीमित कर देता है। मौजूदा विधियाँ अक्सर यह मानती हैं कि वे एक "पूर्णतः सुरक्षित" शासन (Perfectly Secure Regime) में काम कर रही हैं जहाँ स्टेगो-टेक्स्ट किसी भी पहचान क्षमता के तहत प्राकृतिक पाठ के समान होना चाहिए। लेखक तर्क देते हैं कि कई व्यावहारिक परिदृश्यों में, ईव एक "कमजोर डिटेक्टर" (जैसे कम्प्यूटेशनल रूप से सीमित या विलंब-प्रतिबंधित) होती है, जिससे उच्च एम्बेडिंग क्षमता हासिल करने के लिए सुरक्षा बाधाओं को शिथिल किया जा सकता है। इससे सापेक्षिक रूप से सुरक्षित स्टेगानोग्राफी (Relatively Secure Steganography) की अवधारणा जन्म लेती है।

कार्यप्रणाली (Methodology)
प्रस्तावित विधि का मुख्य केंद्र, OD-Stega (ऑप्टिमाइज्ड डिस्ट्रीब्यूशन स्टेगानोग्राफी), LLM के मूल अगले-टोकन संभाव्यता वितरण $P$ को एक अनुकूलित वितरण $Q$ से बदलने में निहित है जिसमें अधिक एंट्रॉपी हो, बशर्ते कि दो वितरणों के बीच विचलन (Divergence) पर एक सीमा लागू हो।

१. अनुकूलन सूत्रीकरण (Optimization Formulation):
समस्या को विकल्प वितरण $Q$ की शैनन एंट्रॉपी $H(Q)$ को अधिकतम करने के रूप में तैयार किया गया है, जिसका विषय $Q$ और $P$ के बीच डाइवर्जेंस प्रतिबंध $D(Q || P) \le \delta$ है, जहाँ $\delta$ अनुमत विचलन (सुरक्षा बजट) को दर्शाता है। लेखक दो प्रकार के मापन विचार करते हैं:

कुलबैक-लीलर (KL) डाइवर्जेंस: इसके लिए एक क्लोज्ड-फॉर्म समाधान निकाला गया है जहाँ इष्टतम $Q$ तब प्राप्त होता है जब मूल वितरण $P$ के लॉजिट्स (Logits) पर तापमान स्केलिंग (Temperature Scaling) लागू की जाती है। विशेष रूप से, $Q$ उस $P$ के अनुरूप है जिसे तापमान पैरामीटर $T \ge 1$ द्वारा स्केल किया गया है।
टोटल वेरिएशन (TV) डिस्टेंस: इसका इष्टतम समाधान एक "वॉटर-फिलिंग" प्रक्रिया का अनुसरण करता है, जहाँ प्रायिकता द्रव्यमान (Probability Mass) को उच्च-संभाव्यता वाले टोकनों से निम्न-संभाव्यता वाले टोकनों तक पुनर्वितरित किया जाता है ताकि संभावनाओं को एक निश्चित थ्रेसहोल्ड तक समान बनाया जा सके, जो प्रभावी रूप से वितरण को सपाट (Flattening) बना देता है।

२. एडाप्टिव पैरामीटर चयन (Adaptive Parameter Selection):
अप्राकृतिक टेक्स्ट जनरेशन को रोकने के लिए (विशेषकर कम-एंट्रॉपी संदर्भों में जहाँ टोकन चुनाव लगभग नियत होते हैं), डाइवर्जेंस बजट $\delta$ वैश्विक स्तर पर स्थिर नहीं रखा जाता है। इसके बजाय, इसे वर्तमान टोकन की एंट्रॉपी के फलन के रूप में एडैप्टिव तरीके से सेट किया जाता है: $\delta_i = C \cdot H(P_i)$ , जहाँ $C$ एक ट्यूनेबल स्थिरांक है।

३. व्यावहारिक इंजीनियरिंग समाधान (Practical Engineering Solutions):
पेपर तीन महत्वपूर्ण व्यावहारिक मुद्दों को हल करता है:

टोकेनाइज़ेशन मिसमैच (Tokenization Mismatch): मानक टोकेनाइज़र यह गारंटी नहीं देते कि दिए गए टेक्स्ट के लिए एक अद्वितीय टोकन अनुक्रम होगा (उदाहरण के लिए, "mountain" बनाम "mount" + "ain")। लेखक एक प्रॉम्ट सिलेक्शन रणनीति प्रस्तावित करते हैं जहाँ एलिस गुप्त संदेश के साथ एक छोटा सा "डमी" बिट्स ( $B$ ) का क्रम जोड़ देती है। वह $B$ के संयोजनों के माध्यम से परीक्षण करती है जब तक कि परिणामी स्टेगो-टेक्स्ट बॉब द्वारा सही ढंग से टोकेनाइज और डिकोड न किया जा सके, जिसके बाद बॉब $B$ को हटा देता है।
वोकैबुलरी ट्रंकेशन (Vocabulary Truncation): कंप्यूटेशनल जटिलता को कम करने के लिए, वोकैबुलरी को शीर्ष $N_{\epsilon}$ टोकन (जहाँ संचयी संभाव्यता $1-\epsilon$ है) तक काट दिया जाता है। लेखक सिद्ध करते हैं कि कुल KL डाइवर्जेंस ट्रंकेशन और ऑप्टिमाइज़ेशन चरणों के बीच योगात्मक (Additive) है, जिससे समग्र सुरक्षा बजट पर सटीक नियंत्रण संभव होता है।
गैर-AC विधियों के साथ एकीकरण: यह दृष्टिकोण उन तकनीकों के साथ संगत दिखाया गया गया है जो सख्ती से अरिथमेटिक कोडिंग पर निर्भर नहीं हैं, जैसे कि डिस्कॉप (Discop) (जो डिस्ट्रीब्यूशन कॉपी का उपयोग करता है)। अनुकूलित वितरण को इन फ्रेमवर्क में एनकोडिंग चरण से पहले लागू किया जाता है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक सूत्रीकरण: पेपर स्थापित करता है कि सुरक्षा प्रतिबंध के अधीन एम्बेडिंग क्षमता को अधिकतम करना, टोकन वितरण की एंट्रॉपी को मैक्सिमाइज करने के बराबर है। यह दोनों—KL और TV अवरोधों के लिए क्लोज्ड-फॉर्म सॉल्यूशंस प्रदान करता है।
OD-Stega ढांचा: एक व्यावहारिक प्रणाली जो टोकेनाइजेशन त्रुटियों को वेरिफिकेशन लूप के माध्यम से हल करती है और वोकैबुलरी ट्रंकेशन के माध्यम से गणना लागत का प्रबंधन करती है, एक पूर्ण सिस्टम के रूप में इंटीग्रेटेड 'डीप लर्निंग मॉडल आधारित आर्थमेटिक कोडिंग' पेश करती है।
OD-Discop: यह प्रदर्शन करता कि अनुकूलन तकनीक अन्य स्टिगनो ग्राफिक पद्धतियों, विशेष रूप से डिस्कप तकनीक की एम्बेडिंग उपयोगिता में सुधार के लिए सार्वभौमिक रूप से लागू की जा सकती है।
अनुभवजन्य सत्यापन (Empirical Validation): LLaMA2-7B और GPT2-XL मॉडलों का उपयोग करते हुए व्यापक प्रयोग, जो एम्बेडिंग यूटिलाइजेशन, अत्याधुनिक स्टेनालिसिस टूल्स (FCN, SESY, GS-Llama) के विरुद्ध डिटेक्शन रेट, और मानव जैसी धारणा (Human-like Perception) हेतु GPT-4 मूल्यांकन का विश्लेषण करते हैं।

प्रायोगिक परिणाम (Experimental Results)

एम्बेडिंग यूटिलाइजेशन: प्रयोग सुरक्षा और क्षमता के बीच एक महत्वपूर्ण ट्रेड-ऑफ प्रदर्शित करते हैं। पैरामीटर $C$ $C$ (जो डाइवर्जेंस $\delta$ $δ$ को बढ़ाता है) को बढ़ाने से, प्रति 25 टोकन में छिपे बिट्स की संख्या काफी बढ़ जाती है।
- सख्त प्रतिबंध ( $C=0.01$ , जो एक मजबूत डिटेक्टर का अनुकरण करता है) के साथ, बेसलाइन ट्रंकेशन विधियों की तुलना में एम्बेडिंग यूटिलाइजेशन लगभग 20% बढ़ गया।
- ढीले प्रतिबंध ( $C=0.05$ , जो एक कमजोर डिटेक्टर का अनुकरण करता है) के साथ, यूटिलाइजेशन 55% तक बढ़ गया।
स्टेनालिसिस प्रदर्शन: FCN, SESY और GS-Llama डिटेक्टर्स के खिलाफ परीक्षण किए जाने पर:
- कम $C$ मूल्यों के लिए, स्टेगो-टेक्स्ट स्वाभाविक LLM टेक्स्ट के समान ही था (रैंडम गेसिंग के करीब डिटेक्शन दर)।
- जैसे-जैसे $C$ बढ़ा, डिटेक्शन दर भी बढ़ी, जो सुरक्षा क्षरण (Security Degradation) की नियंत्रणीय प्रकृति की पुष्टि करती है।
धारणा मूल्यांकन (Perception Evaluation): GPT-4 मूल्यांकनों ने डाइवर्जेंस पैरामीटर और गैर-मानवीय होने के संकेत मिलने की संभावना के बीच संबंध दिखाया, जो स्टेनालिसिस परिणामों के सुसंगत है।
टोकेनाइजेशन मजबूती (Robustness): प्रस्तावित बिट-पैडिंग वेरिफिकेशन पद्धति ने विस्तृत सूची बनाने की आवश्यकता के बिना सफलतापूर्वक टोकेनाइजेशन मिसमैच को सुलझा लिया।

महत्व एवं दावे (Significance and Claims)
पेपर दावा करता है कि OD-Stega सापेक्षिक रूप से सुरक्षित स्टेगानोग्राफी के लिए एक सिद्धांतवादी दृष्टिकोण प्रदान करता है, जो एम्बेडिंग क्षमता और पता लगाने योग्यता (Detectability) के बीच संतुलन बनाने की डिजाइन स्वतंत्रता देता है। "पूर्णतः सुरक्षित" विधियों के विपरीत, जो प्राकृतिक भाषा उत्पादन की कम एंट्रॉपी के कारण सीमित हो सकती हैं, OD-Stega जानकारी छुपाने की क्षमता को अधिकतम करने के लिए ईव्सड्रॉपर (Eavesdropper) की सीमाओं का स्पष्ट रूप से लाभ उठाता है।

लेखक जोर देते हैं कि उनकी विधि सार्वभौमिक (Universal) है, जो मौजूदा AC-आधारित और गैर-AC-आधारित स्कीम्स (जैसे Discop) को बेहतर बनाने में सक्षम है। वे KL डाइवर्जेंस (या TV दूरी) को केवल एक सैद्धांतिक मीट्रिक के रूप में नहीं, बल्कि एक व्यवहारिक नियंत्रण लीवर (Control Lever) यानी हाइपरपैरामीटर के रूप में देखते हैं, जो इंजीनियरों को विशिष्ट खतरे के मॉडल (Threat Model) और अनुप्रयोग आवश्यकताओं के आधार पर सिस्टम को ट्यून करने की अनुमति देता है। कार्य अपनी सीमाओं को स्वीकार करता है, जिसमें उल्लेख है कि अनुकूलन प्रत्येक टोकन-दर-टोकन किया जाता है बिना दीर्घकालिक लुक-अहेड (Long-term Look-ahead) के (गणना संबंधी लागतों के कारण) और "अदृश्यता दहलीज" (Imperceptibility Threshold) को एक सीखे गए पर्सेप्चुअल मॉडल के बजाय एक ट्यूनेबल पैरामीटर माना गया है।