⚡ electrical engineering

Divergence-based Safety Measure for Large Language Models via Rational Inattention

यह शोध पत्र एम्बेडिंग-इनपुट हमलों के तहत बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के लिए एक नवीन विचलन-आधारित (डाइवर्जेंस-बेस्ड) सुरक्षा उपाय प्रस्तावित करता है, जो स्टील्थनेस (गुप्तता) सुनिश्चित करते हुए सबसे खराब स्थिति वाले आउटपुट वितरण परिवर्तनों को मापने के लिए ट्रांसफार्मर अटेंशन और रेशनल इनअटेंशन के बीच समानता का लाभ उठाता है।

मूल लेखक: Anh Tung Nguyen, Quanyan Zhu

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anh Tung Nguyen, Quanyan Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो महत्वपूर्ण निर्णय लेने में आपकी मदद करता है। आप उससे प्रश्न पूछते हैं, और वह आपको उत्तर देता है। लेकिन क्या होगा यदि कोई चालाक हैकर रोबोट के "कानों" (इसके इनपुट डेटा) में सूक्ष्म, लगभग अदृश्य बदलाव फुसफुसाकर उसे एक खतरनाक या गलत उत्तर देने के लिए बहका सके?

यह शोध पत्र एक नया तरीका प्रस्तावित करता है जिससे यह मापा जा सके कि एक रोबोट सहायक इन चालाक ट्रिक्स के खिलाफ कितना सुरक्षित है। यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. मुख्य समस्या: "फुसफुसाहट" वाला हमला (The "Whisper" Attack)

रोबोट के मस्तिष्क को टेक्स्ट की एक लाइब्रेरी के रूप में सोचें। हैकर को दरवाजा तोड़ने की ज़रूरत नहीं है; उन्हें बस उन शब्दों में एक सूक्ष्म, लगभग अदृश्य बदलाव करने की ज़रूरत है जिन्हें रोबोट पढ़ रहा है।

लक्ष्य: हैकर चाहता है कि रोबोट अपना उत्तर बदल दे (जैसे, "दरवाजा खुला है" से बदलकर "दरवाजा लॉक है" कर देना) बिना आपके ध्यान में आए।
चुनौती: हमें कैसे पता चलेगा कि एक रोबोट "सुरक्षित" है? हमें सबसे खराब स्थिति (worst-case scenario) को मापने का एक तरीका चाहिए: एक हैकर रोबोट का मन बदलने के लिए कितना बदलाव कर सकता है इससे पहले कि हम उन्हें पकड़ लें?

2. नया "सुरक्षा मीटर": तर्कसंगतता की जाँच (The "Rationality Check")

लेखकों ने एक नया सुरक्षा मीटर बनाया है। केवल अंतिम उत्तर को देखने के बजाय, वे देखते हैं कि रोबोट कैसे सोचता है।

उपमा: अत्यधिक काम करने वाला मैनेजर
कल्पना कीजिए कि एक मैनेजर (रोबोट) को निर्णय लेने के लिए ईमेल के ढेर (इनपुट टेक्स्ट) को पढ़ना पड़ता है।

तर्कसंगत असावधानी (Rational Inattention): मनुष्य हर ईमेल के हर शब्द को पूरी तरह से नहीं पढ़ सकते। हमें ऊर्जा बचाने के लिए सबसे महत्वपूर्ण हिस्सों को सरसरी तौर पर पढ़ना होता है और बाकी को अनदेखा करना होता है।
रोबोट का "ध्यान" (Attention): रोबोट भी ऐसा ही कुछ करता है। यह यह तय करने के लिए एक तंत्र का उपयोग करता है जिसे "ट्रांसफॉर्मर अटेंशन" (Transformer Attention) कहा जाता है कि वाक्य के कौन से शब्द सबसे महत्वपूर्ण हैं।
संबंध: शोध पत्र का तर्क है कि रोबोट द्वारा महत्वपूर्ण शब्दों को चुनने का तरीका गणितीय रूप से वैसा ही है जैसे एक मानव मैनेजर यह तय करता है कि थकने या व्यस्त होने पर उसे किस पर ध्यान केंद्रित करना चाहिए।

मीटर:
लेखकों ने एक "तर्कसंगतता मीटर" (Rationality Meter) बनाया है जो जाँचता है: क्या रोबोट अपना ध्यान एक सामान्य, मानव-समान तरीके से केंद्रित कर रहा है, या वह भ्रमित हो रहा है?

यदि रोबोट सामान्य रूप से कार्य कर रहा है, तो मीटर का स्तर कम रहता (सुरक्षित)।
यदि रोबोट को बेवकूफ बनाया जा रहा है, तो उसका ध्यान बिखर जाता है, और मीटर ऊपर चला जाता है।

3. "स्टील्थ" (छिपने का) नियम

सुरक्षा परीक्षण का एक सख्त नियम है: हमला "स्टील्थ" (दिखाई न देने वाला) होना चाहिए।

कल्पना कीजिए कि एक चोर पेंटिंग चुराने की कोशिश कर रहा है। यदि वह चमकीले नियॉन सूट पहनता है, तो वह तुरंत पकड़ा जाता है।
"सुरक्षा माप" पूछता है: एक चोर रोबोट के उत्तर में कितना बड़ा बदलाव कर सकता है जबकि वह अभी भी एक "कैमफ्लाज सूट" (छलावरण) पहने हुए है ताकि तर्कसंगतता मीटर चिल्ला न उठे?

शोध पत्र कुलबैक-लीब्लर (KL) डाइवर्जेंस की गणना करता है। सरल शब्दों में, यह एक स्कोर है जो यह मापता है कि रोबोट का "धोखे वाला" उत्तर उसके "सामान्य" उत्तर से कितना अलग है।

उच्च स्कोर: रोबोट के दिमाग को एक चालाक हमले द्वारा आसानी से मोड़ा जा सका। (असुरक्षित!)
कम स्कोर: रोबोट ने ट्रिक का विरोध किया, या ट्रिक बहुत स्पष्ट थी जिसे छिपाया नहीं जा सकता था। (अधिक सुरक्षित!)

4. प्रयोग: GPT-2 बनाम GPT-Neo

लेखकों ने इस सुरक्षा मीटर का परीक्षण दो प्रसिद्ध रोबोट मस्तिष्क: GPT-2 और GPT-Neo पर किया।

उन्होंने दोनों रोबोटों को एक ही "फुसफुसाहट" वाले हमले (अदृश्य बदलावों का एक ही बजट) दिए।
उन्होंने देखा कि तर्कसंगतता मीटर से बचने के प्रयास में दोनों रोबोटों के उत्तरों में कितना बदलाव आया।

परिणाम:
दोनों रोबोटों ने अलग तरह से प्रतिक्रिया दी।

GPT-2 को आसानी से चकमा दिया जा सका। "कैमफ्लाज" के बावजूद, इसके उत्तरों में महत्वपूर्ण बदलाव आए। इसका सुरक्षा प्रोफाइल "लीकier" (जल्द उजागर होने वाला) था।
GPT-Neo को चकमा देना कठिन था। हमलों के बावजूद इसने अपने उत्तरों को सामान्य के करीब रखा।

सारांश

यह शोध पत्र केवल यह नहीं कहता कि "हैकर बुरे होते हैं।" यह AI सुरक्षा के लिए एक थर्मामीटर बनाता है।

यह AI के 'अटेंशन मैकेनिज्म' को मानव के सीमित फोकस की तरह मानता है।
यह एक "झूठ पकड़ने वाले यंत्र" के रूप में इसका उपयोग करता है जो सूक्ष्म भ्रम की निगरानी करता है।
यह मापता है कि एक छिपे हुए हमले द्वारा एक AI के दिमाग को कितनी गहराई तक मोड़ा जा सकता है, इससे पहले कि "झूठ पकड़ने वाला यंत्र" सक्रिय हो जाए।
यह सिद्ध करता है कि कुछ AI मॉडल स्वाभाविक रूप से इन छिपे हुए ट्रिक्स के खिलाफ दूसरों की तुलना में अधिक "मजबूत" होते हैं।

इसका अंतिम लक्ष्य इंजीनियरों को महत्वपूर्ण कार्यों के लिए सुरक्षित रोबोट चुनने और भविष्य के हैकर्स के खिलाफ बेहतर बचाव बनाने में मदद करना है।

तकनीकी सारांश: तर्कसंगत असावधानी (Rational Inattention) के माध्यम से लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए विचलन-आधारित सुरक्षा उपाय

समस्या विवरण
डिसीजन-सपोर्ट पाइपलाइनों में लार्ज लैंग्वेज मॉडल्स (LLMs) का एकीकरण सिस्टम-स्तरीय सुरक्षा संबंधी चिंताएं पेश करता है, विशेष रूप से इनपुट टोकन के दुर्भावनापूर्ण व्यवधानों (malicious perturbations) के संबंध में जो मॉडल के आउटपुट को बदल देते हैं और डाउनस्ट्रीम मानवीय निर्णयों को प्रभावित करते हैं। जबकि मॉडल तुलना, रनटाइम मॉनिटरिंग और पैरामीटर फाइन-ट्यूनिंग के समर्थन के लिए सिस्टम और कंट्रोल परिप्रेक्ष्य से मात्रात्मक सुरक्षा उपायों की मांग की जा रही है, LLMs के लिए ऐसे उपाय विकसित करने में सीमित प्रगति हुई है। विशेष रूप से, एक ऐसे मीट्रिक की आवश्यकता है जो इनपुट हमलों के कारण होने वाले 'वर्स्ट-केस' (worst-case) आउटपुट व्यवधान को मापता हो, जबकि यह सुनिश्चित करता हो कि हमले आंतरिक निगरानी तंत्रों के प्रति गुप्त (stealthy) बने रहें।

कार्यप्रणाली
यह शोध पत्र एक विचलन-आधारित (divergence-based) सुरक्षा उपाय प्रस्तावित करता है जो क्लीन LLM और एम्बेडिंग-इनपुट हमलों के अधीन एक LLM के आउटपुट वितरणों के बीच 'वर्स्ट-केस' कुलबैक–लीब्लर (KL) विचलन को मापता है। मुख्य पद्धतिगत नवाचार एक "गुप्तता बाधा" (stealthiness constraint) का निर्माण करने में निहित है, जो ट्रांसफॉर्मर अटेंशन मैकेनिज्म और मानव निर्णय लेने के 'तर्कसंगत असावधानी' (Rational Inattention - RI) मॉडलों के बीच समानता का लाभ उठाता है।

तर्कसंगत असावधानी (RI) ढांचा: लेखक RI ढांचे का पुनरावलोकन करते हैं, जहाँ एजेंट डेटा को प्रोसेस करने की सूचना लागत (information cost) के विरुद्ध अपेक्षित उपयोगिता (expected utility) का व्यापार करते हैं। RI में इष्टतम एक्शन पॉलिसी को शैनन म्यूचुअल इंफॉर्मेशन (Shannon mutual information) से जुड़े एक ऑप्टिमाइज़ेशन समस्या से प्राप्त सॉफ्टमैक्स फंक्शन द्वारा वर्णित किया जाता है।
संरचनात्मक संबंध: शोध पत्र स्थापित करता है कि ट्रांसफॉर्मर-आधारित LLMs में अटेंशन वेट्स (attention weights), जो स्केल्ड डॉट-प्रोडक्ट सॉफ्टमैक्स के माध्यम से गणना किए जाते हैं, RI फ्रेमवर्क के इष्टतम एक्शन पॉलिसी के समान कार्यात्मक रूप साझा करते हैं। यह ट्रांसफॉर्मर अटेंशन की व्याख्या एक RI-प्रकार के ऑप्टिमाइज़ेशन समस्या के समाधान के रूप में करने की अनुमति देता है, जहाँ मॉडल संदर्भ टोकन (context tokens) के लिए सीमित सूचना-प्रसंस्करण क्षमता आवंटित करता है।
बाउंडेड रेशनैलिटी मेजर: इस संबंध के आधार पर, लेखक एक हेड-वाइज "बाउंडेड रेशनैलिटी मेजर" ( $\Delta V^{(m)}(\tau)$ ) को परिभाषित करते हैं। यह मीट्रिक $\tau$ -बाउंडेड रेशनैलिटी वैल्यू (एक तापमान पैरामीटर $\tau$ के साथ अटेंशन ऑप्टिमाइज़ेशन समस्या का इष्टतम मान) और फुल रेशनैलिटी वैल्यू (जैसे ही $\tau \to 0$ होता है, वह सीमा) के बीच के अंतर को दर्शाता है। यह माप LLM के अटेंशन एलोकेशन के "रेशनैलिटी लेवल" को इंगित करने वाले एक आंतरिक निगरानी आउटपुट के रूप में कार्य करता है।
सुरक्षा उपाय का सूत्रकरण: प्रस्तावित सुरक्षा उपाय को एक ऑप्टिमाइज़ेशन समस्या के रूप में तैयार किया गया है: क्लीन और अटैक्ड आउटपुट डिस्ट्रीब्यूशन के बीच KL विचलन को अधिकतम करना, दो बाधाओं के अधीन:
- एनर्जी कंस्ट्रेंट (Energy Constraint): एम्बेडिंग टोकन में इंजेक्ट किए गए अटैक सिग्नल्स की कुल ऊर्जा सीमित है ( $\sum \|\zeta_i\|^2 \leq \rho$ )।
- स्टील्थनेस कंस्ट्रेंट (Stealthiness Constraint): सभी अटेंशन हेड्स में बाउंडेड रेशनैलिटी मेजर्स का भारित योग (weighted sum) एक निर्दिष्ट ट्रस्ट टॉलरेंस ( $\epsilon_T$ ) से नीचे रहना चाहिए। यह सुनिश्चित करता है कि हमला मॉडल के आंतरिक अटेंशन-आधारित मॉनिटरिंग सिग्नल को महत्वपूर्ण रूप से न बदले।

प्रमुख योगदान
शोध पत्र तीन प्राथमिक योगदान प्रस्तुत करता है:

संरचनात्मक पत्राचार (Structural Correspondence): यह प्रदर्शित करता है कि ट्रांसफॉर्मर अटेंशन वेट्स, RI-प्रकार की एक ऑप्टिमाइज़ेशन समस्या के अद्वितीय समाधान हैं, जो LLM तंत्र और बाउंडेड-रैशनल निर्णय लेने वाले मॉडलों के बीच एक औपचारिक लिंक स्थापित करता है।
हेड-वाइज बाउंडेड रेशनैलिटी मेजर: यह LLMs में अटेंशन एलोकेशन की रेशनैलिटी को मापने के लिए RI फ्रेमवर्क से व्युत्पन्न एक नया मीट्रिक पेश करता है।
विचलन-आधारित सुरक्षा उपाय: यह प्रस्तावित सुरक्षा उपाय बाउंडेड रेशनैलिटी मेजर का उपयोग मॉनिटरिंग आउटपुट के रूप में करता है ताकि वर्स्ट-केस स्टील्दी आउटपुट शिफ्ट को मापने वाला एक सुरक्षा मीट्रिक परिभाषित किया जा सके। शोध पत्र "परफेक्टली अनडिटेक्टेबल अटैक्स" (वे हमले जो मॉनिटरिंग आउटपुट को नहीं बदलते) का भी विश्लेषण करता है और एक ब्रेगमन-डाइवर्जेंस (Bregman-divergence) तर्क का उपयोग करके सुरक्षा उपाय के लिए एक ऊपरी सीमा (upper bound) प्राप्त करता है, यह मानते हुए कि आउटपुट स्कोर मैप लिप्सचिट्ज़ निरंतर (Lipschitz continuous) है।

प्रायोगिक परिणाम
प्रस्तावित उपाय का मूल्यांकन दो प्री-ट्रेन्ड कॉज़ल लैंग्वेज मॉडल्स: GPT-2 और GPT-Neo-125M पर किया गया।

सेटअप: एक नियंत्रित कैंडिडेट-प्रेडिक्शन टास्क का उपयोग किया गया जहाँ अस्पष्ट वाक्यों को एक प्रतिबंधित पूल से अगले टोकन (एक विशेषण) की भविष्यवाणी करने की आवश्यकता थी। हमलों को प्रोजेक्टेड ग्रेडिएंट एसेंट (projected gradient ascent) का उपयोग करके उत्पन्न किया गया था ताकि आउटपुट डिस्ट्रीब्यूशन के KL विचलन को अधिकतम किया जा सके, जबकि एनर्जी और स्टील्थनेस बाधाओं का पालन किया जा सके।
निष्कर्ष: प्रयोगों ने दोनों मॉडलों के लिए अलग-अलग सुरक्षा प्रोफाइल प्रकट किए। GPT-2 ने कई उच्च-विचलन वाले हमले प्रदर्शित किए जो स्टील्दी क्षेत्र (ट्रस्ट टॉलरेंस को संतुष्ट करते हुए) के भीतर रहे, जबकि GPT-Neo-125M पर उच्च-प्रभाव वाले हमलों के परिणामस्वरूप आम तौर पर बड़े मॉनिटरिंग रेसिडुअल्स (residuals) देखे गए। यह दर्शाता है कि प्रस्तावित उपाय समान अटैक बजट और ट्रस्ट टॉलरेंस के तहत मॉडल-स्तरीय सुरक्षा प्रोफाइल के बीच प्रभावी ढंग से अंतर कर सकता है।

महत्व और दावे
शोध पत्र का दावा है कि यह कार्य सिस्टम और कंट्रोल परिप्रेक्ष्य से LLMs के लिए मात्रात्मक सुरक्षा उपायों को विकसित करने के अंतराल को भरता है। ट्रांसफॉर्मर अटेंशन की व्याख्या तर्कसंगत असावधानी (rational inattention) के लेंस के माध्यम से करके, लेखक आंतरिक मॉनिटरिंग आउटपुट के निर्माण के लिए एक सिद्धांत आधारित तंत्र प्रदान करते हैं। प्रस्तावित विचलन-आधारित सुरक्षा उपाय स्टील्दी एम्बेडिंग-इनपुट हमलों के प्रति LLMs की संवेदनशीलता को मापने का एक तरीका प्रदान करता है। लेखक इस योगदान को पारंपरिक कंट्रोल सिस्टम में पाए जाने वाले रोबस्टनेस (robustness), रेजिलिएंस (resilience) और सुरक्षा उपायों के तुल्य व्याख्या योग्य प्रदर्शन उपायों के साथ LLMs को सुसज्जित करने की दिशा में एक कदम के रूप में देखते हैं। यह कार्य सभी LLM सुरक्षा समस्याओं को हल करने का दावा नहीं करता है, बल्कि मॉडल सुरक्षा प्रोफाइल और वर्स्ट-केस स्टील्दी प्रभावों का विश्लेषण करने के लिए एक विशिष्ट मीट्रिक प्रदान करता है।

1. मुख्य समस्या: "फुसफुसाहट" वाला हमला (The "Whisper" Attack)

2. नया "सुरक्षा मीटर": तर्कसंगतता की जाँच (The "Rationality Check")

3. "स्टील्थ" (छिपने का) नियम

4. प्रयोग: GPT-2 बनाम GPT-Neo

सारांश

इसी तरह के और पेपर