From Role Prompt to Infinite Thinking: Exploiting Persona Conditioning for Inference Cost Attacks in LLMs
यह शोध पत्र "RolePlay" को प्रस्तुत करता है, जो एक नवीन हमला ढांचा (attack framework) है जो LLMs की व्यक्तित्व निरंतरता (persona consistency) का लाभ उठाकर अर्थपूर्ण रूप से सुसंगत लेकिन गणनात्मक रूप से अक्षम व्यवहारों को प्रेरित करता है, जिससे 207.64 गुना तक टोकन प्रवर्धन (token amplification) प्राप्त होता है और मौजूदा इन्फरेंस लागत हमले के तरीकों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल सवालों के जवाब ही नहीं देते, बल्कि उनका अपना व्यक्तित्व भी होता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) का क्षेत्र है, जो चैटबॉट्स, कोड जनरेटर और डिजिटल असिस्टेंट के पीछे के सुपर-स्मार्ट AI दिमाग हैं। ये मॉडल एक बहुत तेज़, बहुत बातूनी छात्र की तरह काम करते हैं जो आपके प्रश्न को पढ़ता है और फिर एक-एक शब्द करके अपना उत्तर लिखता है। उनके द्वारा लिखा गया हर एक शब्द थोड़ी सी बिजली और कंप्यूटर शक्ति की खपत करता है। आमतौर पर, यह कुशल होता है: आप पूछते हैं "2+2 क्या है?", और वे जल्दी से "4" टाइप कर देते हैं। लेकिन क्या होगा अगर आप कंप्यूटर को "4" कहने के लिए हज़ार शब्द लिखने के लिए बहला सकें? यही वह समस्या है जिसे यह शोध पत्र संबोधित करता है। यह इस बात की खोज करता है कि कैसे इन AI मॉडल्स को ऊर्जा और समय बर्बाद करने के लिए मजबूर किया जा सकता है, उन्हें चिल्लाकर या तोड़कर नहीं, बल्कि उन्हें एक विशिष्ट "भूमिका" (role) देकर जो उन्हें हर चीज़ पर ज़रूरत से ज़्यादा सोचने के लिए मजबूर कर दे।
इस अध्ययन के पीछे के शोधकर्ताओं, ज़ीयी मोउ (Zhiyi Mou) और उनकी टीम ने खोजा कि ये AI मॉडल "पर्सोना" (persona) को कैसे संभालते हैं, इसमें एक छिपी हुई कमजोरी है। सरल शब्दों में, एक पर्सोना एक वेशभूरा या चरित्र की तरह है जिसे एक अभिनेता धारण करता है। यदि आप AI को कहते हैं, "एक घबराए हुए, अति-परिश्रमी छात्र की भूमिका निभाओ जो गलतियाँ करने से डरता है," तो AI उस चरित्र में बने रहने की पूरी कोशिश करेगा। टीम ने पाया कि यदि आप सही चरित्र चुनते हैं, तो AI स्वाभाविक रूप से ऐसी चीजें करने लगता है जो अक्षम (inefficient) हैं, जैसे कि अपने काम की सौ बार जाँच करना, अपने उत्तरों पर संदेह करना, या सरल चीजों को अत्यधिक जटिल तरीके से समझाना। वे अपने इस नए तरीके को RolePlay कहते हैं।
यहाँ बड़ी खोज है: केवल AI को एक विशिष्ट, थोड़े अक्षम व्यक्तित्व को सौंपकर, वे इसे आवश्यक मात्रा से कहीं अधिक टेक्स्ट जेनरेट करने के लिए प्रेरित कर सके, बिना AI को यह एहसास हुए कि उसे धोखा दिया जा रहा है। अपने परीक्षणों में, यह तरीका कई अलग-अलग AI मॉडल्स पर काम कर गया। औसतन, इसने मॉडल्स को सामान्य से 7.64 गुना अधिक शब्द जेनरेट करने के लिए मजबूर किया। सबसे चरम मामलों में, AI ने सामान्य से 207.64 गुना अधिक टेक्स्ट जेनरेट किया! उदाहरण के लिए, एक कार्य जिसे पूरा करने में आमतौर पर 3 सेकंड और 12 शब्द लगते थे, उसे लगभग 142 सेकंड और 1,500 से अधिक शब्दों तक खींच दिया गया।
यह शोध पत्र तर्क देता है कि यह एक गंभीर मुद्दा है क्योंकि इसे रोकना कठिन है। AI को समय बर्बाद करने के लिए मजबूर करने के पुराने तरीकों में अजीब, ग्लिच वाले वाक्य या "ज़्यादा सोचो" जैसे स्पष्ट निर्देश शामिल थे, जिन्हें कंप्यूटर फिल्टर आसानी से पहचान कर ब्लॉक कर सकते हैं। लेकिन RolePlay चालाक है। प्रॉम्प्ट्स सामान्य, विनम्र अनुरोधों की तरह दिखते हैं जैसे कि "एक नौसिखिया छात्र के रूप में कार्य करें" या "एक भ्रमित विशेषज्ञ बनें।" क्योंकि AI निर्देशों का पालन करने और चरित्र में बने रहने में बहुत अच्छा है, वह खुशी-खुशी वही सब करने के लिए संसाधन बर्बाद करता है जो आपने उससे माँगा है, भले ही इसका मतलब अत्यधिक धीमा और दोहराव वाला होना हो।
शोधकर्ताओं ने गणित की समस्याओं को हल करने से लेकर कोड लिखने और सामान्य प्रश्नों के उत्तर देने तक, विभिन्न प्रकार के कार्यों पर इसका परीक्षण किया। उन्होंने पाया कि कार्य चाहे जो भी हो, "पर्सोना" वाला यह तरीका काम करता है। उन्होंने अपने तरीके की तुलना अन्य ज्ञात ट्रिक्स से भी की जिनका उपयोग AI को धीमा करने के लिए किया जाता है, और RolePlay हर बार सबसे ऊपर रहा। उदाहरण के लिए, Gemini-3.5-Flash नामक एक विशिष्ट मॉडल पर, RolePlay ने AI को 7.64 गुना अधिक टोकन जेनरेट करने के लिए प्रेरित किया, जबकि अन्य तरीकों ने केवल लगभग 3.5 गुना ही किया। यहाँ तक कि एक ऐसे मॉडल पर भी, जिसमें आमतौर पर लिखने की सीमा होती है, RolePlay ने इसे सामान्य से 3.19 गुना अधिक सामग्री जेनरेट करने के लिए मजबूर कर दिया।
अध्ययन का सबसे दिलचस्प हिस्सा यह है कि उन्होंने इन पर्सोना को कैसे बनाया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने पहले प्रश्न का विश्लेषण करने के लिए एक स्मार्ट सिस्टम का उपयोग किया। यदि प्रश्न गणित की कोई कठिन समस्या थी, तो सिस्टम ने एक ऐसे छात्र का पर्सोना बनाया जो "चिंतित" और "विरोधाभासों के प्रति जुनूनी" है, जिससे AI बार-बार खुद पर संदेह करने लगता है। यदि प्रश्न इतिहास के बारे में था, तो पर्सोना एक "ज़िद्दी विशेषज्ञ" हो सकता है जो सरल उत्तर देने से इनकार करता है। यह "टास्क-अवेयर" (कार्य-जागरूक) दृष्टिकोण सुनिश्चित करता है कि AI की अक्षमता स्वाभाविक लगे और कहानी में फिट बैठे, जिससे इसे सुरक्षा फिल्टरों द्वारा पकड़ना बहुत कठिन हो जाता है।
टीम ने यह भी जाँच की कि क्या यह केवल एक इत्तेफाक था या यह वास्तव में काम करता है। उन्होंने विभिन्न प्रकार के AI मॉडल्स, जिनमें बड़ी टेक कंपनियों के और कुछ ओपन-सोर्स मॉडल शामिल थे, पर हजारों परीक्षण किए। परिणाम सुसंगत थे: AI मॉडल ओवर-एक्सप्लेनिंग (अत्यधिक व्याख्या) और आत्म-सुधार के लूप में फंसे रहे। अध्ययन बताता है कि यह "पर्सोना कंसिस्टेंसी" (चरित्र की निरंतरता)—AI की चरित्र के प्रति सच्चा रहने की इच्छा—एक नया प्रकार का भेद्यता (vulnerability) है। यह कोड में बग नहीं है; यह उस तरीके का एक फीचर है जिससे AI सीखता है कि मददगार कैसे बनना है, जिसे इसके खिलाफ इस्तेमाल किया जा सकता है।
तो, इसका भविष्य के लिए क्या अर्थ है? यह शोध पत्र यह नहीं कहता कि यह कल इंटरनेट को बंद कर देगा, लेकिन यह इस बात पर प्रकाश डालता है कि कैसे बुरे तत्व संभावित रूप से AI सेवाओं के संसाधनों को खत्म कर सकते हैं। यदि कोई AI सेवा को धीमा और महंगा बनाना चाहता है, तो उसे लाखों अनुरोध भेजने की आवश्यकता नहीं होगी; वे बस कुछ चतुराई से लिखे गए प्रॉम्प्ट भेज सकते हैं जो AI को एक टालमटोल करने वाले, ज़रूरत से ज़्यादा सोचने वाले चरित्र में बदल देते हैं। शोधकर्ता उम्मीद करते हैं कि इस ओर इशारा करके, डेवलपर्स इन अनावश्यक, पर्सोना-संचालित बड़बड़ाहट को रोकने के लिए बेहतर बचाव बना सकते हैं।
संक्षेप में, यह शोध पत्र इस तथ्य को उजागर करता है कि जिस चीज़ के कारण AI मॉडल रोल-प्ले करने में इतने अच्छे हैं—चरित्र में बने रहना—उसे ही उन्हें अक्षम बनाने के लिए इस्तेमाल किया जा सकता है। AI को एक घबराए हुए छात्र या एक भ्रमित विशेषज्ञ के रूप में तैयार करके, शोधकर्ताओं ने दिखाया कि वे एक एकल प्रश्न की लागत को सैकड़ों गुना बढ़ा सकते हैं। यह एक याद दिलाता है कि AI की दुनिया में, कभी-कभी सबसे शक्तिशाली उपकरण एक जटिल एल्गोरिदम नहीं, बल्कि एक सरल, अच्छी तरह से चुना गया वेशभूषा (costume) होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।