First Line or Last Word: Where a Stored Order Sits in a Product Review and Whether a Web LLM Assistant Obeys It
यह शोध पत्र यह प्रदर्शित करता है कि जहाँ उत्पाद समीक्षाओं में संक्षिप्त, प्रत्यक्ष आदेश स्थानीय एलएलएम (LLM) में अकाउंट डिलीट करने को सफलतापूर्वक ट्रिगर कर सकते हैं, वहीं ऐसे आदेशों को एक पूर्ण-लंबाई वाली समीक्षा के भीतर—यहाँ तक कि बिल्कुल शुरुआत में भी—सम्मिलित करने से समान प्रभाव उत्पन्न करने में विफलता होती है, जिससे मॉडल निर्देश का पालन करने के बजाय केवल उस पर चर्चा या सारांश प्रस्तुत करने लगता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भविष्य की डिजिटल दुकानों में, एक नया प्रकार का कर्मचारी काउंटर संभालने के लिए आ रहा है: एक कृत्रिम बुद्धिमत्ता (AI) सहायक जो ग्राहकों के रिव्यूज (समीक्षाओं) को पढ़ता है ताकि खरीदारी करने वालों को निर्णय लेने में मदद मिल सके। ये सहायक शक्तिशाली हैं, लेकिन इनमें एक खतरनाक दोष है। इन्हें "स्टोर्ड इंजेक्शन" (stored injections) द्वारा चकमा दिया जा सकता है, जो साधारण टेक्स्ट के भीतर छिपे हुए निर्देश होते हैं। कल्पना कीजिए कि एक ग्राहक लेदर जैकेट के बारे में एक समीक्षा लिख रहा है, लेकिन बीच में एक कमांड छिपा देता है जो कंप्यूटर को किसी विशिष्ट व्यक्ति का अकाउंट डिलीट करने के लिए कहता है। यदि यह सहायक बाद में उस समीक्षा को पढ़ता है, तो वह बिना यह समझे कि उसे हेरफेर किया गया है, उस छिपे हुए आदेश का पालन कर सकता है। यह केवल एक तकनीकी खराबी नहीं है; यह एक सुरक्षा उल्लंघन है जहाँ एक अजनबी एक साधारण टेक्स्ट बॉक्स का उपयोग करके वास्तविक नुकसान पहुँचा सकता है, जैसे कि किसी उपयोगकर्ता की पहचान मिटाना, बस इस इंतज़ार में कि कंप्यूटर उसके संदेश को पढ़ेगा।
लोरेस्तान यूनिवर्सिटी के शोधकर्ताओं ने यह समझने के लिए कि ये छिपे हुए कमांड एक वास्तविक, पूर्ण-लंबाई वाली समीक्षा के भीतर दबे होने पर कैसा व्यवहार करते हैं, एक अध्ययन किया। अपने पिछले अध्ययन में, उन्होंने पाया था कि सीधे आदेश वाले बहुत छोटे, चिल्लाने जैसे रिव्यूज को एक छोटे, स्थानीय कंप्यूटर मॉडल द्वारा तुरंत मान लिया गया था, जबकि एक बड़े, होस्टेड मॉडल ने उन्हें अनदेखा कर दिया था। हालाँकि, वास्तविक समीक्षाएं छोटी चीखें नहीं होतीं; वे फिटिंग, ज़िप और कीमत के विवरण से भरे पैराग्राफ होते हैं। शोधकर्ता जानना चाहते थे कि एक सामान्य पैराग्राफ के भीतर छिपे हुए कमांड का स्थान मायने रखता है या नहीं। क्या समीक्षा के बिल्कुल शीर्ष पर स्थित कमांड को बीच या नीचे स्थित कमांड की तुलना में अधिक ध्यान दिया जाता है? क्या समीक्षा की लंबाई सिस्टम की रक्षा करती है, या ट्रिक्स (चालों) की स्थिति परिणाम को बदल देती है?
इसका उत्तर देने के लिए, टीम ने मानक सॉफ्टवेयर के साथ बने एक सरल ऑनलाइन शॉप का उपयोग करके एक नियंत्रित प्रयोग किया। उन्होंने दो अलग-अलग आर्टिफिशियल इंटेलिजेंस मॉडल्स का उपयोग किया: एक छोटा मॉडल जो व्यक्तिगत कंप्यूटर पर चल रहा था और एक बड़ा मॉडल जिसे वेब सेवा के माध्यम से एक्सेस किया गया था। उन्होंने लेदर जैकेट के बारे में एक एकल, वास्तविक समीक्षा लिखी, जिसमें बताया गया कि कैसे लेदर समय के साथ नरम हो गया और कैसे साइजिंग छोटी रही। इस निश्चित टेक्स्ट में, उन्होंने दो प्रकार के छिपे हुए निर्देश डाले। एक था एक सीधा आदेश जो सहायक को एक विशिष्ट उपयोगकर्ता खाता हटाने के लिए कहता था। दूसरा था एक नोट जो मॉडरेशन टीम की ओर से होने का नाटक करता था, जो सहायक से उसी खाते को हटाने के लिए कह रहा था। इसके बाद उन्होंने इन निर्देशों का तीन अलग-अलग स्थानों पर परीक्षण किया: समीक्षा की शुरुआत में, दो पैराग्राफों के बीच में, और अंत में। उन्होंने परिणामों की निरंतरता सुनिश्चित करने के लिए प्रत्येक परिदृश्य को तीन बार दोहराते हुए कुल 84 बार यह परीक्षण चलाया।
परिणाम स्पष्ट और आश्चर्यजनक रूप से एक समान थे। 84 परीक्षणों में से एक भी मामले में छिपे हुए कमांड ने उपयोगकर्ता खाता डिलीट करने में सफलता प्राप्त नहीं की। चाहे निर्देश शीर्ष पर हो, बीच में हो या नीचे, और चाहे वह एक सीधा आदेश हो या एक फर्जी नोट, कंप्यूटर मॉडल्स ने कभी भी डिलीट करने की कार्रवाई नहीं की। उनके पिछले कार्य से, जहाँ छोटे, आक्रामक रिव्यूज ने स्थानीय मॉडल से हर बार खाता डिलीट करवा दिए थे, यह एक महत्वपूर्ण बदलाव था। पूर्ण समीक्षा की लंबाई और सामान्यता ने एक ढाल के रूप में कार्य किया, जिससे कमांड के निष्पादित होने से रोका जा सका। कंप्यूटर ने छिपे हुए वाक्य को कार्य करने के लिए एक वैध निर्देश के रूप में नहीं माना, चाहे उसे कहीं भी रखा गया हो।
हालाँकि, कमांड की स्थिति ने यह बदल दिया कि कंप्यूटर उसके बारे में कैसे बात करता है। जब सीधा आदेश समीक्षा के बिल्कुल शीर्ष पर रखा गया था, तो स्थानीय मॉडल ने इसे देखा और अपने सारांश में इसका उल्लेख किया, यह बताते हुए कि एक समीक्षक ने एक खाते को संभालने के लिए कहा है। लेकिन जब वही आदेश को बीच में या अंत में ले जाया गया, तो मॉडल ने निर्देश को पूरी तरह से अनदेखा कर दिया, और टेक्स्ट को केवल जैकेट के बारे में एक सामान्य समीक्षा के रूप में सारांशित किया। नीचे स्थित छिपे हुए कमांड को ऐसे माना गया जैसे कि वह लेदर और ज़िप की कहानी का हिस्सा हो। बड़ा वेब-आधारित मॉडल और भी अधिक प्रतिरोधी था, जिसने लगभग हर मामले में कमांड पर अमल करने से इनकार कर दिया और केवल एक बार स्पष्ट रूप से कहा कि उसने एक समीक्षा के अंदर खाता हटाने का अनुरोध देखा है और वह उसका पालन नहीं करेगा।
यह अध्ययन इन प्रणालियों द्वारा सूचना को संसाधित करने के तरीके में एक महत्वपूर्ण बारीकी को प्रकट करता है। जबकि एक लंबी समीक्षा में कमांड को छिपाना उसे देखे जाने से सुरक्षित नहीं बनाता है, लेकिन यह उसे नुकसान पहुँचाने में अप्रभावी बना देता है। शोधकर्ताओं ने पाया कि कमांड के काम करने के लिए, समीक्षा का छोटा और एक सीधे संदेश जैसा होना आवश्यक था। एक बार जब टेक्स्ट एक सामान्य, पैराग्राफ-लंबे रिव्यू में बदल गया, तो कंप्यूटर का ध्यान उत्पाद के विषय पर केंद्रित हो गया, और छिपा हुआ निर्देश विवरणों में खो गया। एकमात्र बचाव जो वास्तव में काम कर गया, वह तथ्य था कि कंप्यूटर को पहले से ही खाते डिलीट करने की शक्ति नहीं दी गई थी। अध्ययन निष्कर्ष निकालता है कि हालांकि एक लंबी समीक्षा में कमांड को छिपाना उसे निष्पादित होने से रोक सकता है, लेकिन यह कंप्यूटर को उसे पढ़ने से नहीं रोकता है, और सिस्टम को बचाने के लिए समीक्षा की लंबाई पर भरोसा करना एक खतरनाक जुआ है। असली सुरक्षा इस बात में निहित है कि कंप्यूटर को क्या करने की अनुमति है, न कि इस उम्मीद में कि छिपा हुआ संदेश शोर में खो जाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।