Assessing Attack Surfaces in Generative Search Engines through Publisher Attributes: A Case Study in Political Domains
यह शोध पत्र एक मूल्यांकन ढांचा और एक नवीन "कंटेंट-इंजेक्शन बैरियर" मीट्रिक प्रस्तुत करता है ताकि राजनीतिक पॉइजनिंग हमलों के प्रति जनरेटिव सर्च इंजन की संवेदनशीलता का आकलन किया जा सके, जो यह प्रकट करता है कि हमले की सतह मॉडल और खोज कार्यक्षमता के अनुसार भिन्न होती है, विपक्षी दलों के बजाय सत्ताधारी दलों का पक्ष लेती है, और उपयोगकर्ता वैयक्तिकरण से काफी हद तक अप्रभावित रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल परिदृश्य में, एक नए प्रकार के सर्च इंजन का उदय हुआ है, जो केवल लिंक की सूची नहीं देता बल्कि वेब को पढ़ता है और आपके प्रश्न का सीधा उत्तर लिखता है। ये प्रणालियाँ, जिन्हें जनरेटिव सर्च इंजन कहा जाता है, इंटरनेट की विशाल पहुँच को उन्नत आर्टिफिशियल इंटेलिजेंस की संवादात्मक क्षमता के साथ जोड़ती हैं। वे एक सेतु के रूप में कार्य करते हैं, जो उपयोगकर्ता के प्रश्न को लेते हैं, लाखों वेब पेजों को स्कैन करते हैं, और अपने स्रोतों का उल्लेख करते हुए एक सारांश तैयार करते हैं। यह बदलाव लोगों के सूचना प्राप्त करने के तरीके को बदल देता है, जिससे वे परिणामों की सूची को छानने के बजाय एक क्यूरेटेड वृत्तांत (नैरेटिव) प्राप्त करने लगते हैं। हालाँकि, क्योंकि ये मशीनें खुले वेब पर किसी के भी द्वारा प्रकाशित सामग्री पर निर्भर करती हैं, इसलिए उन्हें एक अनूठी भेद्यता (वल्नरेबिलिटी) का सामना करना पड़ता है। जिस तरह एक शेफ को एक खराब सामग्री (इन्ग्रेडिएंट) द्वारा चकमा दिया जा सकता है, उसी तरह इन इंजनों को उन दुर्भावनापूर्ण तत्वों द्वारा गुमराह किया जा सकता है जो वैध दिखने वाली गलत जानकारी प्रकाशित करते हैं। यदि कोई हमलावर सिस्टम को किसी फर्जी समाचार साइट का हवाला देने के लिए छल लेता है, तो इंजन उस झूठ को तथ्य के रूप में प्रस्तुत कर सकता है, जिससे उसके द्वारा दी जाने वाली जानकारी की विश्वसनीयता कम हो जाती है।
केइयो यूनिवर्सिटी और क्वेरीलिफ्ट इंक (QueryLift Inc.) के शोधकर्ताओं ने यह मापने के लिए प्रयास किया कि राजनीति के उच्च-जोखिम वाले क्षेत्र में ये प्रणालियाँ वास्तव में कितनी असुरक्षित हैं। उन्होंने एक विशिष्ट प्रश्न पर ध्यान केंद्रित किया: एक हमलावर के लिए इन इंजनों द्वारा उत्पन्न किए गए उत्तरों में गलत जानकारी डालना कितना आसान है? इसका उत्तर देने के लिए, उन्होंने इंजन द्वारा चुने गए स्रोतों को इस आधार पर वर्गीकृत करने का एक तरीका विकसित किया कि किसी बुरे व्यक्ति के लिए उस तरह की वेबसाइट बनाना कितना कठिन होगा। उन्होंने कठिनाई के एक पैमाने की कल्पना की। पैमाने के शीर्ष पर "प्राथमिक स्रोत" हैं, जैसे राजनीतिक दलों की आधिकारिक वेबसाइटें, जिन्हें नकली बनाना कठिन है क्योंकि वे स्वयं दलों के स्वामित्व और नियंत्रण में होती हैं। निचले स्तर पर "कम-बाधा वाले स्रोत" (लो-बैरियर सोर्सेज) हैं, जैसे सोशल मीडिया प्लेटफॉर्म या व्यक्तिगत ब्लॉग, जहाँ कोई भी बिना किसी विशेष निगरानी के तुरंत कुछ भी प्रकाशित कर सकता है। शोधकर्ताओं का तर्क था कि यदि कोई इंजन इन कम-बाधा वाले स्रोतों पर बहुत अधिक निर्भर करता है, तो वह एक विस्तृत, असुरक्षित हमले की सतह (अटैक सरफेस) पर बैठा है, जिससे गलत सूचना का अंतिम उत्तर में प्रवेश करना आसान हो जाता है।
टीम ने ओपनएआई (OpenAI), एंथ्रोपिक (Anthropic) और गूगल (Google) के मॉडलों का उपयोग करते हुए, संयुक्त राज्य अमेरिका और जापान की राजनीतिक पार्टियों के बारे में सैकड़ों प्रश्न पूछकर तीन प्रमुख जनरेटिव सर्च इंजनों का परीक्षण किया। उन्होंने सत्तारूढ़ और विपक्षी दोनों पार्टियों के रुख के बारे में पूछा, और उन्होंने प्रश्नों में विविधता भी की ताकि यह देखा जा सके कि पूछने वाले के आधार पर इंजन का व्यवहार बदलता है या नहीं। उन्होंने उच्च राजनीतिक ज्ञान वाले और बिना किसी ज्ञान वाले उपयोगकर्ताओं के साथ-साथ विभिन्न राजनीतिक झुकाव वाले उपयोगकर्ताओं सहित विभिन्न प्रकार के उपयोगकर्ताओं का अनुकरण किया। लक्ष्य यह देखना था कि क्या इंजन का स्रोत चयन उपयोगकर्ता की प्रोफाइल या राजनीतिक संदर्भ के आधार पर बदलता है, और यह मापना था कि अंतिम उत्तर वास्तव में इन स्रोतों से कितना लिया गया है।
परिणामों ने एक स्पष्ट और चिंताजनक पैटर्न का खुलासा किया। इन प्रdtों की भेद्यता उपयोगकर्ता के पूछने के तरीके के बजाय, उपयोग किए जा रहे विशिष्ट इंजन मॉडल और जिस राजनीतिक दल के बारे में चर्चा की जा रही है, उस पर कहीं अधिक निर्भर करती है। परीक्षण किए गए मॉडलों में से एक, ओपनएआई का GPT-5, आधिकारिक पार्टी वेबसाइटों और उच्च-गुणवत्ता वाले स्रोतों पर टिके रहने की प्रवृत्ति रखता था, जिससे आसान हेरफेर के दरवाजे प्रभावी रूप से बंद हो जाते हैं। इसके विपरीत, गूगल का जेमिनी (Gemini), अक्सर कम-बाधा वाले स्रोतों का हवाला देता है, जिससे हमलावरों के लिए गलत जानकारी डालने के लिए एक बहुत बड़ा अवसर खुला रहता है। अध्ययन में पाया गया कि जब इंजन से सत्तारूढ़ पार्टी के बारे में पूछा गया, तो इसने विपक्षी पार्टियों की तुलना में इन आसानी से डाले जाने वाले स्रोतों पर काफी अधिक भरोसा किया। यह सुझाव देता है कि वास्तविक दुनिया में एक राजनीतिक दल की सफलता, जो वेब सामग्री की एक विशाल मात्रा उत्पन्न करती है, विरोधाभासी रूप से सर्च इंजन के लिए आधिकारिक स्रोत खोजने को कठिन बना सकती है, जिससे वह अनवेरिफाइड (अपुष्ट) सामग्री के समुद्र की ओर बढ़ जाता है जहाँ गलत सूचना फलती-फूलती है।
शायद सबसे आश्वस्त करने वाला निष्कर्ष यह था कि उपयोगकर्ता की पहचान ने परिणाम को नहीं बदला। शोधकर्ताओं ने परीक्षण किया कि क्या उपयोगकर्ता की राजनीतिक विचारधारा या उनके ज्ञान का स्तर इंजन को अधिक असुरक्षित सेट के स्रोतों की ओर स्विच करा सकता है। ऐसा नहीं हुआ। चाहे उपयोगकर्ता रूढ़िवादी हो, प्रगतिशील हो, या बिना किसी राजनीतिक ज्ञान वाला हो, इंजन ने एक ही प्रकार के स्रोतों का हवाला दिया। इसका अर्थ है कि उत्तर को विषाक्त (पॉइजन) करने का जोखिम यह नहीं है कि कौन पूछ रहा है, बल्कि यह कि इंजन कैसे बनाया गया है और वह वेब पर कैसे नेविगेट करता है, इसमें एक संरचनात्मक दोष है। अध्ययन निष्कर्ष निकालता है कि इन उपकरणों की सुरक्षा इंजन के आंतरिक डिजाइन और उस विशिष्ट विषय पर निर्भर करती है जिस पर वह चर्चा कर रहा है, न कि उपयोगकर्ता के इरादे पर।
शोधकर्ताओं ने यह भी देखा कि इंजन अपने द्वारा उद्धृत की गई सामग्री को कितनी निष्ठा से दर्शाता है। उन्होंने पाया कि जब इंजन ने उच्च-गुणवत्ता वाले, कठिन-से-नकली स्रोत का हवाला दिया, तो उत्तर आमतौर पर उस स्रोत का एक बहुत ही सटीक प्रतिबिंब था। हालांकि, जब इंजन ने कम-बाधा वाले स्रोतों पर भरोसा किया, तो इंजन और स्रोत के बीच का संबंध अक्सर कमजोर था, जहाँ इंजन मूल पाठ से अलग हटकर सामग्री का सारांश या व्याख्या कर रहा था। यह एक दोहरी खतरे की स्थिति पैदा करता है: स्रोत स्वयं हेरफेर के लिए आसान है, और इंजन इस बात की कम संभावना है कि वह सख्ती से उस स्रोत के अनुसार ही चले।
अंततः, यह कार्य एक मानचित्र प्रदान करता है कि ये शक्तिशाली उपकरण कहाँ टूटने की सबसे अधिक संभावना रखते हैं। यह दिखाता है कि एक विषाक्त उत्तर का मार्ग यादृच्छिक (रैंडम) नहीं है; यह उपयोग की जाने वाली तकनीक और राजनीतिक परिदृश्य के आधार पर विशिष्ट पैटर्न का अनुसरण करता है। अध्ययन का सुझाव है कि सूचना की अखंडता की रक्षा करने के लिए, डेवलपर्स को यह सुनिश्चित करने के लिए कि उनके सिस्टम अनजाने में उन्हीं चैनलों को प्राथमिकता न दें जहाँ गलत सूचना सबसे आसानी से फैलती है, अपने स्रोतों के चयन के तरीके पर ध्यान केंद्रित करना चाहिए। निष्कर्ष बताते हैं कि समाधान उपयोगकर्ता को बदलने में नहीं, बल्कि इंजन की एक विश्वसनीय स्रोत और एक खतरनाक स्रोत के बीच अंतर करने की क्षमता को परिष्कृत करने में निहित है, चाहे कीबोर्ड पर कोई भी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।