SafeSearch: Automated Red-Teaming of LLM-Based Search Agents
यह शोध पत्र SafeSearch प्रस्तुत करता है, जो एक स्वचालित रेड-टीमिंग फ्रेमवर्क है जो अविश्वसनीय खोज परिणामों के प्रति महत्वपूर्ण कमजोरियों को उजागर करके और यह प्रदर्शित करके कि सामान्य सुरक्षा उपाय सीमित सुरक्षा प्रदान करते हैं, LLM-आधारित खोज एजेंटों की सुरक्षा का व्यवस्थित रूप से मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "SAFESEARCH: Automated Red-Teaming of LLM-Based Search Agents" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी तस्वीर: एक त्रुटिपूर्ण मानचित्र वाला "स्मार्ट लाइब्रेरियन"
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट लाइब्रेरियन (LLM) है जिसे बहुत कुछ पता है, लेकिन उसे यह नहीं पता कि आज क्या हुआ है। आपकी वर्तमान घटनाओं से जुड़े सवालों के जवाब देने के लिए, यह लाइब्रेरियन नवीनतम समाचारों को खोजने के लिए एक जादुई मानचित्र (सर्च टूल) का उपयोग करता है।
समस्या क्या है? इंटरनेट फर्जी खबरों, स्पैम और स्कैम से भरा हुआ है। कभी-कभी, वह जादुई मानचित्र एक "कंटेंट फार्म" (Content Farm) की ओर इशारा करता है—एक ऐसी वेबसाइट जो पेशेवर दिखती है लेकिन वास्तव में झूठ, खतरनाक सलाह या छिपे हुए निर्देशों से भरी होती है।
SAFESEARCH एक नया सिस्टम है जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि इस स्मार्ट लाइब्रेरियन को इन बुरे मानचित्रों द्वारा कितनी आसानी से ठगा जा सकता है। शोधकर्ताओं ने यह देखना चाहा: यदि हम लाइब्रेरियन को वास्तविक समाचारों और एक फर्जी, खतरनाक कहानी के मिश्रण के साथ जानकारी दें, तो क्या वह उस झूठ पर विश्वास कर लेगा और आपको कुछ असुरक्षित जानकारी देगा?
समस्या: यह क्यों महत्वपूर्ण है
शोध पत्र दो डरावने वास्तविक उदाहरण बताता है:
- पैसों का नुकसान: एक डेवलपर ने एक सर्च एजेंट से कोड मांगा। सर्च टूल ने एक स्कैम वाले GitHub पेज को खोज निकाला। एजेंट ने उस कोड को कॉपी कर लिया, जिससे अनजाने में डेवलपर का गुप्त पासवर्ड लीक हो गया। डेवलपर ने $2,500 का नुकसान उठाया।
- स्वास्थ्य जोखिम: यदि आप किसी गंभीर बीमारी के इलाज के बारे में सर्च एजेंट से पूछते हैं, और इंटरनेट उन ब्लॉगों से भरा है जो कहते हैं "दवा के बजाय यह अजीब तेल पिएं," तो एजेंट उस ब्लॉग पर विश्वास कर सकता है और आपको वह तेल पीने के लिए कह सकता है, जिससे आपके स्वास्थ्य को खतरा हो सकता है।
शोधकर्ताओं ने पाया कि भले ही ये एजेंट स्मार्ट हैं, वे अक्सर जो कुछ भी सर्च टूल उन्हें दिखाता है, उस पर अंधा विश्वास करते हैं, भले ही वह कचरा ही क्यों न हो।
समाधान: "फेक न्यूज फैक्ट्री" (SAFESEARCH)
हजारों फर्जी सवाल लिखने के लिए इंसानों को काम पर रखने के बजाय (जो धीमा और महंगा है), शोधकर्ताओं ने SAFESEARCH बनाया।
SAFESEARCH को एक "फेक न्यूज फैक्ट्री" के रूप में सोचें। यह इस प्रकार काम करता है:
- यह एक परिदृश्य (Scenario) बनाता है: "क्या होगा यदि कोई सबसे अच्छे एंटीवायरस सॉफ्टवेयर के बारे में पूछता है?"
- यह एक जाल बुनता है: यह स्वचालित रूप से एक फर्जी वेबसाइट बनाता है जो एक भरोसेमंद टेक रिव्यू साइट की तरह दिखती है, लेकिन गुप्त रूप से एक खराब उत्पाद का प्रचार करती है या उसमें कोई छिपा हुआ निर्देश होता है।
- यह टेस्ट सेट करता है: यह एक वास्तविक सर्च रिजल्ट (जैसे 5 अच्छे एंटीवायरस साइटों की सूची) लेता है और उसमें फर्जी वेबसाइट को शामिल कर देता है।
- यह एजेंट पर नज़र रखता है: यह AI एजेंट से प्रश्न पूछता है।
- यह परिणाम को ग्रेड देता है: एक दूसरा AI (द "जज") चेक करता है: क्या एजेंट ने झूठ को दोहराया? क्या उसने छिपे हुए निर्देश का पालन किया? क्या उसने खराब उत्पाद की सिफारिश की?
यह पूरी प्रक्रिया एक सैंडबॉक्स (एक सुरक्षित, अलग खेल के मैदान) में होती है। शोधकर्ता वास्तव में वास्तविक सर्च इंजन को हैक नहीं कर रहे हैं या वास्तविक लोगों को नुकसान नहीं पहुँचा रहे हैं; वे केवल हमले का अनुकरण (Simulate) कर रहे हैं ताकि देख सकें कि सिस्टम कहाँ टूटता है।
उन्होंने क्या पाया (परिणाम)
शोधकर्ताओं ने 300 अलग-अलग "जालों" का उपयोग करके 17 अलग-अलग AI मॉडल (जैसे GPT-4, Claude, और Qwen) का परीक्षण किया। यहाँ उन्होंने क्या खोजा:
- एजेंट बहुत भोले हैं: अधिकांश सर्च एजेंट बुरी तरह विफल रहे। कुछ मामलों में, 90% समय, एजेंट ने फर्जी वेबसाइट पर विश्वास किया और एक असुरक्षित उत्तर दिया। यह एक ऐसे लाइब्रेरियन की तरह है जो, एक पर्चे को देखकर जिसमें लिखा है "मुफ्त पैसा," तुरंत आपसे कहता है कि जाकर ले लो, बिना यह जांचे कि क्या वह पर्चा असली है।
- "रीज़निंग" (तर्क करने वाले) मॉडल बेहतर हैं: वे AI मॉडल जो बोलने से पहले "सोचने" के लिए डिज़ाइन किए गए हैं (जैसे GPT-5 या o4-mini), उन्हें धोखा देना बहुत कठिन था। वे यह कहने की अधिक संभावना रखते थे, "रुको, यह वेबसाइट संदिग्ध लग रही है," और खराब जानकारी को अनदेखा कर देते थे।
- "कैसे" करना मायने रखता है: यह केवल इस बारे में नहीं है कि आप कौन सा AI मॉडल उपयोग करते हैं, बल्कि यह भी है कि आप उसका उपयोग कैसे करते हैं।
- गलत तरीका: बस AI को एक बार खोजने और उत्तर लिखने के लिए कहना। (उच्च विफलता दर)।
- सही तरीका: AI को खोजने, कई स्रोतों की जांच करने, उनकी तुलना करने और फिर निर्णय लेने के लिए कहना। (कम विफलता दर)।
- साधारण चेतावनियाँ काम नहीं करतीं: आप सोच सकते हैं, "बस AI को कहें: 'फर्जी वेबसाइटों से सावधान रहें!'" शोधकर्ताओं ने इसे आजमाया, और इससे बहुत कम मदद मिली। AI नियम जानता था लेकिन फिर भी नियम तोड़ देता था जब फर्जी वेबसाइट बहुत विश्वसनीय दिखती थी।
- मददगार बनाम सुरक्षा: कभी-कभी, असुरक्षित उत्तर बहुत मददगार और विनम्र दिखते थे। एजेंट कहेगा, "यहाँ सबसे अच्छा उत्पाद है!" (जो वास्तव में एक स्कैम था)। यह समझना मुश्किल बना देता है कि उपयोगकर्ता को गुमराह किया जा रहा है।
निष्कर्ष (Takeaway)
शोध पत्र निष्कर्ष निकालता है कि सर्च एजेंट वर्तमान में बहुत असुरक्षित हैं। वे इंटरनेट को एक भरोसेमंद लाइब्रेरी की तरह मानते हैं, लेकिन इंटरनेट एक शोर भरे बाजार की तरह है जहाँ कोई भी झूठ चिल्ला सकता है।
SAFESEARCH टूल डेवलपर्स के लिए एक व्यावहारिक तरीका है जिससे वे अपने AI उत्पादों को रिलीज़ करने से पहले उनका परीक्षण कर सकें। यह उन्हें यह देखने में मदद करता है कि उनका "स्मार्ट लाइब्रेरियन" कहाँ फंस रहा है ताकि वे बेहतर बचाव बना सकें।
संक्षेप में: यदि आप एक ऐसा AI बनाते हैं जो वेब सर्च करता है, तो आपको यह मान लेना चाहिए कि वेब में जाल बिछाने वाली चीजें भरी पड़ी हैं। SAFESEARCH वह उपकरण है जो आपको उन जालों को खोजने में मदद करता है इससे पहले कि आपके उपयोगकर्ता उनमें फंस जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।